🤖 AI

Informing AI Policy Assessment using Large-Scale Simulation of Interventions

本文提出一种方法论，将参与式评估、专家成本评估和基于大语言模型的损害缓解分析整合于遗传算法模拟之中，通过探索实施成本、利益相关者意见与有效性之间的多样化权衡，协助政策制定者识别并优先选择可行的人工智能政策选项。

原作者： Julia Barnett, Kimon Kieslich, Natali Helberger, Nicholas Diakopoulos

发布于 2026-05-28

📖 1 分钟阅读☕ 轻松阅读

原作者： Julia Barnett, Kimon Kieslich, Natali Helberger, Nicholas Diakopoulos

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是这座繁华城市的市长，而一项全新且强大的工具已经到来：人工智能（AI）。虽然这项工具能创造奇迹，但也带来了麻烦：它散布假新闻、夺走人们的工作，并让头条新闻变得过于戏剧化。你拥有一个巨大的工具箱，里面装满了数百种不同的扳手、锤子和螺丝刀（这些就是政策选项），用来解决这些问题。但你无法同时使用所有工具；有些成本太高，有些难以执行，还有些可能根本无法解决问题。

问题是：你应该选择哪种工具组合来收拾残局，既不会耗尽资金，也不会忽视市民的意愿？

巴内特（Barnett）及其同事的这篇论文提出了一种回答该问题的新方法。他们构建了一个“政策模拟器”，它就像一个高科技的数字化试错机器。以下是其工作原理的简化分解：

1. 配方的三种要素

为了找到最佳的政策组合，该模拟器平衡了三种相互竞争的要素，就像厨师品尝汤品一样：

“减少危害”的味道（有效性）： 这项政策是否真的能阻止不良的 AI 行为？研究人员利用 AI 构想出这些政策实施后的未来故事，并问道：“问题是否得到了改善？”
“价格标签”的味道（成本）： 实施这项政策需要多少资金和精力？由律师、科技从业者和记者组成的专家小组对每项政策进行了评级，范围从“便宜且容易”到“昂贵且不可能”。
“公民投票”的味道（参与度）： 普通民众想要什么？研究人员询问了普通公民（非专业利益相关者），了解他们认为哪些政策最重要并表示赞同。

2. “进化”搜索引擎

问题在于，政策的可能组合多达数十亿种。如果你试图测试每一种组合，所需的时间将超过宇宙的年龄。

为了解决这个问题，作者使用了遗传算法。这就像繁育狗或种植花园：

第一代： 计算机从随机的政策组合开始（一群“幼犬”）。
测试： 它检查哪些“幼犬”最“适应”（即在减少危害、低成本和高公民支持度之间达到最佳平衡）。
繁育： 它将第一组中最好的政策“混合”在一起，创造出新一代，希望它们更优秀。
变异： 偶尔，它会随机替换或移除某项政策，看看这种意外变化是否能让情况变得更好。
重复： 它一代又一代地重复这一过程，直到找到难以被超越的“冠军”政策组合。

3. AI 的“魔力”

由于他们无法让成千上万的真实人士阅读并评估数百万个不同的未来故事，他们使用大型语言模型（LLM） 作为替代。

将 LLM 想象成一位训练有素的演员。研究人员首先通过向它展示成千上万个真实人士如何评估故事的例子，教会这位演员像真实公民一样思考和感受。
一旦这位演员与公众“对齐”，他们便利用它来阅读数百万个模拟的未来场景，并评估不同政策的效果如何。这使他们无需雇佣一支庞大的人群队伍来进行初步筛选。

4. 他们的发现（结果）

当他们用不同的“配方”（即调整三种要素的权重）运行模拟器时，得到了截然不同的结果：

如果你只关心阻止危害： 模拟器会建议一份庞大的政策清单。这就像试图通过在一千块木板上钉钉子来修补漏雨的屋顶。它在阻止泄漏方面效果极佳，但成本极其高昂，甚至可能根本无法建造。
如果你只关心省钱或倾听公众： 模拟器会建议一份极小的清单，仅包含 1 或 2 项政策。这些政策便宜且受欢迎，但它们可能无法很好地解决 AI 问题。
如果你平衡所有三者： 模拟器会找到一个“甜蜜点”。它通常会建议一份小型、可管理的清单，包含 1 或 2 项政策，这些政策既受公众欢迎，成本适中，又能相当有效地减少危害。

关键要点： 不存在单一的“完美”政策。最佳选择完全取决于决策者最看重什么。如果你将安全置于首位，你会得到一份与优先考虑省钱时完全不同的清单。

5. 安全网

作者非常明确：该工具并不做出最终决定。 它不是一个会说“这是你必须通过的法律”的机器人。

相反，它是一个决策支持地图。它向政策制定者展示了可能性的全景。它表明：“如果你想要 X，这是你最好的选择；如果你想要 Y，这里有一套不同的选择。”它帮助领导者在将真金白银或时间投入到可能失败的政策之前，清晰地看到权衡取舍。

简而言之，这篇论文提供了一个数字沙盒，领导者可以在其中尝试不同的政策组合，以查看什么最符合他们的具体目标，从而确保他们不会选择成本过高、过于不受欢迎或完全无效的政策。

技术摘要：利用大规模干预模拟为人工智能政策评估提供信息

问题陈述

人工智能系统的迅速普及创造了一个复杂的治理格局，政策制定者面临着海量潜在的应对危害的政策选项。由于风险量化困难、资源稀缺，以及缺乏能够整合多元利益相关者视角的包容性评估方法，在这些相互竞争的策略中确定优先次序极具挑战性。现有方法往往过度依赖专家知识，可能导致有偏见的风险评估，忽视了最受人工智能危害影响的普通利益相关者的切身经历。此外，传统的政策评估方法（如随机对照试验）通常成本过高或耗时过长，无法在决策过程的早期阶段用于引导政策制定者。因此，迫切需要一种方法论，能够在平衡预期危害缓解、实施成本和公众认知的同时，高效地探索庞大的政策组合解空间。

方法论

作者提出了一种计算框架，整合了参与式评估、专家评估和大语言模型（LLM）模拟，以识别可行的政策选项。该方法论基于遗传算法（GA）设计，旨在导航一个难以处理的巨大解空间（例如，仅政治操纵一项就超过 20 亿种组合）。

核心组件

利益相关者 - 行动对（SAPs）： 政策的基础单元是 SAPs，它将特定的利益相关者（例如新闻出版商、科技公司）与特定的行动（例如“公开数据收集情况”）联系起来。这些最初是由普通利益相关者在先前工作中通过头脑风暴和评估产生的。
优化函数： 该系统优化一个加权函数 $F(S, P')$ $F (S, P^{'})$ ，平衡三个相互竞争的因素：
- 危害缓解（ $\alpha$ ）： 感知到的危害严重程度和规模的降低。这是通过在特定政策条件（ $P'$ ）下重写原始危害场景（ $S$ ）并评估风险维度的变化来进行评估的。
- 专家成本（ $\beta$ ）： 由跨学科专家小组（政策、法律、新闻、人工智能部署）分配的估计实施成本。成本评级为 1（低）到 3（高），4 表示“不可行”（法律上或技术上不可行）。
- 参与式评分（ $\gamma$ ）： 普通利益相关者对特定 SAPs 的优先排序和同意程度，源自先前的调查数据。
LLM 对齐与模拟：
- 为了扩展对数百万种政策组合的评估，作者将一个大语言模型（具体为低推理努力的 o3-mini）与人类评分进行了对齐。
- 提示 LLM 扮演由五位多元化法官组成的评审团，在三个维度上评估重写的场景（ $S'$ ）：严重程度、规模和可信度。
- 该模型在 234 个经普通人员评估的场景数据集上进行了训练和验证，与人类评分相比，其皮尔逊相关系数分别为：严重程度 0.794、规模 0.707、可信度 0.616。
遗传算法（GA）：
- 初始化： 生成随机政策子集（染色体）种群。
- 选择与交叉： 基于适应度（优化函数得分）使用轮盘赌采样选择父代。使用两点交叉创建子代。
- 变异： 低变异率（0.03）引入变异。
- 精英保留： 每一代中保留表现最好的前 3 个政策，以防止最优解丢失。
- 终止： 算法运行直到达到最大“停滞代数”而未发现新的最优解。

案例研究

该方法应用于生成式人工智能媒体生态系统中的三种特定危害：

政治操纵（31 种可能的 SAPs）。
失业（16 种可能的 SAPs）。
媒体煽情主义（26 种可能的 SAPs）。

主要结果

研究表明，改变分配给危害缓解、成本和参与组件的权重会产生显著不同的政策结果：

平衡权重（全部相等）： 产生一个高度选择性的政策集（1–2 个 SAPs），优先考虑低至中等成本和高参与价值。预期的危害缓解适度。
强调危害缓解（ $\alpha=1$ ）： 导致强制执行的 SAPs 数量最多（占总池的 40–50%），且预期危害缓解最高。然而，这种方法经常包含不可行的 SAPs（被专家评为成本 4），并产生最高的成本。
强调成本或参与： 当优先考虑成本时，模型选择较少、低成本的 SAPs。当优先考虑参与时，模型选择公众同意度高的 SAPs，有时包括高成本项目。
不可行的 SAPs： 当优化中排除成本组件（ $\beta=0$ ）时，算法经常选择不可行的 SAPs（例如政府禁止人工智能生成的新闻），突显了专家约束的必要性。
政策多样性： 遗传算法识别出一组多样化的局部最优解。虽然某些 SAPs（例如“新闻出版商应公开人工智能的使用情况”）在不同权重下被一致选择，但许多其他组合各不相同，这表明如果没有明确的权衡偏好，就不存在单一的“最优”政策。

意义与主张

作者将这项工作定位为概念验证方法论，而非确定的政策处方。他们的主要主张包括：

操作化参与式人工智能： 该方法成功地将普通利益相关者的视角直接整合到实际的政策制定流程中，补充而非取代专家知识。
权衡探索： 通过允许政策制定者调整权重（ $\alpha, \beta, \gamma$ ），该工具明确了有效性、成本和公众接受度之间的权衡。它揭示出，优先考虑一个因素（例如危害缓解）往往需要牺牲其他因素（例如成本或可行性）。
可扩展模拟： 该方法表明，当与人类数据对齐时，大语言模型可以作为大规模场景评估的具有成本效益的代理，从而探索仅靠人类评估在计算上不可行的解空间。
决策支持而非替代： 作者强调，输出是“审议的起点”。该方法旨在支持政策制定者识别值得进一步投资和评估的可行领域，而不是自动化决策或取代人类判断。

该论文得出结论，遗传算法发现的可行政策组合的多样性为审议提供了有用的基础，有助于利益相关者理解不同的知识来源（专家与普通人员）和优先事项如何塑造潜在人工智能治理的格局。