🤖 AI

Accounting for Context: Shaping Moral Credences for Value Alignment

本文认为，在不确定性条件下进行道德评价的聚合必须考虑上下文因素，并证明忽略这些因素会导致违反弱帕累托原则——这一现象被识别为辛普森悖论的一种变体，揭示了标准聚合机制的局限性。

原作者： Jazon Szabo, Sanjay Modgil

发布于 2026-06-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Jazon Szabo, Sanjay Modgil

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心理念：关于“道德委员会”的问题

想象你正在制造一个名为 FROBO 的机器人来帮助人类。你希望 FROBO 能做出符合人类道德观的决策。但问题在于：人类对于什么是“正确”并没有统一的共识。

有些人信奉功利主义（“最大利益”原则）：无论是否违反规则，只要能拯救更多生命或创造更多幸福，就去做。
另一些人则信奉义务论（“规则手册”原则）：即使结果不是最优的，也要遵守规则（例如“绝不伤害人类”）。

为了让 FROBO 变得聪明，研究人员通常会询问一群人类：“如果你必须在理论 A 和理论 B 之间做出选择，你更信任哪一个？”假设 60% 的人信任功利主义，40% 的人信任义务论。随后，机器人就会利用这些百分比（称为道德信念/moral credences）来决定行动。

本文的核心论点：
作者指出，这种标准方法是有缺陷的，因为它忽略了语境（Context）。它把机器人的大脑视为一个静态的计算器，在每种情况下都使用同样的 60/40 比例。但在现实中，一个道德理论的“可靠程度”应该根据机器人所处的具体情境而发生变化。

运行案例：燃烧的医院

为了证明他们的观点，作者使用了一个关于消防机器人 FROBO 的故事：FROBO 被困在一家处于军事封锁状态下的燃烧医院中。FROBO 必须在两个房间之间做出选择：

左边的房间： 存放着大量的胰岛素。如果救下它，未来可以治愈数十名糖尿病患者，但前提是封锁必须持续存在。
右边的房间： 有一名昏迷的患者，如果不立即施救，该患者会立即死亡。

两难困境：

功利主义视角： “救下胰岛素！它以后能救 50 条命。”（但这需要对未来进行复杂的预测和猜测）。
义务论视角： “救眼前的人！你有责任帮助眼前的受害者。”（这是一个清晰的规则）。

语境问题：
作者认为，机器人计算“功利主义”结果的能力是有限的。FROBRO 是一个小机器人，电池容量和处理能力都有限。它无法完美预测封锁是否会结束，也无法准确预知胰岛素是否真的会被需要。由于这些资源限制，它的“功利主义数学计算”是不稳固且容易出错的。

然而，“义务论规则”（救眼前的人）非常简单，不需要复杂的计算。即使在资源有限的情况下，它也能完美运作。

解决方案：
机器人不应该使用固定的 60/40 比例，而应该根据情况调整信任度：

在左边的房间： 因为数学计算困难且风险高，机器人应该降低对功利主义的信任，并提高对义务论的信任。
在右边的房间： 规则清晰易行，所以信任水平保持不变。

令人惊讶的结果：辛普森悖论

当作者使用这些“具备语境感知能力”的调整进行数学运算时，奇怪的事情发生了。他们发现，由于语境改变了权重，机器人有时会选择一个根据每一个理论来看都比较“糟糕”的选项。

他们称之为违反了弱帕累托原则（Weak Pareto Principle）。

用通俗的话说： 如果所有人（无论是功利主义者还是义务论者）都一致认为选项 A 比选项 B 好，那么群体就应该选择选项 A。
这里发生了什么： 数学显示，尽管两种理论在原始计算中都倾向于左边的房间，但机器人最终却选择了右边的房间。

类比：大学录取悖论
作者将其与现实世界中著名的谜题——**辛普森悖论（Simpson's Paradox）*进行了对比。
想象一所大学，从整体上看，录取的男性人数多于女性。这看起来像是该校对女性存在歧视。
但是，当你观察每一个具体的系科*时，女性的录取率实际上比男性更高！
这是为什么呢？因为申请女性较多的都是“难度极高”的系（如物理系），而申请男性较多的则是“较容易”的系（如英语系）。系科的“难度”扭曲了整体数据。

如何应用到机器人身上：
机器人的决策受到了“难度”的影响。

对于左边的房间：由于“功利主义”理论很弱（因为机器人算不准），所以它的投票权重不高。
对于右边的房间：由于“义务论”理论很强（因为规则很明确），所以它的投票权重很高。
即便两种理论都想要左边的房间，语境的变化却让右边的房间在最终统计中看起来更好。

作者认为这并非漏洞，而是一种特性。它表明忽视语境会导致错误的决策。如果你忽略了机器人在这个特定房间里“不擅长数学”的事实，你就会得到错误答案。

核心要点

语境至关重要： 你不能仅仅问人们“你喜欢哪种道德理论？”，然后把这个答案应用到所有场景。你必须问：“考虑到机器人的局限性和当前的危险，哪种理论在此时此刻最有效？”
信任是动态的： 当机器人在混乱、高压、无法进行复杂计算的环境中时，它应该信任“基于规则”的方法。当它有充足的时间和数据来预测未来时，它应该信任“基于后果”的方法。
“厚”视角 vs “薄”视角： 目前的 AI 研究将道德理论视为简单的数学方程（薄）。作者认为我们需要将道德理论视为复杂的工具（厚）。锤子钉钉子很棒，但拧螺丝很糟糕。你不应该仅仅因为 60% 的人说喜欢锤子，就在需要拧螺丝时也使用锤子；你应该使用最适合当前工作的工具。

本文没有表达的内容

它没有说我们要停止使用模拟实验来训练机器人。
它没有声称机器人应该拥有情感或意识。
它没有为人类医生提供医疗或临床解决方案。
它没有说某种道德理论在普遍意义上比另一种“更好”。它只是说，理论的适用性会随情况而变化。

简而言之，这篇论文是一个警告：不要让机器人在厨房着火时，还死板地遵循一本道德食谱。 它需要知道何时该遵循规则，何时该进行数学计算，这取决于它有多少时间以及多少脑力。

技术摘要：考虑上下文：塑造用于价值对齐的道德信念

问题陈述
价值对齐旨在确保智能体能够根据人类伦理价值观进行行为。然而，人类社会表现出道德多元主义，即个体和群体通过相互冲突的伦理理论（例如，义务论 vs. 功利主义）来评估行动。目前的多元化对齐方法通常依赖于一个流程：先诱导偏好，再推导效用函数，最后使用道德不确定性框架进行聚合。这些框架通常根据人口比例或个体置信度，为不同的伦理理论分配静态的“道德信念”（权重）。

本文识别的核心问题是，标准的聚合机制在处理道德不确定性时忽略了上下文因素。具体而言，一个伦理理论的适用性和可靠性会随着智能体面临的具体情境而显著变化。例如，后果论理论（如功利主义）需要对结果进行准确预测，但在具有资源限制的现实世界设置中，这可能在计算上是不可行的或在认识论上是不确定的。相反，义务论规则在同样的约束条件下可能保持稳健。将道德信念视为静态、与上下文无关的值，会导致聚合错误，即智能体的决策过程未能考虑到不同理论在特定上下文中的差异化可靠性。

方法论
作者在决策论模型框架内（基于 MacAskill, Bykvist, and Ord 2020），形式化了一个上下文调整后的道德信念框架。

形式化定义：
- 伦理框架： 定义为一个二元组 $\langle T, c \rangle$ ，其中 $T$ 是伦理理论的集合， $c$ 是将理论映射到权重的置信函数，且权重之和为 1。
- 信念剖面（Credence Profile）： 为了容纳上下文，作者定义了一个信念剖面 $C = \langle c_a, c_b, \dots \rangle$ ，其中每个 $c_x$ 都是针对特定行动 $x$ 的置信函数。这允许权重根据行动随上下文而变化。
- 上下文特征： 定义为函数 $g: A \times T \to (0, 1]$ ，用于调节理论 $t$ 对于行动 $a$ 的可靠性。数值越接近 1，表示可靠性/适用性越高；数值较低则表示由于约束（如资源限制、不确定性、新颖性）导致的可靠性降低。
- 调整函数： 本文引入了两种机制，根据上下文 $con = \langle g_1, \dots, g_m \rangle$ $co n = ⟨ g_{1}, \dots, g_{m} ⟩$ 将初始置信度 $c$ $c$ 更新为上下文调整后的置信度 $c_x$ $c_{x}$ ：
  - prod（乘积型）： 将初始置信度乘以所有上下文特征的乘积，然后进行归一化。这是“风险中性”的，允许一个特征的高值补偿另一个特征的低值。
  - mini（极小值型）： 取初始置信度与所有上下文特征的最小值，然后进行归一化。这是“风险厌恶”的，确保调整后的置信度不会超过最弱上下文因素的可靠性。
元规范理论：
作者使用**最大化预期选择价值（Maximizing Expected Choiceworthiness, MEC）**作为主要的聚合函数。MEC 根据各理论下选择价值的加权算术平均值（WAM）对行动进行排序，并使用上下文调整后的信念剖面。
运行示例（FROBO）：
论文采用了一个场景：在一座处于军事封锁下的燃烧医院中的消防机器人（FROBO）。FROBO 必须在救一名昏迷患者（右侧房间）与保留胰岛素以供许多潜在未来患者使用（左侧房间）之间做出选择。
- 上下文： 资源限制了 FROBO 准确计算长期后果的能力。
- 影响： 关于资源限制（$rb$）的上下文特征显著降低了关于左侧房间（需要复杂预测）的功利主义置信度，但对右侧房间（后果即时且确定）的置信度保持在高位。

关键结果
论文证明，纳入上下文调整后的信念会导致违反弱帕累托原则（Weak Pareto Principle）——这是社会选择理论中的一个标准属性，即如果所有理论都偏好行动 $b$ 优于 $a$ ，那么聚合结果也应偏好 $b$ 优于 $a$ 。

违反弱帕累托原则： 作者证明，对于一类广泛的元规范理论（特别是那些具有理论间响应性的理论）和调整函数（特别是那些具有上下文全射性的函数，包括 prod 和 mini），弱帕累托原则会被违反。
- 机制： 可以构造出这样一种情景：即使每个单独的伦理理论都认为 $b$ 优于 $a$ （即 $t(a) < t(b)$ 对所有 $t$ 成立），上下文调整后的聚合却偏好 $a$ 优于 $b$ 。
- 示例： 在 FROBO 场景中，即使功利主义和义务论在真空状态下都倾向于左侧房间（胰岛素）而非右侧房间（患者），资源约束也可能极大地降低功利主义对左侧房间的置信度，从而使义务论对右侧房间的偏好在聚合 WAM 中占据主导地位，导致智能体选择右侧房间。
辛普森悖论（Simpson's Paradox）的解释： 作者将这种违反现象解释为不是缺陷，而是辛普森悖论的一种体现。正如聚合数据可以逆转子群中存在的趋势（例如，按性别与部门划分的录取率），跨不同上下文（行动）聚合道德评估也会逆转单个理论的偏好。这种违反之所以发生，是因为理论的“权重”会根据行动的上下文动态变化，从而允许一个初始置信度较低的理论在特定的、更可靠的上下文中占据主导地位。

意义与主张
论文认为，在这一语境下违反弱帕累托原则并非是不理想的，而是考虑到上下文因素时必然且必要的后果。

缺乏上下文敏感性的聚合之局限性： 结果强调，忽略上下文如何影响伦理理论可靠性的标准聚合机制不足以应对现实世界的价值对齐。忽视上下文可能会导致“狂热”或不可靠的结果，即智能体遵循了在特定情境下在计算或认识论上不适用的理论。
新的研究方向： 这项工作推动了道德不确定性研究向上下文加权社会选择的转变。它表明，当上下文成为一个变量时，评估聚合方法的标准（如弱帕累托原则）必须重新评估。
深化伦理表征： 论文指出，对上下文调整的需求源于当前的模型对伦理理论的表征过于“薄”（仅表现为效用函数）。通过根据上下文因素（如计算可行性）调整置信度，作者实际上是在“加厚”这些评估，以反映理论的算法和认识论现实。
未来集成： 作者建议，这种形式化可以将与基于论证的对话相结合。智能体不再仅仅进行静态的偏好诱导，而是可以通过结构化对话动态地“即时”调整道德信念，从而探索上下文的细微差别，以此支持在狭窄领域及超智能系统中实现更稳健的价值对齐。

论文总结道，虽然违反标准社会选择公理看起来违反直觉，但它揭示了忽略上下文所带来的概念局限性，并为更具现实意义、具备上下文敏感性的道德决策提供了形式化基础。