🤖 AI

Bounded Morality: Defining the Space of Moral Computation

本文引入了“有限道德”（Bounded Morality），这是一个将有限理性扩展到道德认知领域的形式化框架，通过定义一个受限于道德广度与深度权衡的有限计算空间，从而将伦理理论重新构架为有限主体局部高效的策略，而非绝对真理。

原作者： Max Kanwal, Caryn Tran, Patrick Mineault

发布于 2026-07-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Max Kanwal, Caryn Tran, Patrick Mineault

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在试图解决一个巨大且复杂的拼图。你拥有的时间有限，你能拿在手里的拼图碎片数量有限，而且你用来思考这些碎片如何组合在一起的脑力也是有限的。

这篇名为**《有限道德》（Bounded Morality）的论文指出，进行道德决策正是在解决这样一个拼图。它认为，我们（以及我们构建的 AI）并不仅仅是“好”或“坏”的思考者；我们是有限的思考者**，拥有有限的资源。由于这些限制，我们必须做出权衡，而这些权衡塑造了我们看待世界和做出选择的方式。

以下是该核心思想的拆解，采用了简单的概念和类比：

1. 道德思考的两个旋钮

作者说，每一个道德决策都涉及转动两个不同的“旋钮”，但你无法同时将两者都转到最大，因为你的“电池”（你的脑力或计算机算力）是有限的。

旋钮 A：道德广度（你的视野有多宽？）
- 类比： 想象你正通过相机镜头观察风景。广度就是镜头的宽度。你是只聚焦于你的家人？还是把镜头拉远，去观察你的整个社区、整个国家，甚至是后代？
- 代价： 镜头越宽，你需要追踪的“事物”就越多。如果你试图关心地球上的每一个人，你就必须记住数百万个名字和情况。这需要巨大的记忆力。
旋钮 B：道德深度（你的思考有多深？）
- 类比： 想象你正在下一盘国际象棋。深度是你能够计算出多少步棋。你是只看眼下的这一步？还是可以模拟接下来的 10 步，思考对手会如何反应，以及他们的反应又会如何改变棋局？
- 代价： 思考得越深，消耗的脑力就越多。模拟 10 步棋要比只看当前的一步难得多。

2. “剪刀”权衡

论文引用了著名心理学家赫伯特·西蒙（Herbert Simon）的话，他说人类行为是由一把剪刀塑造的：一侧刀片是任务（道德问题），另一侧刀片是你的能力（你的脑力）。

论文指出，由于资源有限，你必须在广度和深度之间做出选择。你无法两者兼得。

如果你试图关心所有人（高广度），你通常必须采用简单、快速的思考方式（低深度）。你可能会简单地说：“平等对待每个人”，而不去思考这条规则背后复杂的连锁反应。
如果你试图对特定情况进行极深层的思考（高深度），你通常必须专注于一个小群体（低广度）。你可能会花好几个小时去构思如何为你的直系亲属达成完美的结果，却忽略了世界的其他部分。

3. 为什么存在不同的伦理理论

你可能会问：“为什么人们在伦理问题上争论不休？为什么会有功利主义者、义务论者和德性伦理学家？”

这篇论文暗示，这些并不只是不同的“真理”在相互对抗。相反，它们就像是在资源有限的情况下玩游戏的各种策略。

功利主义（Utilitarianism） 就像是一种将广度旋钮转到底的策略。它试图计算每个人的幸福。但因为它要计算太多的人，它通常不得不使用简单的数学方法（低深度）来跟上进度。
义务论（Deontology，遵循规则） 就像是一种认为“我无法计算一切，所以我将遵循严格规则”的策略。它通过限制搜索空间来避免被信息淹没。对于中等规模的问题，这种方式非常高效。
德性伦理（Virtue Ethics） 就像是一种完全停止计算的策略。它依赖于“肌肉记忆”或习惯。它将深度旋钮降至零（没有复杂的计算），并将广度旋钮降至仅限于“当下的感觉”。这对于即时行动来说既快速又高效。
关怀伦理（Care Ethics） 专注于一个紧密的微型关系圈（低广度），但在这些人之间的具体联系上进行深度思考（高深度）。

核心洞察： 这些理论并不一定“正确”或“错误”。它们只是在面对时间或脑力匮乏时，解决道德谜题的高效方式。

4. 为什么我们会产生分歧（即使我们的目标一致）

论文解释说，两个拥有相同价值观（例如，“我想帮助他人”）的人仍然可能在行动上产生分歧。

类比： 想象两名登山者试图登上同一座山峰。其中一人背着沉重的背包（资源有限）并拿着一张宽泛的地图。另一人则背着轻便的背包，拿着一张狭窄的地图。
他们可能会采取不同的路径。一个人走得广但浅（覆盖范围大但缺乏细节），另一个人走得深但窄（小心翼翼地攀爬特定的山脊）。
他们并不是在为目的地而争吵；他们是在为如何分配有限的能量以到达目的地而争论。

5. 这对 AI 意味着什么

论文建议，当我们试图让 AI 具备“道德感”时，我们不应仅仅尝试模仿人类的判断。人类是有限的，而我们的 AI 可能拥有更强大的力量。

与其问：“人类会怎么做？”，我们应该问：“我们应该如何分配 AI 庞大的计算能力？”

AI 应该观察十亿人，但只向前思考一步吗？
还是应该观察一小群人，但向前思考一千步？

论文认为，“道德进步”并不是要找到单一的完美规则书。它关于更好地管理我们的资源。当学习如何更有效地利用有限的时间和脑力以接近“完美”答案时，或者当技术赋予我们更多资源，使我们能同时调高广度和深度这两个旋钮时，进步就发生了。

总结

**《有限道德》**的核心观点是，行使道德是一种带有有限预算的数学问题。我们必须在观察世界的程度（广度）与思考问题的深度（深度）之间做出权衡。不同的伦理理论只是消耗这份预算的不同方式。理解这一点有助于我们看到，道德分歧往往只是我们在管理有限脑力时的不同方式，而不一定意味着一方是邪恶的，而另一方是善良的。

技术摘要：有界道德 (Bounded Morality)

问题陈述

传统的将道德形式化为人工系统的做法，通常将既定的伦理理论（如功利主义、义务论）编码为静态规则或价值函数。这种策略将道德分歧视为选择正确理论的问题，往往无法解释道德推理实际上是如何进行的，或者它如何随认知能力的变化而缩放，亦或是为什么不同的理论在不同文化中持续存在。虽然有限理性研究已经表明人类判断反映了在计算约束下的适应性权衡，但道德推理的“需求侧”仍未得到充分说明：具体而言，哪些道德情境的特征施加了信息和计算负担，从而导致了这些权衡的必要性。

本文旨在解决表征道德问题需求结构的空白。它探讨了道德情境如何以系统性的方式增加或减少有限智能体的道德推理计算负担。

方法论

作者提出了有界道德，这是一个将道德推理建模为受约束的情境需求下推断的正式框架。该方法分为三个阶段：

1. 定义需求空间

该框架确定了两个正交维度，用于定义道德情境的计算需求：

道德广度 (Moral Breadth)： 道德表征的范围。它捕捉哪些实体、群体、时间尺度或抽象概念被视为具有道德相关性（例如，包括外群体、非人类动物或后代）。
道德深度 (Moral Depth)： 推理的复杂性。它捕捉对实体及其相互作用进行建模时的丰富度、递归性和连贯性（例如，反事实推理、多步决策或整合多种视角）。

来自发展心理学、神经科学和社会选择论的经验证据证明，这两个维度是可分离的，但同时受到有限认知资源的共同约束。

2. 正式建模

作者将道德推理形式化为图上的受控动力系统：

道德交互图 ( $G^*$ )： 一个节点代表道德相关实体、边代表直接影响关系的图。
真值 (Ground-Truth Value)： 定义为无限轨迹上福利的折扣总和，其中福利是关于节点和边势能的图结构函数。
有界近似 (Bounded Approximation)： 有限智能体无法计算真值。相反，它们采用：
- 抽象 ( $G$ )： 通过聚合映射 $\pi_V$ 对 $G^*$ 进行粗粒度投影，减少不同实体和相互作用的数量（广度）。
- 截断时界 ( $H$ )： 指定显式评估动力学步骤的展开深度（深度）。
成本模型： 引入了一个规范成本模型，其中总计算成本为 $Cost(b, H) = \alpha b + \beta b H^p$ 。这建立了一个反向缩放定律：在固定预算 $B$ 下，增加表征广度 ( $b$ ) 会严格减少可实现的深度 ( $H$ )，反之亦然。

3. 策略与遗憾

道德策略： 定义为一个分配规则 $\rho$ ，它将世界状态和资源预算映射到特定的 $(G, H)$ 对。
道德遗憾 (Moral Regret)： 最优干预的真值与有界策略所实现的价值之间的差异。
道德进步： 不被定义为收敛于唯一的道德真理，而是定义为在固定的资源预算内减少预期遗憾（更好的分配），或通过技术或制度变革推动可行前沿向外移动。

核心贡献

1. 广度-深度权衡

论文确立了一个用于道德计算的正式帕累托前沿 (Pareto frontier)。它证明了对于有限智能体，扩大道德关怀的范围（广度）必然会限制推理的深度，而深化推理则需要缩小范围。伦理理论被重新诠释为不是关于道德真理的竞争性说明，而是适应资源需求沿该前沿不同机制的局部高效策略。

2. 伦理理论的重新诠释

该框架将经典的伦理理论映射到广度-深度空间的特定区域：

行为功利主义 (Act Utilitarianism)： 高广度，中等深度。优先考虑表示许多利益相关者，并采用简单的加法聚合。
义务论 (Deontology)： 中等广度，中等深度。依赖硬约束来剪枝搜索空间，通常需要有限的范围以保持可行性。
契约论 (Contractualism)： 低广度，高深度。专注于少数利益相关者，但分配大量资源进行深度审议和最坏情况下的反对分析。
德性伦理 (Virtue Ethics)： 极小广度，零深度。将计算转移到离线阶段，转化为习得的倾向（摊销推理），从而消除在线展开。
关怀伦理 (Care Ethics)： 局部广度，中等深度。专注于局部邻域内密集的关联结构，而非全局枚举。

3. 形式化道德分歧与进步

分歧： 框架表明，即使是在共享相同价值观的智能体之间，持久的道德分歧也可能产生。分歧可能反映了对有限资源的分配差异（处于帕累托前沿的不同点），而非根本性的价值冲突。
进步： 道德进步被重新定义为：(i) 在固定约束内通过改进资源分配来减少遗憾，或 (ii) 通过增加可用能力的文化或技术进步来扩展可行前沿。

4. 对 AI 对齐的启示

论文认为，AI 对齐不应仅仅侧重于模仿人类判断（人类判断本身是受限且可能次优的）。相反，对齐应侧重于设计使道德推理能力能随表征和计算资源而缩放的系统。目标是复制资源与道德能力之间的缩放关系，而不是复制特定受限人类智能体的输出。

结果与主张

本文并未呈现新的实验数据或特定 AI 系统的经验验证。相反，其“结果”是理论推导：

反向缩放定律： 一个数学推导，显示在固定预算下，深度随广度成反比缩放 ( $H \leq C b^{-1/p}$ )。
遗憾最小化： 将道德进步定义为相对于无界理想值的预期遗憾最小化，并考虑特定的资源约束。
策略分类： 一个关于关于广度、深度和聚合的结构性承诺的策略分类的概念映射。

意义

该论文声称提供了一个统一的描述性说明，桥接了伦理学、心理学和人工智能。其意义在于：

重构道德失败： 它将道德缺陷（如僵化、忽视遥远的利益相关者）的解释从错误的价值观或非理性转向了对有限计算资源的理性分配。
非相对主义的分歧： 它提供了一种结构性的解释，使得道德分歧不需要依赖道德多元论；智能体可以在共享价值观的同时产生分歧，仅仅是因为它们在广度-深度前沿上运行在不同的可行点上。
伦理学的计算视角： 它提供了一个最小化的计算视角，以整合伦理学和心理学的见解，将伦理理论视为管理有限智能体固有权衡的策略。
AI 的诊断工具： 它提供了一套技术词汇，用于分析为什么人工系统的道德行为能力会失效，并指出对齐失败可能源于道德计算与情境之间的失配，而非错误的目标。

作者明确指出，该框架并不主张任何特定的道德价值观或伦理理论。相反，它研究的是任何有限道德智能体（无论是人类还是人工）在面对时间、信息和计算能力超过情境需求时必须面对的运作约束。