🤖 AI

MoralityGym: A Benchmark for Evaluating Hierarchical Moral Alignment in Sequential Decision-Making Agents

本文介绍了 MoralityGym，这是一个包含 98 个层级化道德困境的基准测试，并提出了一种名为“道德链”的新形式化方法，旨在通过融合心理学与哲学见解，评估并提升序列决策智能体的道德对齐能力。

原作者： Simon Rosen, Siddarth Singh, Ebenezer Gelo, Helen Sarah Robertson, Ibrahim Suder, Victoria Williams, Benjamin Rosman, Geraud Nangue Tasse, Steven James

发布于 2026-05-22

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Simon Rosen, Siddarth Singh, Ebenezer Gelo, Helen Sarah Robertson, Ibrahim Suder, Victoria Williams, Benjamin Rosman, Geraud Nangue Tasse, Steven James

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人穿越一座复杂的城市。你不仅希望它能快速地从 A 点到达 B 点，更希望它在遭遇意外时能做出“好”的选择。如果机器人必须在撞向行人或撞向墙壁之间做出抉择，会发生什么？这正是AI 对齐（AI Alignment）的核心挑战：确保机器人的行为方式与人类价值观相一致。

论文《MoralityGym》提出了一种新的方法来测试和训练机器人应对这些棘手道德困境。以下通过简单的类比，对其方法进行了拆解。

1. 问题：机器人需要的不仅是地图，更是道德罗盘

当前的 AI 系统非常擅长遵循指令以获取奖励（例如完成比赛）。但当它们面临“道德困境”——即每个选项都会造成某种伤害时——它们往往会陷入困惑。它们可能会试图计算“最佳”数学答案（例如“救 5 人，牺牲 1 人”），却忽略了人类那种“推人是不对的”情感认知，即使这样做能挽救更多生命。

作者认为，人类的道德并非一个需要最大化的单一数值。它更像是一个分层的规则列表，其中某些规则在特定情境下比其他规则更重要。

2. 解决方案：“道德链”（规则手册）

为了解决这个问题，研究人员创建了一个名为Morality Chains（道德链）的系统。你可以将其想象为一份严格且分级的机器人规则手册。

类比：想象一次家庭晚餐。
- 规则 #1（最高优先级） “不要打任何人。”（这是一个绝对的“不”）。
- 规则 #2（中等优先级） “不要浪费食物。”
- 规则 #3（最低优先级） “吃你的蔬菜。”

如果你必须在浪费食物（违反规则 #2）和打伤人（违反规则 #1）之间做出选择，你必须违反规则 #2 以保全规则 #1。你绝不能为了满足低优先级的规则而打破最高优先级的规则。

在论文中，这些规则被称为"规范"（Norms）。他们为每条规则分配了一个“力”或权重。

规定（Prescribed）你必须做的事情。
禁止（Prohibited）你绝不能做的事情。
层级（Hierarchy）系统确保对高优先级规则的轻微违反，始终比对低优先级规则的严重违反更糟糕。

3. 测试："MoralityGym"（训练健身房）

为了检验机器人是否真的能遵循这些链条，作者构建了MoralityGym。

类比：将其想象为一个专门用于测试伦理的视频游戏关卡，类似于哲学课上著名的“电车难题”。
设置：在游戏中，机器人位于一个网格上。一辆失控的“电车”（手推车）正冲向一群人。机器人可以：
1. 什么都不做（5 人受伤）。
2. 扳动开关（3 人受伤）。
3. 将一名路人推上轨道（1 人受伤，但救下了另外 3 人）。

机器人必须穿越这个网格，到达目标点，并决定做什么。“道德链”告诉机器人哪些规则最重要。例如，某条链条可能会说：“直接推人比让电车间接撞人更糟糕”，即使数学计算表明推人能挽救更多生命。

4. 实验：机器人的表现如何？

研究人员在这个健身房中测试了几种标准的 AI 训练方法（如 PPO 和 CPO）。他们想看看机器人是学会了遵循“道德链”，还是仅仅试图最大化分数。

结果：
- 标准 AI：大多数标准机器人失败了。它们试图做“数学题”（最小化总伤害），却忽略了“道德规则”（如“不要推人”）。最终，它们做出的选择对人类来说显得冷漠且不道德。
- “塑形”AI：唯一表现良好的机器人是接受了特殊“奖励塑形”（reward shaping）指南的机器人。该指南明确告诉机器人：“如果你违反最高规则，你将受到巨额惩罚。”这台机器人学会了将高层道德规则置于简单的任务完成之上。

5. 为什么这很重要

论文总结认为，当前的 AI 安全方法还不够。你不能仅仅告诉机器人“不要伤害人”，就指望它理解伤害人的方式中的细微差别。

通过利用道德链，我们可以建立一个系统，不仅评估机器人“是否完成了工作”，还评估它们“是否以尊重我们复杂、分层的道德价值观的方式完成了工作”。

简而言之：这篇论文为机器人构建了一场“道德驾驶考试”。它表明，如果没有一份严格、分级的规则手册（道德链），机器人为了到达目的地会鲁莽驾驶。有了规则手册，它们就能学会在最拥堵的交通中安全且合乎伦理地驾驶。

技术摘要：MoralityGym

1. 问题陈述

随着人工智能智能体从狭窄的任务执行转向复杂的现实世界决策，它们越来越多地遇到需要与冲突的、分层结构的人类规范相一致的场景。当前的强化学习（RL）安全与对齐研究虽然在鲁棒性和约束满足方面取得了进展，但往往缺乏足够的表征表达能力来捕捉复杂的道德推理。传统方法通常将道德推理简化为标量奖励或二元约束，未能考虑到人类道德决策所特有的、依赖于上下文的竞争性义务与禁令。

现有的基准测试通常优先考虑在安全约束下的任务完成，但缺乏足够的粒度来评估智能体如何仲裁细微的、分层的道德权衡。目前缺乏旨在根据可配置的、分层结构的道德系统（特别是那些基于道德心理学和哲学的系统，例如直接个人伤害与间接伤害最小化之间的区别）来评估智能体的工具，这是一个关键的空白。

2. 方法论

作者提出了一个两部分框架：一种用于表征道德规范的公理体系，以及一个用于评估智能体的基准测试套件。

2.1 道德链（Morality Chains）：分层规范的公理体系

本文引入了道德链，这是一种将道德规范表征为有序道义约束的公理体系。该方法受到规范表征的认知模型和道德心理学中的双过程理论的启发。

道德规范（ $N$ ）：定义为元组 $\langle \phi, \rho_\phi, f, D \rangle$ $⟨ ϕ, ρ_{ϕ}, f, D ⟩$ ：
- $\phi$ ：一个签名（标签），用于识别具有道德显著性的模式（例如，“总伤害”或“直接个人行动”）。
- $\rho_\phi(\pi)$ ：一个策略依从函数，量化策略 $\pi$ 表现出该模式的预期程度。
- $f \in \mathbb{N}$ ：规范的力（force），一个代表其绝对强度或优先级的唯一标量。
- $D \in \{True, False\}$ ：道义模态（规定或禁止）。
道德函数（ $M_N$ ）：基于依从性和模态计算特定规范的 Alignment 分数。
道德链（ $\bar{N}$ ）：一个有序规范序列 $(N_1, N_2, \dots, N_k)$ ，其中规范按其力值严格排序（ $f_1 > f_2 > \dots > f_k$ ）。这创建了一个字典序层级，其中排名较高的规范支配排名较低的规范。
道德指标（ $\mathcal{M}_{\bar{N}}$ ）：一个用于根据整个链评估策略的标量指标。它采用递归定义的权重（ $w_i$ ）以确保字典序偏好。高优先级规范的微小显著改进对总分的贡献，大于所有低优先级规范的最大化对齐。

2.2 MoralityGym 基准测试

MoralityGym 是一个基准测试套件，包含 98 个兼容 Gymnasium 的环境，用于模拟电车问题的变体。

环境机制：智能体在具有离散动作（上、下、左、右、停留、交互）的网格世界中运行。“交互”动作允许切换杠杆（切换轨道）或推人（直接伤害）。
实体：包括智能体、角色（人类、动物、机器人）、电车、杠杆和道岔。
奖励与成本：该框架将任务奖励（到达目标的稀疏信号）与道德成本解耦。
- 成本函数：基于规范违反情况计算标量成本。基于事件的规范（行动、结果、因果）在首次违反时产生一次性成本。基于效用的规范根据伤害程度累积成本。
- 评估：evaluate_morality_metric 方法在多个回合中评估策略，计算单个规范的依从性以及整体分层指标。

2.3 实验设置

作者在 MoralityGym 上评估了多种安全 RL 基线：

随机策略：均匀随机动作选择。
PPO：仅在任务奖励上训练的标准近端策略优化。
PPO Shaped：在包含道德成本的整形奖励（ $R_E - \lambda \cdot C_t$ ）上训练的 PPO。
PPO-Lagrangian (PPO-Lag)：增强拉格朗日乘数以满足成本约束的 PPO。
约束策略优化 (CPO)：一种在成本阈值下最大化奖励的信赖域安全 RL 算法。

测试了四种不同的道德链，代表不同的伦理框架：

效用 (U)：后果主义（最小化总伤害：人类 > 动物 > 机器人）。
效用智能体伤害 (UAH)：在 U 的基础上扩展，增加了一个智能体自我保存的规范。
双过程 (DP)：混合模型，优先避免直接个人伤害，而非总伤害最小化。
双过程智能体伤害 (DPAH)：在 DP 的基础上扩展，增加智能体自我保存。

3. 主要贡献

道德链公理体系：一种新颖的方法，通过道义力显式地对道德规范进行排序，使得在序列决策中操作化分层伦理优先级成为可能。
MoralityGym 基准测试：一个包含 98 个环境的综合套件，超越了二元安全约束，用于模拟复杂的、多因素的道德困境（例如：自我牺牲、不同实体类型、间接与直接因果关系）。
解耦评估：一个将任务解决与道德评估分离的框架，使得心理学和哲学的见解能够整合到 RL 评估中。
实证基线：对标准安全 RL 方法的系统评估，揭示了它们在缺乏显式奖励整形或约束调整的情况下，处理分层道德权衡的局限性。

4. 结果

跨越四种道德链和各种场景（例如 PushOrSwitch, SwitchSelfSacrifice）的实证评估得出了以下发现：

性能层级：PPO Shaped（专家奖励整形）在所有场景中始终获得最高的道德指标分数，通常接近完美对齐（例如，在 DPAH 下的 PushOrSwitchSelfSacrifice 中达到 0.996）。
标准方法的局限性：标准 PPO 和 PPO-Lag 往往未能优先考虑关键的道德考量。例如，在效用链中，标准 PPO 在最小化人类伤害方面的得分接近零，表明在没有显式整形的情况下未能学习主要目标。
约束与整形：CPO 和 PPO Shaped 擅长满足高优先级规范，通常以牺牲低优先级规范为代价，反映了严格的层级结构。相比之下，PPO 和 PPO-Lag 表现出更平衡但一致性较差的性能，难以强制执行严格的字典序偏好。
权衡：包含自我保存规范（UAH, DPAH）暴露了显著的权衡。像 CPO 和 PPO Shaped 这样的智能体优先考虑人类安全而非智能体安全（自我牺牲），而标准 PPO 优先考虑自我保存，未能最小化对他人的伤害。

5. 意义与主张

本文主张，MoralityGym 为开发在复杂现实世界背景下行为更可靠、透明和合乎伦理的 AI 系统提供了基础测试平台。

跨学科桥梁：该工作将道德哲学（后果主义与道义论）和认知科学（双过程理论）整合到 RL 智能体的技术评估中。
揭示差距：结果强调了当前安全 RL 能力与道德决策需求之间的关键差距，特别是在需要规范敏感推理和分层优先级的场景中。
未来方向：作者认为，他们的框架推动该领域朝着能够不仅推理最优结果，而且推理在特定道德背景下为何某些行动是对或错的智能体发展。

作者承认了局限性，指出该框架抽象掉了心理特征（如情绪和社会背景），并假设规范的严格排序，这可能无法捕捉到冲突规范具有同等力度的“悲剧性困境”。然而，他们断言 MoralityGym 为在 AI 中建模道德推理提供了一个稳健的起点。