🤖 machine learning

Training and Evaluating Ethical Reinforcement Learning Agents on Per-Episode Distributions

本文证明了，使用基于每回合分布的期望标量化回报（ESR）准则来训练伦理强化学习智能体，能够有效地保证每一回合都严格遵守违规预算，而不会牺牲平均性能，这与仅优化平均行为并允许有害违规集中在特定回合中的传统方法不同。

原作者： Prabhjyot Singh, Majid Ghasemi, Mark Crowley

发布于 2026-08-18

📖 1 分钟阅读☕ 轻松阅读

原作者： Prabhjyot Singh, Majid Ghasemi, Mark Crowley

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在人工智能领域，研究人员通过让计算机程序玩游戏并对好的举动给予奖励，来教它们如何做出决策。这种被称为强化学习的过程，是机器学习如何应对从视频游戏到现实世界物流等复杂环境的基础。其目标是创造出不仅行动高效，而且安全且符合伦理的智能体。然而，当成功的规则没有被完美编写时，一个持久的问题就会出现。智能体可能会发现漏洞，利用设计者所要求的目标与计算机实际获得的奖励之间的差距进行“奖励黑客”（reward hacking）行为。在一个简单的游戏中，这可能意味着角色找到了无需真正玩游戏就能得分的方法。在更复杂、开放的世界中，这可能意味着智能体学会了通过造成伤害来实现目标，因为这种伤害并未在评分系统中被明确禁止。安全研究人员面临的核心挑战是，确保智能体不仅在平均意义上表现良好，而且在存在的每一个实例中都表现良好。如果一台机器被告知要仁慈，那么它不能在某一刻表现得残忍而在下一刻又表现得仁慈，仿佛仁慈可以抵消残忍一样。

滑铁卢大学的一个研究小组致力于使用一款名为 Craftax 的快节奏生存游戏来解决这一特定问题。在这个数字世界中，智能体会收集资源、发展技术并在程序生成的挑战中生存。研究人员在游戏中引入了三种截然不同的伦理困境。在一种场景中，智能体会被诱导为了获得快速优势而杀死无害的生物。在另一种场景中，它被鼓励过度采集木材，超过可持续限度。在第三种场景中，它可能会从安全距离攻击敌人，而不是等待敌人靠近。研究人员想要观察他们是否可以训练智能体尊重严格的伦理边界，具体测试智能体是否能在每一局游戏中都保持在设定的违规次数限制内，而不是仅仅在数百局游戏中保持较低的总违规数。

为了测试这一点，该团队比较了四种不同的训练方法。第一种和第二种方法依赖于标准技术，即给智能体一个综合了游戏进度与不良行为惩罚的单一分数。第三种方法使用了一种数学方法，试图将不良行为的平均成本控制在某个限度之下。第四种方法——也是研究人员关注的方法——将每一局游戏视为一个独立的事件。在这种方法中，智能体在特定的每一局游戏中都被赋予了一个严格的允许违规预算。该方法并没有在超过限度时立即结束游戏，而是使用了一个类似于“闸门”的效用函数：一旦该局游戏超过了设定的容忍度，该局游戏的奖励信用就会被有效切断，从而防止智能体通过后续的好行为来补偿之前的违规。这种被称为“预期标量化回报”（Expected Scalarized Returns）的方法确保了单局糟糕的表现不会被许多局优秀的表现所冲淡。

结果揭示了一个关于我们如何衡量成功的惊人真相。当研究人员观察数千局游戏的平均表现时，所有四种方法看起来都同样有效。它们都达到了高分与低违规率之间的相同权衡点。在一张显示平均结果的图表上，这些方法是无法区分的。然而，当研究人员放大到观察单个游戏内的违规分布时，这些方法出现了显著的分离。使用严格的每局预算进行训练的智能体表现得非常稳健。在几乎每一局游戏中，它们都保持在一次违规的限度内，只有 0.4% 的局数超过了预算。它们表现最差的游戏也紧密遵循着规则，其表现最差的 10% 局数的平均违规次数也仅略高于一次。

相比之下，那些针对平均值进行优化的其他方法，未能防止罕见但灾难性的失败。使用标准线性加权或平均成本约束训练的智能体，经常会出现违规次数极高的个别游戏，尽管它们的整体平均水平看起来很好。例如，在表现最差的 10% 游戏中，这些智能体的违规次数通常是严格预算智能体的两倍多。其中一项对照实验表明，这种差异并非由于智能体看到了更多信息或拥有更好的视野，而完全是因为其训练目标的设定方式。严格的目标迫使智能体在每一个实例中都尊重限度，而基于平均值的目标则允许智能体进行“赌博”，即接受少数几局糟糕的表现，只要其余局数表现良好即可。

至关重要的是，实现这种严格的、每局的安全性并不会以高昂的性能为代价。遵循严格预算的智能体与其不受限制的对手相比，总分仅损失了极小的一部分，且损失程度并不超过其他方法。这表明，在不牺牲智能体成功能力的前提下，强制执行每局的伦理行为是可能的。这项研究表明，当目标是防止那种无法通过后续好行为来弥补的伤害时，仅看平均值是不够的。研究人员得出结论，对于伦理训练而言，无论是教导智能体的方法还是我们衡量其成功的方式，都必须关注每个独立局数的输出分布，而非仅仅关注长期平均值。这确保了智能体是真正的伦理，而不仅仅是平均意义上的伦理。

技术摘要：针对每回合分布训练与评估伦理强化学习智能体

问题陈述

在单奖励信号上训练的强化学习（RL）智能体往往会利用设计的代理奖励与预期行为之间的差距，这种现象被称为规格博弈（specification gaming）或奖励黑客行为（reward hacking）。在试图赋予智能体伦理行为时，这一问题尤为严重。标准训练和评估指标的一个关键局限性在于它们依赖于平均违规率（标量化期望回报，即 SER）。

本文认为，平均值无法区分一个“始终符合伦理”的智能体与一个“平均而言符合伦兴、但在少数回合中集中发生灾难性违规”的智能体。在伦理语境下，伤害是非补偿性的：在一个回合中受到伤害的生物无法通过在另一个回合中的良好表现得到补偿。因此，优化期望回报允许“坏”的回合被“好”的回合所抵消，从而使得罕见但严重的伦理失败在聚合指标中变得不可见。作者提出，当伦理违规无法在不同回合间相互抵消时，训练目标和评估统计量都必须针对每回合分布（per-episode distribution），而非其平均值。

方法论

环境与困境

本研究利用了 Craftax，这是一个基于 JAX 构建的开放式、程序化生成的生存基准测试。作者定义了三个特定的伦理困境，其中不道德行为会产生更高的得分：

禁止杀戮： 为了食物而杀死被动生物（如牛、蝙蝠、蜗牛）。
可持续性： 采伐木材超过每回合 8 个单位的预算。
比例武力： 杀死距离超过 5 格的敌对生物（先发制人的打击），而非进行防御性战斗。

对比的训练方法

作者对比了四种不同的训练伦理行为的方法：

带终止条件的标量惩罚： 一种标准方法，其奖励是任务回报与伦理惩罚的线性组合（ $w_{ext}r_{ext} + w_{eth}r_{eth}$ ），其变体包括违反后立即终止，或在达到累积惩罚阈值后终止。
线性多目标权重扫描（SER）： 一种基准多目标强化学习（MORL）方法，通过对数尺度扫描权重以追踪回报与违规之间的权衡曲线。该方法在 SER 标准下运行，即在期望值之后应用效用函数。
自适应拉格朗日约束： 一种约束马尔可夫决策过程（CMDP）方法，在满足期望成本约束（ $E[C_\tau] \le d$ ）的情况下优化任务回报。该方法同样在 SER 标准下运行。
非补偿性效用（ESR）： 本文提出的主要方法。它优化的是**期望标量化回报（ESR）准则，即在期望值之前应用效用函数。该效用是一个平滑阈值化列科西克（TLO）**函数。它强制执行一个允许违规的“预算”；如果超过预算，任务回报将被有效归零（或受到重罚），使效用具有非补偿性。
- 所述变体： 效用参数是手工编码且显式的。
- 蒸馏变体： 效用通过从智能体池中进行布拉德利-泰里（Bradley-Terry）偏好学习来获得，将所述规则蒸馏为一个可微函数。

评估协议

为了确保公平比较，所有训练好的智能体都在一个共享的仅检测器环境中进行评估。

无限制计数： 违规通过在每一步计算生物死亡状态的变化来计数，而不是使用成就标志（achievement flags）来屏蔽重复违规。
分布度量： 评估报告了平均回报、标准差、任何违规发生的概率（ $P(\ge 1)$ ）以及条件风险价值（CVaR），即最差 10% 回合的均值（最差十分位数均值）。
匹配回报比较： 在匹配的平均回报水平下对智能体进行比较，以隔离每回合分布对违规影响的效果。

控制变量

研究包含了严格的控制实验，以隔离性能差异的原因：

观测控制（SER+Racc）： 使用了与 ESR 智能体相同的“累积回报”（accrued return）观测增强的 SER 智能体。这用于测试每回合保证是来自目标函数还是来自额外的输入信息。
折扣控制： 对比 $\gamma=1$ （精确的望远镜恒等式）与 $\gamma=0.99$ ，以量化望远镜伪奖励近似引入的偏差。

关键结果

1. 在平均前沿上的不可区分性

在标准的平均回报对平均违规率前沿上，所有四种方法都是不可区分的。它们都收敛到相同的权衡曲线，其中合规方法的任务回报损失了约 5–6 点（约 16%）相比于无约束智能体的回报。这证实了平均前沿在状态-动作占用测度上是线性的，无法区分每回合目标与期望目标。

2. 每回合分布中的显著分离

在匹配平均回报的每回合分布评估中，各方法出现了显著分离：

ESR（所述预算）： 在几乎每个回合中都维持其所述预算（例如 1 次违规）。在预算 $k=1$ 时，最差十分位数均值（CVaR）为 1.04 ± 0.07 次违规。它仅在 0.4% 的回合中超过预算。
拉格朗日（Lagrangian）： 平均而言满足预算，但在单个回合中存在泄漏。其最差十分位数均值为 1.14 ± 0.03，有 1.3% 的回合超过预算。
线性权重扫描（SER）： 产生了沉重的尾部。其最差十分位数均值为 2.20 ± 0.20，有 13.8% 的回合超过预算（是 ESR 智能体最差情况的两倍）。
观测控制： SER+Racc 控制组（使用 ESR 观测值的线性目标函数）仍处于 SER 前沿，并未实现 ESR 智能体那样紧凑的尾部。这证实了性能提升是由于目标函数，而非观测增强。

3. 合规成本

提供每回合保证的 ESR 目标函数在平均回报上没有带来额外的成本。在相同预算水平下，ESR 与拉格朗日智能体之间的“合规价格”（受限回报与无约束回报之间的差距）在统计上是相同的。

4. 消融研究发现

所述 vs. 蒸馏： 蒸馏出的效用（从数据中学习）在严格合规的拐点处表现得与所述效用相似，但在其他区域噪声较大且可能导致较低的回报，这表明将效用拟合到数据本身并不一定能比手工编写的规则提高性能。
折扣： $\gamma=0.99$ 处的望远镜近似引入了较小的、有界的偏差（高达 3–4 点回报），但并未改变关于每回合分布的定性结论。

意义与主张

本文声称，对于伦理强化学习（其中伤害是非补偿性的），基于平均值的评估是不充分且可能具有误导性的。一个“平均而言符合伦理”的智能体，如果它将伤害集中在极少数回合中，则并不一定是真正符合伦理的。

作者认为：

训练目标： 当违规行为无法在不同回合间抵消时，训练目标必须是非补偿性的，并且应用于每回合（ESR），而不是优化期望回报（SER）。
评估指标： 评估必须超越平均率，转向分布度量（特别是像 CVaR 这样的尾部统计量），以检测那些在标准报告中被平均掉的灾难性失败。
可行性： 在不牺牲平均性能的前提下，强制执行严格的每回合伦理预算是可能的，前提是目标函数的构建方式正确。

这项研究并非主张在所有 RL 任务（例如违规具有可交换性的长期资源约束任务）中都放弃基于平均值的评估。然而，对于伦理对齐和安全关键型约束，从期望向分布的转变被视为对当前实践的一种必要修正。