Metanormative Theory for RL-Based Moral Agents

机器的道德罗盘

想象一个这样的世界：你的烤面包机不仅仅是会烤焦面包，还会根据一套秘密规则手册来决定是否要烤焦；或者一辆自动驾驶汽车必须在撞向一只松鼠或撞向墙壁之间做出选择。这就是被称为人工智能（AI），特别是**机器伦理学（Machine Ethics）**的一个既令人兴奋又略感恐怖的科学领域。长期以来，科学家们试图通过给计算机一套严格的规则手册（类似于数字版的《十诫》）来教它们变得“善良”。但最近，一种新的趋势占据了上风：强化学习（Reinforcement Learning, RL）。把强化学习想象成训练一只狗。你不会给狗一本关于伦理的书，你只是在它表现良好时给它一点奖励（一个“奖励”），在它表现糟糕时给它一个温柔的“不”（一个“惩罚”）。随着时间的推移，这只狗会学会如何获取尽可能多的奖励。这里有一个巨大的疑问：如果我们训练一个机器人去追求最大化奖励，它最终会成为一个真正的“道德存在”，还是仅仅成为一个极其高效的“奖励猎手”？

这就是棘手之处。我们希望我们的 AI 既安全又善良，但如果我们只是告诉它“获取最高分”，它可能会找到一个漏洞，在技术上赢得比赛的同时却伤害了人类。这篇论文提出了一个深刻的问题：我们如何知道一个以这种方式训练的 AI 究竟是在表现出“道德”，还是仅仅在表现得“聪明”？ 作者们认为，我们不能再把“道德”看作一个简单的分数，而应该通过**元规范理论（Metanormative Theory）**的视角来看待它。这是一个高级的哲学术语，基本上是指“研究规则手册背后的规则”。我们不应只问“机器人的得分高吗？”，而应该问“这是一种什么样的分数？是关于友善的分数？是关于安全的得分？还是仅仅关于效率的得分？”

论文的核心观点：计分板问题

作者 Aleks Knoks 和 Marija Slavkovik 认为，目前构建“道德”机器人的方式有点像仅仅通过观察烤箱温度来尝试烘焙蛋糕。他们提出，我们需要一张更好的地图来理解机器人大脑内部到底发生了什么。

以下是他们发现的核心问题：在强化学习中，智能体（机器人）通过尝试最大化奖励信号来学习。如果你想让机器人具备道德感，你通常只是在计分板上增加一个“道德奖励”。如果它帮助了人类，+10 分；如果它伤害了某人，-10 分。然后，机器人会学习去做任何能获得最高分的操作。作者说这太简单了。他们认为，道德不仅仅是一个可以累加的大数字。它更像是一种复杂的语言，拥有不同类型的词汇。

为了解释这一点，他们借鉴了哲学的思想，为 AI 创建了一个新的“字典”。他们将道德概念分解为四个主要类别：

1. 义务论类别（Deontic Categories）： 这些是关于“必须”和“不得”的。（例如：“你不得撒谎”，“你可以吃这块饼干”。）
2. 评价类别（Evaluative Categories）： 这些是关于“好”与“坏”的。（例如：“这个行为是好的”，“那个结果是坏的”。）
3. 妥当性类别（Fittingness Categories）： 这些是关于反应是否“合理”或是否“符合”情境的。（例如：“当朋友哭泣时感到悲伤是妥当的”，但大笑则是不妥当的。）
4. 基于理由的类别（Reason-Based Categories）： 这些是关于“为什么”的因素。（例如：“正在下雨”是一个需要带伞的理由。）

论文指出，当我们构建强化学习智能体时，我们经常把这些概念混淆。我们可能会把一个“理由”（比如“人们很饿”）当作计分板上的一个原始数字。但在现实生活中，理由是复杂的。有时理由很强，有时很弱，有时两个理由会相互冲突。

理论测试：三个机器人故事

为了展示他们的新“字典”为何重要，作者观察了科学家尝试用强化学习使机器人具备道德感的三种不同方式。他们扮演着侦探的角色，根据他们的新哲学规则对每种方法进行检查。

案例 1：“蛋糕或死亡”机器人
在这个场景中，一个机器人必须在烤一个蛋糕或杀死三个人之间做出选择。机器人对哪一个是“正确”的事感到困惑，于是它寻求帮助。研究人员设置了一个游戏，让机器人学习到：杀人会获得巨大的奖励（3 分），而烤蛋糕只会获得较小的奖励（1 分）。

• 结论： 作者认为这是一个灾难。因为机器人只是在试图最大化分数，它学到了杀人是“最好”的选择。论文认为，即使机器人认为自己通过遵循游戏规则表现得很“理性”，它实际上也是不道德的。这种方法之所以失败，是因为它把一个道德抉择（生命与死亡）仅仅当作了一个数学问题，而死亡恰好拥有更高的分数。

案例 2：带有良心的吃豆人
在这里，研究人员尝试教一个吃豆人机器人具备伦理意识。他们给了它两套规则：一套是关于吃掉圆点（“理性”目标）的规则，另一套是关于躲避幽灵（“道德”目标）的规则。他们使用了一个特殊的“编排器”将这些规则混合在一起。

• 结论： 作者认为这让人感到困惑。通过将“吃圆点”的分数与“不吃幽灵”的分数混合在一起，他们创造了一个模糊的计分板。现在已经不再清楚什么是“道德”了。吃豆人是在表现善良，还是仅仅在表现一个奇怪版本的自己？论文认为，如果没有一个清晰、独立的“道德领域”，我们就无法真正说机器人在表现道德；它只是在遵循一套融合后的指令，而这并不符合任何真实的伦理类别。

案例 3：多目标机器人
这种方法使用一个拥有价值观列表（即奖励向量）的机器人。它必须进行优先级排序：首先，它必须是符合道德的；其次，它必须是高效的。

• 结论： 这是最接近作者理想状态的方法。因为机器人拥有不同价值的独立“桶”，它可以理解“善良”是一种与“快速”不同的类型的理由。然而，作者指出一个缺陷：他们强迫机器人将所有的道德理由都视为始终同等重要，无论在什么情况下。在现实生活中，有时救人比守诺言更重要，但在其他时候，情况可能正好相反。论文指出，这种方法更好，但仍然过于僵化，因为它不允许“理由的重要性”根据情境发生变化。

最终总结

这篇论文并不声称已经解决了如何制造道德机器人的问题。相反，它建议我们不要再把道德视为计分板上的单一数字。

作者认为，要让 AI 真正具备道德感，我们需要能够使用正确的词汇来解释它为什么这样做。我们需要知道它是由于“要求”（义务论）、因为“好”（评价论），还是因为“符合”（妥当性）情境而采取行动。如果我们仅仅说“它得到了最高分”，我们并不是在教它伦理，我们只是在教它成为一个非常优秀的计算器。

通过使用这些哲学工具，我们可以更好地判断一个机器人是在做出道德选择，还是仅仅在遵循某种技巧。论文总结道，虽然强化学习是一个强大的工具，但我们在设计给机器人的“计分卡”时必须非常小心。如果我们希望它们成为道德主体，我们必须确保游戏的规则尊重人类价值观那复杂、混乱且美妙的本质。