🤖 AI

Building Interpretable Models for Moral Decision-Making

本文提出了一种紧凑的双层 Transformer 模型，该模型在 Moral Machine 数据集上实现了 77% 的准确率，同时利用可解释性技术揭示了道德推理与偏见是如何分布在神经网络中不同的计算阶段的。

原作者： Mayank Goel, Aritra Das, Paras Chopra

发布于 2026-02-05

📖 1 分钟阅读☕ 轻松阅读

原作者： Mayank Goel, Aritra Das, Paras Chopra

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图理解一台计算机是如何做出艰难抉择的，比如决定在经典的“电车难题”（一辆失控的列车必须转向撞向一组人，还是撞向另一组人）中救谁。通常，我们会使用巨大的、复杂的 AI 大脑（大语言模型）来处理这类问题，但它们就像“黑箱”一样：我们能看到答案，却完全不知道它们是如何得出结论的。

这篇论文关于构建一个微小的、透明的 AI 大脑，专门用于解决这些道德谜题，以便我们能够真正观察到它的齿轮是如何转动的。

以下是他们所做的工作以及研究发现的简单拆解：

1. 构建一个“道德计算器”而非“黑箱”

研究人员并没有仅仅向一个庞大的 AI 输入大量故事。相反，他们从头开始构建了一个定制的小型模型（仅有 104,000 个参数——对于 AI 来说非常微小）。

你可以把他们的模型想象成一个结构化的电子表格，而不是一个混乱的图书馆。每当 AI 观察一个场景时，它都会将情况分解为涉及每个人的三个特定事实：

他们是谁？（例如：医生、罪犯、婴儿）。
有多少人？（例如：1 个人、5 个人）。
他们在哪一边？（A 队或 B 队）。

该模型的“假设”是：做出道德决策仅仅是一个通过识别这三件事并将它们相互权衡的数学问题。

2. 它有多聪明？

他们用来自“道德机器”（Moral Machine）数据集的 300 万个真实人类决策训练了这个微型模型。

结果： 它达到了 77% 的准确率。
结论： 你并不需要一个庞大、不透明的超级计算机来做出道德选择。一个小型、简单且透明的模型可以像大型模型一样有效地学习人类的道德原则，而且还有一个额外的优势：我们可以实际看到它是如何思考的。

3. 窥视机器内部（“X 射线”视觉）

由于该模型规模较小且是定制构建的，研究人员可以使用特殊工具观察其“大脑”内部，并查看特定的偏见存在于何处。他们发现了三个有趣的现象：

A. “道德等级制度”（谁更重要？）

他们通过更换场景中的角色来测试模型，以观察谁对决策的影响最大。

研究结果： 模型学习到了一个清晰的“价值”等级制度，正如人类一样。
- 高价值： 孕妇和婴儿车里的婴儿对正面影响最大（模型非常渴望拯救他们）。
- 低价值： 罪犯对负面影响最强（模型非常愿意牺牲他们）。
- 中性： 普通的“男性”和“女性”被视为基准，几乎没有任何特殊权重。
比喻： 想象模型有一个天平。它不仅仅是在数人头；它会在“婴儿”上放重砝码，在“罪犯”上放轻砝码。

B. 偏见存在于何处（“工厂车间”）

该模型有两个处理层（可以理解为两个装配站）：研究人员发现不同的类型的偏见发生在不同的站点。

第一站（第 0 层）： 这是模型决定某人是否是罪犯的地方。它会立即识别出“坏人”标签。
第二站（第 1 层）： 这是模型决定人类与动物之间区别的地方。它会进行第二步处理，判定人类比猫更重要。
比喻： 这就像一个工厂，一名工人负责在门口检查“危险物品”（罪犯），而第二名工人则在流水线下游检查物品是“人”还是“宠物”。

C. “秘密电路”

他们发现了一组微小的、稀疏的神经元（256 个中的 45 个）充当最终决策者。如果关闭这些特定的神经元，模型做出正确道德选择的能力会略微下降。这就像找到了控制房子前门灯光的特定保险丝。

4. 为什么这很重要

该论文认为，通过构建小型、透明的模型，我们可以停止猜测为什么 AI 会做出错误的道德选择。

问题在于： 如果一个庞大的 AI 存在偏见，由于我们不知道偏见隐藏在哪里，因此很难修复它。
解决方案： 借助这个小模型，我们可以看到“罪犯偏见”发生在第 0 层。这意味着我们有可能通过仅仅调整那部分特定的代码来修复它，而不是尝试重新训练整个系统或清洗数据。

总结

研究人员构建了一个小型、透明的 AI 来解决道德困境。他们证明了：

小型模型可以有效地学习人类的道德规则。
这些模型学习到了一个特定的“等级制度”，即谁更有价值（婴儿 > 罪犯）。
不同的偏见（如年龄或物种）发生在 AI 思考过程的不同阶段。
由于模型很简单，我们可以精准定位这些偏见存在的位置，并进行手术式的精准修复。

这个“道德显微镜”的代码是公开可供任何人研究的，这证明了理解 AI 伦理并不需要一个黑箱——它需要一个清晰的窗口。

技术摘要：构建用于道德决策的可解释模型

问题陈述

随着人工智能系统越来越多地遇到道德困境（例如自动驾驶汽车、内容审核），迫切需要了解这些系统不仅在做什么决策，还要理解它们是如何进行推理的，以及其架构中的道德偏见源自何处。目前的方法通常依赖于对大规模语言模型（LLM）进行事后探测，这限制了机械性的理解。本文旨在解决构建一个透明的小规模模型的挑战，该模型能够从 Moral Machine 数据集（Awad 等人，2018）中学习通用的道德原则，以促进详细的可解释性分析。

方法论

架构设计

作者提出了一种专门为结构化道德推理任务优化的自定义两层 Transformer 模型。与通用型 LLM 不同，该架构利用了电车难题情境的组合特性。

输入表示： 每个道德困境被表示为一对结果（ $O_0, O_1$ ）。每个结果都被编码为一个由 23 种字符类型（例如：男人、女人、罪犯、医生）组成的标记序列。对于结果 $t$ 中基数为 $n_c$ 的每个字符 $c$ ，构建一个组合嵌入：
$e^{(t)}_c = [E_{char}(c) ; E_{card}(n_c) ; E_{team}(t)]$
这种设计编码了这样一个假设：道德推理分解为识别利益相关者、量化影响以及解决相互竞争的利益。
模型配置： 模型使用嵌入维度 $d=64$ ，2 个注意力头和 2 层 Transformer 层（ $L=2$ ）。它处理一个由 46 个标记（每种结果 23 个）组成的序列，并在其前面附带一个可学习的 [CLS] 标记。
对称性强制： 为了确保侧向不变性（即对 A 优于 B 的偏好是 B 优于 A 的补集），推理过程会对两种输入顺序的预测取平均值：
$p(O_1 \succ O_0) = \frac{1}{2} [\sigma(f(O_0, O_1)) + (1 - \sigma(f(O_1, O_0)))]$
分类： 最终的 [CLS] 表示通过一个两层 MLP，产生一个标量对数几率（logit），并通过 sigmoid 函数转换为概率。这种概率输出使模型在面对具有矛盾训练偏好的情况时能够学习不确定性。

可解释性技术

论文采用了三种互补的方法来分析模型的内部机制：

因果干预： 使用 DoWhy 框架，作者估计了特定角色类型对决策结果的平均处理效应（ATE），并控制了群体规模这一混杂因素。
逐层归因： 从每一层提取注意力权重，并将其与五个维度（合法性、性别、社会角色、年龄、物种）的偏见得分进行相关性分析，以定位偏见产生的阶段。
电路探测（Circuit Probing）： 在冻结的模型上训练稀疏二值掩码，以识别哪些神经元（在 MLP 块和注意力头中）在因果上实现了道德等级制度。这通过针对性的消融实验进行了验证。
局部相关性： 计算梯度加权的注意力相关性，以解释单个标记对特定决策的贡献。

关键结果

性能

该两层模型在留出的 Moral Machine 情景上达到了 77.1% 的准确率（使用配置 $d=64, H=2, L=2$ ）。
虽然更大的配置（ $d=64, H=4, L=3$ ）达到了 77.5% 的准确率，但作者选择了较小的模型，以优先考虑可解释性和计算效率。
模型证明了透明度和在道德选择中的预测能力并不互斥。

可解释性发现

道德等级（因果干预）： 模型学习到了一种独立于功利主义计数量的隐性道德价值等级。“孕妇”（ATE +0.12）和“散步者”（ATE +0.11）表现出最强的正向影响，而“罪犯”（ATE -0.10）表现出最强的负向影响。“男人”和“女人”等通用类别聚集在零附近，作为道德基准。
偏见定位：
- 合法性偏见： 几乎完全定位在 第 0 层，表明犯罪身份是通过字符嵌入在早期被识别的。
- 物种偏见： 主要出现在 第 1 层，表明人类与动物的区别需要跨多个字符进行组合推理。
- 功能专业化： 特定的注意力头专注于不同的偏见（例如，第 0 层第 1 头负责合法性；第 1 层第 1 头负责物种歧视）。
电路发现： 电路探测识别出一个位于第 1 层 MLP 块中的高度稀疏的子网络（256 个神经元中的 45 个，稀疏度为 17.6%），该网络在因果上实现了道德评分信号。消融该电路导致与模型评分标签的一致性降低了 1.2 个百分点，解释了其高于随机水平约 8.3% 的边际收益。
标记相关性： 在特定场景下（例如 3 名男子 vs. 3 名罪犯），决策主要由“罪犯”标记驱动（相关性得分 0.27），而人口统计学标记（如“男人”）的贡献较弱。

重要性与主张

本文声称，道德能力并不需要大型预训练模型；一个简单的、具有结构约束的模型，通过在电车问题的直觉结构上进行训练，就足以学习并编码人类的道德偏见。

其主要意义在于透明度。通过构建一个小型的、定制的架构，作者证明了：

道德偏见并非单一整体，而是定位在不同的计算阶段（例如，基于身份的偏见处于早期层，而基于组合推理的偏见处于后期层）。
这种粒度使得针对性的干预策略成为可能。例如，已知犯罪偏见定位在第 0 层第 1 头，则可以使用特定的去偏技术（如正交化表示或钳制注意力权重），而不是粗放的数据集重平衡。
这项工作为探索更大规模 LLM 中的道德推理奠定了基础，将此可解释模型作为理解更复杂系统中道德原则如何编码的基础。

作者承认，在聚合人类偏好上进行训练不可避免地会继承文化偏见，但他们认为，这种方法的透明度是理解并可能减轻 AI 系统中这些偏见的必要步骤。