💻 computer science

Scaling Laws for Moral Machine Judgment in Large Language Models

本研究证明，大型语言模型的道德判断能力（通过其在生死困境中与人类偏好的一致性来衡量）随着模型规模的增大，按照幂律缩放关系可预测地提升，而扩展推理进一步增强了这种一致性，尤其在小规模模型中更为显著。

原作者： Kazuhiro Takemoto

发布于 2026-05-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Kazuhiro Takemoto

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试教一个机器人如何做出艰难的选择，比如在车祸中决定救谁。你希望机器人能像人类一样思考。但是，让机器人变得更“聪明”（通过赋予它更多的算力）是否会自动让它变得更“善良”，或更符合人类的价值观？

这篇题为《道德机器判断的缩放定律》的论文，通过测试 75 种不同的 AI 模型（从微小的模型到庞大的模型）来回答这个问题。以下是他们发现的故事，以简单的方式呈现。

大实验：“道德机器”

研究人员使用了一个著名的测试，称为“道德机器”。想象一个电子游戏，你需要在车祸中做出 10,000 种不同的选择，决定谁生谁死。

人类基准：数百万真实的人已经玩过这个游戏。他们的回答绘制出了一幅“地图”，显示了人类通常的偏好（例如：人类通常比宠物更受青睐；拯救更多人通常比拯救更少人更受青睐）。
测试：研究人员让 75 种不同的 AI 模型玩同样的游戏。他们测量了 AI 的回答与人类“地图”之间的偏差。AI 的回答越接近人类，得分就越高。

主要发现：更大的大脑 = 更好的对齐

研究人员发现了一个清晰、可预测的模式，他们称之为“缩放定律”。

将 AI 模型想象成学校里的学生。

小模型就像小学生。他们表现各异：有些非常好，有些非常差，他们的答案遍布各处。
大模型就像博士候选人。随着模型变得更大（拥有更多的“参数”，这类似于拥有更多的神经元或脑细胞），它们会持续地更接近人类认为正确的观点。

数学部分（简化版）：
论文发现，随着模型规模的增加，与人类偏好的距离会缩小。这不是一条直线，而是一条曲线。

如果你将模型规模扩大10 倍，它并不会变得好 10 倍。它只会比人类道德接近约 21%。
这就像攀登一座山：你爬得越高，离顶峰就越近，但最后的几步非常缓慢，需要付出巨大的努力。

“思考”因素：智能工具帮助小模型

研究人员还考察了那些拥有特殊“思考模式”的模型（例如在回答前深呼吸并逐步思考）。

发现：使用这种“扩展推理”的模型通常在道德选择上表现更好。
转折：这种“思考”技巧对小模型的帮助最大。这就像给一个数学不好的学生一台计算器；这对他们帮助巨大。但对于一个已经拥有庞大大脑的巨型模型来说，计算器虽然也有帮助，但效果不那么显著。巨型模型已经足够庞大，可以自行理清逻辑。

为什么这很重要（根据论文）

可预测性：你可以根据 AI 的规模来预测它处理道德困境的能力如何。这不是随机的运气，而是这些机器的一种自然法则。
一致性：这条规则适用于他们测试的几乎所有类型的 AI，无论是谷歌、Meta 还是独立研究人员制造的。
可靠性：随着模型变大，它们不仅平均表现更好，而且更加一致。小模型是混乱的（有时极好，有时极差），但大模型则稳定可靠。

论文没有说什么

它并没有说 AI 现在在人类意义上是“道德”的。 它只是说 AI 的回答与人类统计数据更吻合。
它并没有说我们应该继续制造更大的模型。 论文指出，由于改进是缓慢的（即那个 21% 的规则），仅仅让它们变大可能过于昂贵或低效。有时，添加“思考工具”是更好的捷径。
它并没有声称这适用于每一种文化。 他们使用的“人类地图”主要基于来自西方国家的人。论文承认，我们不知道这条规则是否适用于世界其他地区的人们。

核心结论

如果你希望 AI 做出听起来像人类的伦理决策，规模很重要。更大的模型更有可能与我们达成一致。然而，改进是缓慢的，因此对于较小的模型，教它们“仔细思考”是一种追赶的强大方式。这为我们提供了一条数学规则，有助于预测 AI 在做出生死抉择时可能有多安全、多可靠。

以下是 Kazuhiro Takemoto 所著论文《大语言模型中道德机器判断的缩放定律》的详细技术总结。

1. 问题陈述

随着自主系统（如自动驾驶车辆、医疗 AI）日益融入安全关键型决策角色，它们面临着需要基于价值判断的伦理困境。尽管近期研究已确立大语言模型（LLM）的认知能力遵循可预测的缩放定律（随参数量增加而提升），但道德判断能力是否以类似方式扩展仍未被探索。

差距：现有基准测试往往依赖“正确”答案（真实值），这不适用于道德困境，因为在道德困境中多种合理视角共存且不存在客观真理。
问题：道德对齐能力是否随模型规模增加而可预测地提升？这种提升是否遵循与其他认知领域类似的幂律关系？

2. 方法论

该研究系统评估了75 种 LLM 配置，参数量范围从2.7 亿到 1000 亿，涵盖了多种架构（Llama、Gemma、Qwen、DeepSeek、Mistral、GPT、Claude）和推理模式（标准模式与扩展/思考模式）。

A. 评估框架：道德机器

作者利用了道德机器框架，这是一个用于自动驾驶困境的验证工具。

场景生成：通过系统性地改变九个道德因素（年龄、性别、社会地位、身体状况、物种、合法性、角色数量、干预类型、角色（乘客与行人）），生成了 10,000 个不同的场景。
指标：使用**平均边际成分效应（AMCE）**来衡量对齐程度。该指标量化了每个道德因素对决策的因果影响。
对齐分数：主要指标是模型 9 维 AMCE 向量与源自原始道德机器实验（4000 万个人类决策）的人类聚合 AMCE 向量之间的欧几里得距离（ $D$ ）。距离越低，表示与人类偏好的对齐程度越好。

B. 统计分析

缩放定律拟合：针对模型规模（ $S$ ）与距离（ $D$ ）之间的关系，分别对线性、对数、指数和幂律模型（ $D \propto S^{-\alpha}$ ）进行了测试。
稳健性检查：采用线性混合效应模型来控制混淆变量：
- 模型家族：将家族（DeepSeek、Llama 等）设为随机效应，以解释架构差异。
- 发布日期：作为连续变量，以控制训练数据/方法随时间的改进。
- 推理能力：二元变量（标准模式与扩展/思考模式）。
- 交互作用：规模 $\times$ 推理交互项。

3. 关键结果

A. 幂律缩放关系

该研究确定了模型规模与道德对齐之间存在一致的幂律关系：
$D \propto S^{-0.10 \pm 0.01}$

拟合度：幂律模型的 $R^2$ 达到0.50，显著优于线性模型（ $R^2=0.16$ ）、对数模型（ $R^2=0.47$ ）和指数模型。
含义：随着模型规模增加，与人类道德偏好的距离可预测地减小。参数量增加 10 倍，与人类偏好的距离减少约21%。

B. 对混淆因素的稳健性

混合效应模型证实，即使在控制以下因素后，这种缩放关系依然存在：

模型家族：该趋势在不同架构（Llama、Gemma、Qwen 等）中均成立。
时间趋势：发布日期并未显著改善模型拟合度（ $p=0.76$ ），表明改进主要由规模驱动，而非仅仅是训练方法随时间的进步。

C. 扩展推理的作用

主效应：具有扩展推理能力（如“思考”模式）的模型显示出显著更好的对齐效果（ $\beta = -0.16, p=0.001$ ）。
交互效应：发现了显著的规模 $\times$ 推理交互作用（ $p=0.024$ $p = 0.024$ ）。扩展推理的益处在较小模型中更为显著。
- 解读：非常大的模型可能仅凭规模就已捕捉到推理能力，而较小模型通过采用显式推理架构（如思维链）可获得显著的对齐提升。

D. 方差降低

除了平均对齐度外，性能方差也随模型规模增加而降低。较小模型表现出高度变异性，而较大模型则紧密聚集在幂律趋势周围，表明在大规模下道德判断更加可靠和一致。

4. 主要贡献

首个道德领域的系统缩放定律：将缩放定律研究从具有客观真实值（如数学、编程）的任务扩展到基于价值的判断，其中“正确性”由与人类偏好的对齐程度定义。
AI 治理的定量基础：提供了经验证据，证明计算规模是道德对齐的主要驱动力，为系统设计者提供了预测模型。
架构洞察：表明虽然规模是基础，但扩展推理充当了互补路径，对于资源受限（较小）的模型实现安全关键型对齐尤为关键。
方法严谨性：利用道德机器框架避免了固定“正确”答案的基准测试中常见的数据污染问题，转而关注偏好分布。

5. 意义与启示

AI 安全与治理：研究结果表明，实现人类水平的道德对齐可能需要模型规模数量级的增加，或整合扩展推理架构。仅靠参数缩放对于快速改善对齐可能效率低下。
风险评估：较大规模下方差的降低意味着较大模型提供更可预测的道德推理，这对于高风险应用（如自动驾驶）至关重要，因为异常判断可能导致灾难性后果。
理论转变：结果支持了以下假设：人类价值体系可以通过接触多样化训练数据而隐式习得，并遵循与其他认知能力类似的定量规律。
局限性与未来工作：研究指出，“距离”指标需要针对现实世界结果进行验证。此外，数据集严重偏向西方偏好；未来工作必须解决跨文化泛化问题。

总之，该论文确立了道德判断是一种随计算资源可预测扩展的涌现能力，为设计更安全、更对齐的 AI 系统提供了定量基础。