💬 NLP

The yes-no bias of large language models reflects answer order and wording, not shifts in moral judgment

本文证明了大型语言模型在道德判断中表现出的表象“是非偏见”并非伦理推理的转变，而是一种由答案顺序和词汇措辞驱动的表层人工痕迹，当使用一套将逻辑判定与表层格式分离的心理测量工具集进行评估时，这种现象便会消失。

原作者： Haonan Huang

发布于 2026-07-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Haonan Huang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图理解一个非常聪明的机器人的道德准则。你问它一个难题：“牺牲一个人来救五个人是可以接受的吗？”

如果你问机器人：“你回答是还是否？”它看起来似乎有一个强烈的观点。但这篇文章揭示了一个令人惊讶的技巧：机器人的回答往往并不取决于它认为什么是对的，而更多地取决于你如何提问。

以下是研究人员发现的内容，使用了简单的类比。

1. 机器人拥有一个秘密的“道德标尺”

首先，研究人员想要知道：机器人是真的拥有一套一致的价值观，还是仅仅在瞎猜？

为了找出答案，他们没有仅仅询问机器人“是或否”。相反，他们用 48 种不同的方式询问了相同的 20 个道德困境。他们改变了标度（0 到 10 对比 0 到 100）、翻转了措辞，并改变了要求机器人先对哪个选项进行评分。

研究结果： 当你透过表象观察时，机器人的“内心声音”其实是非常一致的。它拥有一个稳定的道德标尺。如果它在一种格式下认为某个行为是“大部分是坏的”，那么在另一种格式下，它很可能也会认为那是“大部分是坏的”。最智能的模型（即“前沿”模型）在内部逻辑上表现出了惊人的连贯性。

2. “是/否”陷阱：最后一名的魔力

既然机器人拥有一个一致的内心声音，为什么当问题重新措辞时，它的“是/否”回答会发生剧烈变化呢？

研究人员发现，“是/否”这种格式就像是一个扭曲的透镜。当被迫选择“是”或“否”时，机器人会被两个特定的技巧搞糊涂：

“最后一名”偏差（顺序偏差）： 人类通常会关注读到的第一件事。然而，这些机器人似乎会对读到的最后一件事情给予额外的关注。如果你写“回答：否，是”，机器人更有可能选择“是”，仅仅因为它是出现在最后的。如果你写“回答：是，否”，它就会倾向于“否”。
“否”磁铁（词汇偏差）： 机器人似乎对“否”这个特定的词有一种奇怪的吸引力。它不一定是逻辑上拒绝了这个想法，它只是被页面上的那个特定单词所吸引。

类比： 想象一个人正在参加一场考试，答案印在一张卡片上。

人类： 阅读问题，思考答案，然后选出正确的一个。
机器人： 阅读问题，思考答案，但随后被卡片底部加粗打印的“否”字，或者被“是”是他们看到的最后一个词这一事实所分心。他们根据单词在哪里，而不是根据这个词本身意味着什么来选择答案。

3. “否”偏差并不是关于说“不”

一个常见的假设是，这些机器人天生就是“消极”或“悲观”的——它们只想对所有事情都说“不”。

研究结果： 这是错误的。研究人员通过交换单词证明了这一点。他们没有问“是或否”，而是让机器人在“选项 A”和“选项 B”之间做出选择。

当他们这样做时，“否”偏差消失了。机器人并没有突然开始更多地回答“是”，它只是不再被“否”这个词所吸引。

结论： 机器人并不是对“拒绝”事物有偏见。它对问题的表面呈现形式有偏见。它跟随的是印刷标签，而不是逻辑结论。

4. 深入思考会有帮助（但不能解决所有问题）

研究人员测试了告诉机器人“逐步思考”（这是一个被称为“审议”的过程）后再进行回答会发生什么。

研究结果： 当机器人花时间思考时，“是/否”偏差会减小。机器人不再那么容易被单词的顺序和特定的“否”字所分心。然而，这种偏差并不会在所有模型中完全消失。某些模型（例如“Claude”系列）即使在深度思考时，仍然表现出对最后一个选项或“否”字的强烈趋向。

5. “小型”机器人有所不同

研究还观察了较小的开源模型。这些模型要混乱得多。它们完全没有一致的内部道德标尺。它们的回答会根据问题的格式发生剧烈跳动，而且即使它们“思考”得更久，也不会变得更好。它们本质上是在根据问题的表面进行猜测。

核心启示

如果你想知道一个 AI 真正珍视什么，你不能只问它一次“是或否”。

问题所在： 单个“是/否”问题将机器人的实际观点与“格式人工痕迹”（由问题编写方式引起的故障）混合在了一起。
解决方案： 要衡量一个 AI 真正的道德立场，你必须以许多种不同的方式询问相同的问题（交叉验证框架）并取其平均值。这可以抵消“最后一名”和“否字”带来的干扰，从而揭示出机器人真实的、一致的内在标尺。

简而言之： 机器人不一定是一个“否定”的人。它只是一个容易被字体、顺序和页面上最后一个词所分心的人。如果你清理好页面，它的真实观点就会显现出来。

技术摘要：大语言模型的“是–否”偏差

问题陈述
大语言模型（LLMs）正越来越多地被部署用于发布二元道德判断（例如，安全门控、调查强制选择）。大量文献表明，这些判断在逻辑无关的措辞、选项顺序和回答格式变化下会发生显著偏移。具体而言，模型在道德困境中表现出一种放大的“是–否偏差”（yes–no bias）——即向“否”转变的倾向，而这种倾向在人类对比中并不存在。然而，标准的评估方法无法诊断这种偏移的来源。在二元“是/否”问题中，“否”这个词、逻辑上的否定谓词以及最后打印的选项都汇聚在同一个 token 上。因此，重复单一的框架无法将模型究竟是偏向于负面的逻辑谓词、词汇层面的 token “no”，还是受打印选项的近因效应影响进行解耦。这种混淆使得单框架评估具有歧义性：一个偏移的判定可能反映的是道德判断的变化、对特定词汇的偏好，或是表层的位置偏差。

方法论
为了解决这些混淆因素，作者引入了一种基于**交叉对称化（crossed symmetrization）**的心理测量工具。该工具通过平衡的翻转对（flip-pairs）应用每一种逻辑无关的扰动，并通过交叉处理来分离它们的贡献。该测试集提出了 20 个道德困境（19 个直接引用自 Cheung 等人的研究，1 个经过改编），通过三种不同的工具进行测试：

等级评分 (I-1)： 在 48 种交叉条件下，通过连续标度（0–10 和 0–100）诱导道德可接受性的评估，变量包括标度类型、锚点方向、措辞以及被评价行为的极性。
二选一自由选择 (I-2)： 在没有任何评分标度或二元标签的情况下，诱导做出坚定的决策。
强制二元选择 (I-3)： 通过交叉问题的动词（赞成/反对）、选项的打印顺序以及答案标签本身（标准的“是/否”、任意标签如“A/B”、符号及非英语单词），诱导产生是/否风格的判定。

核心分析策略是将翻转对的对称部分视为模型内部立场（ $\theta$ ）的估计值，而将反对称部分视为人工伪影（artifact）。通过交叉因素，作者将伪影归因于特定的来源（顺序、词汇、逻辑）。本研究评估了七种前沿配置（Claude Sonnet, Claude Haiku, GPT-5.5, Gemini-3-Flash, Gemini-3.1-Flash-Lite, Claude Opus）和两个小型开源模型（Qwen3.6-35B-A3B, Nemotron-3-Nano-30B-A3B）。

核心贡献

存在连贯的内部道德标度： 研究证明前沿模型拥有一个潜在的、与格式无关的道德立场。在逻辑等价的重构下，等级评分趋于一致，其跨形式不一致性较低（在 $\pm1$ 轴上 $\sigma_{repro} = 0.12–0.21$ ）。这验证了模型的内部一致性，而单框架设计无法证实这一属性。
“是–否偏差”的分解： 明显的“是–否偏差”被证明是一个可分解的伪影，而非逻辑偏差。它精确地分解为：
- 顺序偏差： 向最后一个打印选项（近因效应）拉动的趋势，这与人类调查中常见的首因效应相反。
- 词汇偏差： 向特定单词“no”拉动的趋势。
- 逻辑偏差： 当“no”被替换为任意标签时，研究发现前沿模型的附加于谓词本身的偏差 $\approx 0$ 。
伪影的参数化模型： 作者提出了一个极简模型 $P = \sigma((\theta \pm m)/s)$ $P = σ ((θ \pm m) / s)$ 来总结伪影。
- $m$ （框架敏感度）：衡量偏差的大小。
- $s$ （道德果断性）：衡量二元判定追踪底层等级立场的锐利程度（这与采样温度不同）。
词汇与逻辑的区别： 通过将“yes/no”替换为任意标签（如“A/B”），研究证明偏差遵循打印的表面形式（单词或标签），而非逻辑谓词。前沿模型在面对任意标签时，其附加于谓词的偏差可以忽略不计，而小型开源模型仍保留着谓词偏差。

结果

模型差异： 前沿模型（Claude, GPT, Gemini）展现出连贯的内部标度，且不一致性较低。相比之下，小型开源模型表现出不同的失败方式：Qwen 在直接模式下表现出高不一致性（可通过推理解决），而 Nemotron 则表现出退化的标度（无差异性），几乎无法区分不同项目。
偏差大小： “是–否偏差”在 Claude 模型中非常显著（Sonnet: $-0.32$; Haiku: $-0.86$），并分解为顺序和词汇成分。GPT-5.5 和 Gemini 模型表现出微乎其微的偏差（ $\approx 0$ ）。
推理的影响： 扩展推理（“思考”模式）降低了具有功能性标度的模型的跨形式不一致性 ( $\sigma_{repro}$ ) 以及框架敏感度 ( $|m|$ )。对于 Claude Haiku，推理将总偏差从 $-0.86 $降低到了$ -0.27$。
标签依赖性： 词汇拉力是分级的；随着标签在不同语言中获得“yes/no”的语义含义，这种拉力会随之增加。然而，当移除“yes/no”单词后，附加于谓词的偏差消失了，这证实了偏差是词汇性的，而非逻辑性的。
人类对比： 人类表现出轻微的框架敏感性，但缺乏观察到的特定“no”偏差以及 LLM 那种极端的表面敏感性。

意义
本文认为，测量 AI 的价值观需要交叉问题的框架，而不仅仅是询问一次。标准的“是/否”输出覆盖了一个巨大的格式伪影，这可能会掩盖底层的道德信号。研究确立了以下结论：

前沿 LLM 拥有一个稳定的、连贯的内部道德标度，该标度对逻辑等价的重构具有鲁棒性。
观察到的“是–否偏差”是二元输出格式（特别是打印顺序与单词“no”的相互作用）产生的伪影，而非拒绝道德命题的倾向。
评估协议必须将模型的价值观与其提问方式产生的伪影区分开来。所提出的测试集提供了一种测量框架敏感度 ( $m$ ) 和道德果断性 ( $s$ ) 作为独立、可解释参数的方法，为 AI 安全与对齐评估提供了更严谨的基础。