💬 NLP

Hallucination as Commitment Failure: Larger LLMs Misfire Despite Knowing the Answer

本文挑战了幻觉仅源于知识缺失的观点，揭示出经过指令微调的大型语言模型之所以常产生幻觉，是因为它们未能将概率分布中已存在的正确概念确立为最终选择，而是由于一种随规模变化的锐化机制将概率质量分散至其他选项，该机制在提升模型有用性的同时，也导致了自信的谬误。

原作者： Jewon Yeom, Jaewon Sok, Heejun Kim, Seonghyeon Park, Jeongjae Park, Taesup Kim

发布于 2026-05-22

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jewon Yeom, Jaewon Sok, Heejun Kim, Seonghyeon Park, Jeongjae Park, Taesup Kim

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《幻觉即承诺失败》的解释，采用通俗易懂的语言和类比。

核心理念：问题不在于“不知道”

大多数人认为人工智能（AI）的幻觉（即 AI 编造事实）发生是因为 AI Simply 不知道答案。这种观点认为：如果 AI 知道事实，它就会说真话；如果不知道，它就会猜测。

但这篇论文指出，这种观点是错误的。

研究人员发现，AI 往往确实知道答案。在它开始说话的那一刻，正确的信息就在它的“脑海”中。然而，它仍然选择说出错误的内容。他们将此称为“承诺失败”（Commitment Failure）。

类比：紧张的厨师

想象一位才华横溢的厨师（代表 AI），有人问他：“法国的首都是哪里？”

旧理论：如果厨师不知道答案，他会猜“伦敦”。如果他知道，他就会说“巴黎”。
新理论（本文观点）：厨师知道答案是巴黎。事实上，他如此强烈地想着“巴黎”，以至于他的大脑里充满了这个词。但是，因为他同时以多种不同的方式思考着“巴黎”（例如“巴黎”、"paris"、“光之城”、“法国首都”），他的大脑变得混乱。
- 他对“巴黎”有强烈的感觉，但这种感觉分散在所有这些不同的短语中。
- 与此同时，他对“伦敦”有一个非常尖锐、集中的念头（也许是因为他之前看到过大本钟的照片）。
- 尽管“巴黎”的感觉总体上更强，但“伦敦”的念头是如此尖锐和集中，以至于它在通往嘴巴的竞赛中获胜。即使他知道那是巴黎，他也会自信地脱口而出“伦敦”。

他们是如何发现这一点的

研究人员观察了 AI 模型在说话之前的“思考”过程。他们专注于 AI 生成的第一个词（即“承诺步骤”）。

他们引入了一种衡量 AI 知识的新方法，称为语义概率质量（Semantic Probability Mass）。

旧方法：AI 是否选对了确切的词？（例如：它是否说了“巴黎”？）
新方法：即使 AI 的想法分散在“巴黎”、"paris"和“光之城”之间，它是否对“巴黎”这个概念有强烈的感觉？

研究结果：

他们测试了许多 AI 模型（从小型到巨型）。
他们发现，在 AI 犯错的情况下，有**16% 到 47%**的时间，它实际上对正确答案有着强烈的“感觉”。
转折：AI 模型越大，这种情况发生的频率就越高。更大的模型不仅知道得更多，而且犯下了更多这类特定的错误：它们知道答案，但仍然答错了。

为什么会发生这种情况？（“锐化”效应）

论文指出，指令微调（Instruction Tuning，即训练 AI 变得乐于助人并遵守规则）改变了 AI 的思考方式。

想象 AI 的大脑是一片丘陵和山谷的地形。

训练前：山丘平坦且模糊。AI 不确定。
训练后：AI 变得非常果断。它将思想转化为尖锐、高耸的尖峰。
- 当 AI 正确时，正确答案的尖峰如此高耸且尖锐，以至于它轻松获胜。
- 但是，有时 AI 会感到困惑。正确答案被分散成许多小而平坦的山丘（因为它同时在思考“巴黎”、"paris"、“法国”等）。与此同时，错误的答案却是一个单一、极其尖锐、高耸的尖峰。
- AI 的决策过程就像一颗球滚下山坡。它总是滚向最尖锐的点。即使“正确”一侧拥有更多的总“山体面积”，但“错误”一侧拥有最尖锐的顶峰，所以球会滚向那里。

两种错误类型

研究人员发现了这种“承诺失败”发生的两种方式：

第一个词就错了：AI 立即用错误的词开始句子（例如，说“莫斯科”而不是“巴黎”），尽管它对“巴黎”有强烈的感觉。
走错了路：AI 用正确的词开始（例如“巴黎”），但在接下来的几个词中立即偏离轨道，将“巴黎”变成关于另一个城市的故事。

“对齐税”

论文得出结论，这是使 AI 模型变得“乐于助人”的副作用。

为了让 AI 自信且快速，我们训练它变得非常果断（产生尖锐的尖峰）。
当 AI 正确时，这非常有效。
但是，当 AI 稍微感到困惑时，这种同样的“果断”会使其自信地犯错。它不会犹豫去选择错误的答案，因为它的大脑非常擅长选择“最尖锐”的选项，即使该选项是错误的。

总结

幻觉并不总是源于无知。有时 AI 知道答案，但未能对其做出“承诺”。
更大的模型并非完美无缺。随着模型变大，它们变得更擅长果断，这具有讽刺意味地使它们更容易自信地犯错。
问题在于分布。AI 将其对正确答案的“知识”分散到许多变体中，过于稀薄；而错误的答案则集中在一个尖锐的点上。AI 选择了那个尖锐的点，而不是正确的答案。

论文建议，要解决这一问题，我们可能需要教导 AI 关注“整体概念”（即所有表达“巴黎”的方式），而不仅仅是选择那个最尖锐的单个词。

技术摘要：幻觉作为承诺失败

问题陈述

大型语言模型（LLMs）经常生成流畅但事实错误的输出，即幻觉。该领域的一个普遍假设是：幻觉是知识缺失的直接后果，即仅当正确答案不在模型生成时的分布中时，模型才会产生幻觉。近期的研究已识别出“关键令牌”或“分叉令牌”，在这些位置熵值出现激增，表明幻觉是在生成轨迹的特定步骤中决定的。然而，现有的基于不确定性的检测方法（如语义熵）往往无法识别“自信幻觉”——即模型在拥有正确答案知识的情况下，仍以高置信度输出错误答案的情况。

本文挑战了“幻觉意味着知识缺乏”这一假设。它提出：在模型承诺某个答案的时刻，即使它输出了错误的令牌，其概率分布中是否仍包含正确的概念？

方法论

概念与语义概率质量（ $P_{mass}$ ）

作者引入了答案可用性的语义概念。他们不分析单个令牌，而是将概念 $c$ 定义为表示同一答案的令牌完成形式的等价类（例如，“圣瓦西里大教堂”、“圣瓦西里”、“大教堂..."）。
他们定义了每步语义概率质量为：
$P_{mass}(t; c) = \sum_{v \in S_c} P_\theta(v \mid Q, y_{<t})$
其中 $S_c$ 是概念 $c$ 的表面形式对应的首令牌 ID 集合。该指标聚合了在特定生成步骤中分配给正确答案所有有效别名的概率质量。

实验设置

模型：研究涵盖了 Qwen（0.8B 至 72B）和 Llama（1B 至 70B）系列中的 18 个模型，包括指令微调（Instruction-tuned）和基础（Base）变体。
数据集：短问答（TriviaQA, NQ-Open）和多项选择题问答（MMLU, ARC-Challenge）。
承诺步骤（ $t_c$ ）：在指令微调的短问答中，承诺步骤固定为 $t=1$ （生成的第一个令牌）。对于长文本生成， $t_c$ 被识别为输出答案实体所在的步骤。
承诺失败的定义：如果 $P_{mass}(t_c; c^*) \geq 0.2$ （其中 $c^*$ 是真实概念），则一个幻觉样本被归类为承诺失败。这表明模型在正确答案概念上分配了显著的概率质量，但仍输出了错误的最终答案。

分析维度

承诺失败率（CF%）：属于承诺失败的幻觉所占的比例。
分解：将失败分解为首令牌选择失败（贪婪令牌 $\notin S_{c^*}$ ）和多令牌发散（贪婪令牌 $\in S_{c^*}$ 但后续令牌发散）。
分布分析：将承诺失败的概率分布与匹配的正确答案样本（具有相似 $P_{mass}$ 但输出正确）进行比较。
指令微调与规模：通过比较指令微调模型和基础模型，隔离模型规模与指令微调的影响。

主要结果

1. 承诺失败普遍存在且依赖于规模

在所有指令微调模型中，16% 至 47% 的幻觉属于承诺失败。关键在于，这一比率随模型规模单调上升。

Qwen 指令微调版：CF% 从 16%（0.8B）增加到 41%（72B）。
Llama 指令微调版：CF% 从 16%（1B）增加到 47%（70B）。
这一发现反驳了“更大规模的模型只是‘知道得更多’且幻觉更少”的直觉；相反，更大规模的模型尽管在其分布中包含正确概念，却更频繁地产生幻觉。

2. 机制：指令诱导的锐化

论文指出，指令微调是这一现象的主要驱动因素，而非单纯的规模。

基础模型：在各规模下表现出平坦的错误令牌概率（约 0.30），且承诺失败率较低。
指令微调模型：表现出单调锐化。在选择失败中，错误贪婪令牌的概率随规模增加而上升（例如，Qwen 指令微调版：0.8B 时为 0.31 $\to$ 72B 时为 0.57）。
分布偏移：在承诺失败中，正确概念的质量通常分散在多个别名令牌上（例如，“Saint”、"St"、"C"），导致没有任何单个别名能在与竞争概念的主导令牌的 argmax 竞争中获胜。在更大的指令微调模型中，这种分散发生坍缩（质量集中在一个别名上），但错误概念的令牌变得更加锐化，从而导致“错误吸引子”失败。

3. 多令牌与隐藏状态证据

多令牌发散：在大型指令微调模型（70B+）中，当第一个令牌与正确别名对齐时，第二个令牌的熵（ $H_{t=2}$ ）降至接近零（0.05–0.10）。模型立即承诺于特定的多令牌短语，即使该短语导致错误的实体（例如，输出"George Washington Carver"而非"George Washington"）。
隐藏状态： $t=1$ 处的预生成隐藏状态包含关于正确性的预测信息。与基础模型相比，指令微调模型在隐藏状态探测中显示出更高的 AUROC，且该信号是“前置”的（在 $t=1$ 处更强）。
输出映射：指令微调模型与基础模型之间的差距在输出级检测（AUROC +0.29）中比在隐藏状态探测（+0.08）中更大，表明指令微调在投影到输出词汇表的过程中放大了该信号。

4. 承诺失败的两面

论文区分了两种结构性失败模式：

分散驱动型：（常见于较小规模/基础模型）正确质量分散在别名之间；没有单个令牌获胜。
错误吸引子驱动型：（常见于大型指令微调模型）正确质量已坍缩到单个别名上，但错误概念的令牌甚至更加锐化（ $P_{greedy} > P_{mass}(c^*)$ ）。

意义与主张

论文将自信幻觉重新定义为概率质量在承诺步骤被塑造的结构性后果，而非一时的疏忽或知识缺乏。

统一机制：同一种指令诱导的锐化既产生了自信的正确性（当承诺的概念正确时），也产生了自信的误选（当承诺的概念错误时）。
对齐税：这一现象被视为更广泛的“对齐税”的一个方面，即对齐（指令微调）提高了有用性和流畅性，但损害了校准性并导致模式坍缩，从而引发过度自信的错误。
不确定性检测的局限性：结果解释了为什么标准不确定性指标（如令牌熵或语义熵）无法标记自信幻觉：模型确实拥有正确概念（高 $P_{mass}$ ），但分布被塑造为使得错误令牌赢得 argmax。
分析探针：作者提出 $P_{mass}$ 作为一种分析探针来理解模型行为，指出它并非可部署的检测器（因为它需要真实别名），但它揭示了“知道答案”和“输出答案”是生成过程中的两个不同事件。

论文得出结论：更大规模的模型不仅仅是知道得更多；它们在已知内容上更频繁地误判，这是由一种锐化倾向驱动的，这种倾向使得模型在正确和错误的承诺中都表现得更加果断。