💬 NLP

Unsure but Certain: Uncovering the Representation-Confidence Gap in Diffusion Language Models

本文识别了扩散语言模型中存在的一种“表示-置信度差距（representation-confidence gap）”，即在噪声条件下，外部置信度分数会忽略内部错误检测信号，但本文证明了一种轻量级的、零生成的工具可以在不修改基础模型的情况下提取这些隐藏信号，从而恢复答案排序。

原作者： Saurabh Yadav, Badri Narayana Patro, Vijay Srinivas Agneeswaran

发布于 2026-08-11

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Saurabh Yadav, Badri Narayana Patro, Vijay Srinivas Agneeswaran

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

置信度陷阱：当 AI 对自己撒谎时

想象一下，你正在尝试教一个机器人阅读故事。你有两种不同的机器人。第一种是我们使用已久的类型，它像人翻页一样，一次读一个词。第二种是较新的发明，被称为“扩散语言模型”（Diffusion Language Model），它像用眼睛扫视页面一样，同时观察整个故事，并试图同时猜出缺失的部分。因为这种新机器人能看到全局图景，科学家们认为它在处理混乱输入（比如充满错别字或字母乱序的故事）时表现会更好。

但棘手的地方在于：我们如何知道机器人是否正确？我们通常会问它：“你有多确定？”如果机器人说：“我有 99% 的把握！”我们往往会信任它。如果它说：“我不确定，”我们可能会忽略这个答案。这篇论文研究了这些新型“全景式”机器人中的一个奇怪故障。事实证明，当这些机器人犯错时，它们往往意识不到。它们可能完全答错了，但仍然会大声喊道：“我有 99% 的把握！”这就像一个学生做错了数学题，却满脸自信地举起手，坚信自己是对的。研究人员想要找出为什么会发生这种情况，以及是否有一种方法可以窥探机器人的“大脑”，在它开口说话之前看到真相。

“虽不确定却极度自信”的机器人之谜

研究人员 Saurabh Yadav 及其团队决定通过给这些新的扩散模型（具体为名为 LLaDA 和 DREAM 的模型）提供带有故意错误的逻辑谜题（例如交换字母或删除单词）来进行测试。他们想观察两件事：机器人答对的频率（准确率），以及机器人的“置信度得分”与现实情况的匹配程度（可靠性）。

他们发现了一个被称为**表征-置信度差距（Representation-Confidence Gap）**的奇特失配现象。

把机器人的大脑想象成有两个不同的房间。在后屋（隐藏状态）中，机器人其实非常聪明。它能观察到一个混乱的问题并瞬间意识到：“嘿，这个问题出错了，我的答案可能也是错的。”它能近乎完美地检测出错误。但在前屋（最终输出）中，机器人是一个糟糕的演员。当它最终给出答案时，它完全忽略了来自“后屋”的警告信号。即使它错了，它报告的置信度得分依然接近最大值，比如 0.98 或 0.99。

论文表明，随着噪声（错别字）的增加，机器人的实际准确率下降了，但其报告的置信度却依然顽固地保持在高位。这就像机器人是在说：“我 99% 确定答案是 24，”尽管正确答案其实是 12。这是很危险的，因为如果你信任机器人的置信度，你就会信任它的错误答案。

为什么简单的修复方法不起作用

研究人员尝试用标准的技巧来解决这个问题，但却碰了壁。

“调低音量”技巧： 通常，如果一个机器人过于自信，你可以使用数学方法降低它的置信度得分（就像调低收音机的音量）。研究人员尝试了这种方法。它在一种意义上奏效了：得分确实下降了。但它在最重要的地方失败了：它没有改变答案的排序。机器人仍然认为它的错误答案比正确答案更好。它只是认为两者都比以前没那么自信了。
“重新训练”技巧： 他们尝试教机器人将其嘈杂的答案与其干净的答案进行匹配。这修复了准确率问题（机器人得到了更多正确的答案），但并没有解决置信度问题。机器人仍然认为它的错误答案是“确定的”。
“错误检测器”技巧： 他们尝试向机器人输入一个信号，告诉它：“嘿，这个问题很乱！”但这个信号对于所有可能的答案都是一样的。这就像是告诉机器人“考试很难”，却没告诉它哪个具体的答案是错的。这并没有帮助机器人判断该信任哪一个答案。

论文指出，问题不仅仅是机器人“声音太大”，而是机器人失去了正确排列自己猜测顺序的能力。它已经无法区分一个“可能正确”的答案和一个“绝对错误”的答案了。

神奇工具：“潜在正确性读取器”

这是令人兴奋的部分。研究人员发现，修复这个问题所需的信息其实一直隐藏在机器人内部，只是机器人没有使用它。

他们构建了一个微型、轻量级的工具，称为潜在正确性读取器（Latent Correctness Readout, LCR）。想象机器人的大脑是一个巨大的笔记图书馆。当机器人解决问题时，它会为它生成的每个词留下痕迹（隐藏状态）。LCR 就像一位图书管理员，快速扫描由答案词汇留下的笔记。

这位管理员并不改变机器人。她不重新训练它，甚至不让机器人思考得更深入。她只是查看机器人已经写下的笔记，然后说：“根据这些笔记，这个答案看起来是错的，”或者“这个看起来是对的。”

结果令人惊讶：

它有效： 通过使用这个工具，他们可以重新排列答案的优先级。他们可以让机器人说：“忽略那个 99% 置信度的错误答案，看看这一个。”
它很快： 该工具极其高效。它不需要机器人生成额外的答案，也不需要花费更多时间。它只需通过一次处理即可读取笔记。
它是诚实的： 该工具证明了“真相”一直就在机器人内部。机器人只是未能将其报告出来。

发现的局限性

论文非常谨慎地指出，这并不是解决一切问题的万灵药。

它并不完美： 虽然该工具显著改善了排序，但并未使机器人变得完美。如果你让机器人生成几个额外的答案（比如让它“再想两次”），那种方法仍然比这个工具效果更好，但耗时更长且消耗更多计算资源。
它取决于任务： 该工具在数学谜题（如 GSM8K）和某些科学问题上表现出色。但在其他任务（如理解社交情境或复杂的语法）上，它的帮助不大，有时甚至会让情况稍微变糟。
它需要一点训练： 该工具需要针对每个新任务面对的少量示例进行“教学”。它不能在不做任何设置的情况下直接应用于任何机器人或任何主题。

核心启示

这篇论文的主要教训是，对于这些新的扩散模型来说，置信度并不等于正确性。仅仅因为一个机器人说它有 100% 的把握，并不意味着它是正确的，尤其是在输入信息混乱的情况下。机器人的大脑知道真相，但它的嘴巴在撒谎。

研究人员展示了我们可以构建一个简单的“测谎仪”，通过读取机器人的内部笔记来寻找真相。这是一个巨大的进步，因为这意味着我们不必抛弃这些强大的新模型；我们只需要一种更好的方式来倾听它们。然而，在拥有完美的解决方法之前，当这些机器人处理混乱、嘈杂的信息时，我们应该非常谨慎地对待它们的结论。它们在内心深处可能感到“不确定”，即便在表面上听起来极其“笃定”。

技术摘要：揭示扩散语言模型中的表征-置信度差距

问题陈述

扩散语言模型（DLMs），如 LLaDA 和 DREAM，通过使用广泛的上下文而非自回归逐个 Token 预测来揭示完整的序列。虽然这种机制暗示了其对输入噪声的潜在鲁棒性，但实证测试揭示了一个在噪声条件下的关键失效模式：表征-置信度差距（Representation-Confidence Gap）。

当 DLMs 遇到输入噪声（例如字符易位、替换、插入或删除）时，其内部状态能够准确检测到错误。然而，它们的最终输出置信度得分仍然保持在接近最大值的水平，尽管准确率已经大幅下降。因此，模型将正确答案与错误答案进行排序的能力退化到了接近随机猜测的水平（AUROC $\approx$ 0.5）。这造成了一种场景：模型对答案“不确定”，但在其报告的分数上却表现得“非常确定”。

本文指出，这不仅仅是一个校准问题（即分数过高或过低），而是一个结构性的排序缺陷（ranking deficit）。标准的补救措施，如温度缩放（temperature scaling）或事后校准（post-hoc calibration），可以调整置信度得分的幅度，但无法重新排列答案的顺序。此外，输入层级的错误检测器虽然能准确标记有噪声的提示词，但它们会对给定提示词下的所有候选答案分配相同的得分，从而使其在区分特定答案的正误方面变得毫无用处。

方法论

1. 诊断分析

作者在四种类型的文本噪声下，针对逻辑推理任务（GSM8K, ARC-Challenge）评估了 LLaDA-8B 和 DREAM-7B。他们测量了：

准确率（Accuracy）： 正确答案的比例。
校准度（Calibration）： 置信度与准确率之间的对齐程度（预期校准误差，ECE）。
排序质量（Ranking Quality）： 使用受试者工作特征曲线下面积（AUROC）来区分正确与错误答案的能力。

核心发现：

内部检测： 冻结的内部状态可以近乎完美地分辨出干净文本与噪声文本（AUROC > 0.99）。
置信度崩溃： 在噪声下，DLM 的准确率显著下降（例如，从 0.56 降至 0.37），但平均置信度仍保持在高位（从 0.988 降至 0.982）。正确答案与错误答案之间的置信度差距缩小到了微不足道的程度（0.0022）。
标准修复方案的失效： 温度缩放降低了校准误差，但使排序 AUROC 依然停留在随机水平。输入层级的错误信号虽然会改变整个问题的置信度，但并不能重新排列候选答案。

2. 提议的解决方案：潜层正确性读出（Latent Correctness Readout, LCR）

为了在不修改基础模型的情况下恢复丢失的排序能力，作者提出了潜层正确性读出（LCR）。

机制： LCR 是一个轻量级的线性探针，专门作用于答案 Token 的隐藏状态。
流程：
1. 提取： 在特定层 $\ell^*$ ，将对应于答案 Token 的隐藏状态 $h_i$ 进行平均，形成单个向量 $\bar{h}$ 。
2. 评分： 使用简单的逻辑函数 $r = \sigma(u^\top \bar{h} + b)$ 来估计正确性的概率。
3. 训练： 使用带有标签的校准集（例如 200 个带噪声的提示词）通过二元交叉熵来拟合参数 $(u, b)$ 。基础 DLM 的权重保持完全冻结。
4. 应用： 在推理期间，使用 LCR 得分来进行答案排序，或触发弃权机制（如果得分低于阈值 $\tau$ ，则放弃回答）。

为什么有效： 与输入层级的检测器不同，LCR 检查的是特定答案的表征。论文认为，虽然 DLMs 保持了高度的内部一致性（即正确解决了“重建”后的噪声问题），但答案 Token 的隐藏状态仍然编码了与真实意图的偏离（即正确性），这是一个最终置信度得分所忽略的信号。

核心贡献

定义了表征-置信度差距： 本文正式定义了 DLMs 在噪声条件下，尽管准确率下降但仍保持高置信度的失配现象，特别强调了是排序能力的崩溃而非仅仅是校准问题。
失效模式的结构化分析： 作者证明了标准修复方法（温度缩放、一致性训练、输入层级路由）之所以失败，是因为它们无法改变候选答案的相对顺序。他们表明，输入层级的信号不足以进行答案层级的判别。
潜层正确性读出（LCR）： 一种新型的、无需对基础模型进行训练的提取工具，能够从冻结的隐藏状态中恢复排序能力。它不需要额外的文本生成步骤，且不对基础模型权重进行任何改动。
实证验证： 研究证明，正确性的信号存在于模型的内部状态中，但并未反映在输出的置信度中，并且可以通过提取该信号来改进选择性预测。

结果

性能指标

排序恢复： 在有噪声的 GSM8K 上，基础模型的选择性 AUROC 为 0.575（接近随机）。LCR 在无需更新模型的情况下将其提升至 0.665。
误差减少： 在 50% 覆盖率（仅保留前 50% 的答案）下，保留答案的错误率从基础模型的 0.575 降至 LCR 的 0.495。
与采样对比： 虽然生成多个样本（自一致性/Self-Consistency）可以获得更高的排序得分（例如 10 个样本下为 0.842），但这会带来高昂的计算成本。LCR 提供了一种“免费”的排序提升，在零生成成本的前提下，其表现与结合一个样本的采样方法（0.754）相当（单次采样为 0.711）。
泛化能力： LCR 在不同噪声类型（键盘替换、插入）之间具有迁移性，但具有任务特异性。它在 11 个基准测试中的 5 个（如 ARC, GSM8K）上提升了性能，但在其他任务（如 WinoGrande, CommonsenseQA）上表现平平或有所下降。

识别出的局限性

任务依赖性： 该工具并非在所有任务中都能通用；需要基于训练数据边际（training data margins）的筛选启发式方法来确定其适用性。
性能天花板： LCR 无法超越生成多个样本的方法（例如 $k \ge 2$ 的自一致性方法）。
校准要求： 它需要针对特定部署任务的带标签校准集，不像标量调整那样是任务无关的。

重要性与主张

本文声称，在噪声条件下，扩散语言模型的**确定性可靠性（certainty reliability）**是一个比整体准确率更紧迫的局限性。虽然可以通过标准的匹配训练来恢复准确率，但置信度得分仍然具有误导性。

这项工作的核心意义在于证明了内部真理的存在及其与输出信号的脱节。LCR 证明了用于安全跳过不确定问题的信号在答案 Token 的隐藏状态中得以存续。通过提取这一信号，可以在不重新训练大规模语言模型或不承担多次生成过程成本的情况下，实现选择性预测的改进。

作者将 LCR 定位为不仅是一个最终产品，更是一个概念验证，旨在证明 DLMs 中确实存在且可测量的表征-置信度差距，并且这种“隐藏”的正确性信号可以通过轻量级的冻结读出进行获取。他们强调，高置信度得分的集中现象是一个具有误导性的表面症状；核心问题在于排序顺序的丧失，而标准的数学调整无法解决这一问题。