🤖 AI

The Knowing-Saying Gap: When Probes See Errors that Confidence Misses

本文揭示了尽管线性探测能够准确检测语言模型中受损的上下文，但它们无法可靠地预测最终答案的正确性或指导有效的实时干预，因此需要具备模型感知和错误类型感知的路由策略，而非一成不变的监测方案。

原作者： Jyotin Goel, Ipshita Bandyopadhyay, Justin Shenk

发布于 2026-08-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Jyotin Goel, Ipshita Bandyopadhyay, Justin Shenk

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在观看一位魔术师表演卡牌戏法。这位魔术师动作如此流畅、自信且迅速，以至于你从未怀疑过任何事情。但如果，在魔术师的大脑深处，有一个微小的警报正在尖叫：“等等！我刚才换错了牌！”呢？在人工智能的世界里，特别是对于那些能写代码、规划旅行和解决数学问题的超智能聊天机器人（大语言模型）来说，这正是正在发生的事情。这些模型就像那位魔术师：即使在犯下严重错误时，它们也能表现得极度自信。

科学家们长期以来一直希望，如果一个模型感到困惑或出错，它会“结巴”或者说：“对此我不确定。”这个想法被称为“言语化置信度”（verbalized confidence）。这就像是在问魔术师：“你确定那是正确的牌吗？”并希望他们承认自己的错误。但还有另一种检查方法：观察模型的内部“脑电波”（计算机内部的数学信号），看看它是否知道自己搞砸了，即便它并没有说出来。这篇论文研究了一个令人恐惧但又引人入胜的差距：模型在其数字大脑中“知道”什么，与它“说出”什么之间的差异。

无声的警报与自信的谎言

研究人员搭建了一个数字游乐场来测试这一点。他们创建了 1,400 道数学题，要求模型像连锁反应一样逐步解决谜题。例如，“如果我有 5 个苹果，又买了 3 个，然后丢了一半……”诀窍在于，他们秘密地在链条的第一步植入了一个错误。他们想观察两件事：

警报： 一个特殊的检测器（称为“线性探测器”）能否仅通过观察模型的内部大脑活动，就发现第一步是错误的？
预测： 同一个检测器能否预测最终答案将会是错误的？

他们测试了五种不同的模型，包括当今最智能的一些模型，如 Llama-3.1-8B 和 Qwen3-4B。

重大发现：知而不言

结果令人震惊。“警报”完美奏效了。当模型出错时，检测器几乎能以 100% 的准确率（具体而言，其中一个模型的 AUROC 得分为 0.997）通过观察模型的内部脑电波发现错误。就好像模型的脑海中正在大喊：“错误！错误！”

但转折在于：模型并没有听从它自己的警报。

尽管内部警报正在鸣响，但模型的最终回答却表现得和正确时一样自信。那个能完美识别错误的检测器，在预测最终答案是否错误时完全失效了。这就像是一个烟雾探测器在烤焦面包时尖叫着“起火啦！”，但消防队（模型最终的回答）仍然赶到现场并表示：“一切正常，这里没火。”

该论文明确排除了以下几种人们可能希望成立的情况：

置信度并非线索： 当他们询问模型的置信度时，模型只是给出了二元的“是”或“否”，没有任何真正的细微差别。一个 99% 确定的模型与一个 50% 确定的模型一样，出错的可能性并不更高。
思考得更深入并不能解决问题： 他们尝试了一种“思考模式”，即强制模型逐步写出其推理过程（思维链，Chain-of-Thought）。你可能会认为这能帮助模型发现自己的错误。然而，这反而让模型变得更难得到正确答案（准确率从 27.9% 降至 1.2%），同时并未改变内部警报仍在鸣响的事实。模型知道自己错了，但仅仅通过谈论它并不能修复问题。

我们能修复它吗？“分支与选择”策略

由于模型不会承认错误，研究人员尝试充当它们的“安全网”。他们构建了一个系统，监听内部警报，并试图在模型完成回答之前修复错误。他们测试了三种干预方式：

重提示（Reprompt）： 仅仅告诉模型：“嘿，检查一下你的工作！”（效果不佳）。
替换先验（Replace-Prior）： 抹除错误的步骤，并强迫模型从头开始尝试。这是一个喜忧参半的结果；它挽救了一些错误的答案，但也意外破坏了一些正确的答案。
分支与选择（Branch-and-Pick）： 这是最终的赢家。当警报响起时，系统不再只是猜测，而是要求模型尝试四种不同的路径（使用不同程度的随机性）。然后，系统利用内部警报来挑选出看起来最“干净”（最不容易被损坏）的那条路径。

这种“分支与选择”的方法是唯一一种能够持续挽救错误答案而不破坏正确答案的方法。在某一个特定模型（Llama-3.1-8B）上，它挽救了 4 个错误答案，且未破坏 0 个正确答案。然而，论文指出，这并不是解决所有问题的万灵丹。成功高度取决于“犯了哪种类型的错误”。例如，修复“单位错误”效果很好，但修复“百分比错误”实际上会让情况变得更糟。

总结

论文得出结论：我们不能依靠模型的言语来判断它是否正确。模型可以在自信地交付错误答案的同时，在内部意识到灾难的发生。“知言差距”（Knowing-Saying Gap）是真实存在且危险的。

解决方案不是要求模型变得更加诚实，而是构建一个“感知模型”的安全系统。我们需要倾听内部警报（探测器），并使用像“分支与选择”这样聪明的策略来捕捉错误。但我们也需要保持谨慎：不存在一种能解决每种错误或适用于每个模型的单一修复方案。未来安全 AI 的核心不在于信任聊天机器人的自信心，而在于构建一个能够识破聊天机器人何时在自欺欺人的护栏。

技术摘要：语言模型中的“知晓-表达”差距（The Knowing-Saying Gap）

问题陈述

本文探讨了已部署的大型语言模型（LLM）中一个关键的可靠性失效问题，特别是在智能体流水线（agentic pipelines）中，即模型的输出会反馈到未来的上下文（例如：编程智能体、多步规划）。在这些场景下，早期步骤中的单个错误会通过后续上下文进行传播，导致“级联上下文损坏”（cascading context corruption）。核心问题在于内部状态与言语输出之间的脱节：即使其内部计算已被错误破坏，模型仍会继续生成流畅且自信的文本。这种“有流畅度而无忠实度”的现象使得标准的监控技术（如要求模型进行言语化的置信度评估或自我批判）失效，因为模型的内部知识并不会转化为其表层行为。

研究方法

作者通过一个受控的、对比性的实验设计来研究这一现象：

数据集： 一个由 500 个基础问题生成的包含 1,400 个多跳算术追踪（multi-hop arithmetic traces）的合成数据集。该数据集包括“清洁”追踪和“损坏”追踪，其中特定的跳步（hop）被替换为一个合成的错误值。使用了五种不同的错误类型：off_by_one（差一）、wrong_operator（运算符错误）、wrong_unit（单位错误）、magnitude_error（量级错误）以及 wrong_percentage_base（百分比基数错误）。
模型： 评估涵盖了两个家族（Qwen 和 Llama）中的五个模型，包括指令微调版和推理（思考模式）变体，参数量从 3B 到 8B 不等。
探针训练： 在冻结模型的残差流（residual stream）激活值上训练了一个线性探针（逻辑回归）。探针旨在区分清洁上下文与损坏上下文，采用了两种聚合模式：最后一位标记（last-token）和标记均值（mean-over-tokens）。
关键指标：
- 检测能力 ( $AUROC_{detect}$ )： 探针区分损坏上下文与清洁上下文的能力。
- 失败预测 ( $AUROC_{fail}$ )： 在错误已经发生的前提下，探针预测该损坏是否会导致最终答案错误的能力。
- 表层信号： 计算了六个标量不确定性信号（如熵、置信度、词表间隙）作为基准。
干预措施： 测试了三种由探针触发的策略，以观察检测错误是否能提高最终准确率：
1. 重提示（Reprompt）： 添加重新检查的指令。
2. 替换前项（Replace-prior）： 从头开始重新生成前一个跳步。
3. 分支与选择（Branch-and-pick）： 采样多个延续序列，并选择探针误差得分最低的一个。

核心贡献

对比性数据集： 一个包含 1,400 个追踪、五种错误类型的确定性、无需人工参与的数据集，并在指令微调和推理模型变体上进行了评估。
检测与失败预测的坍缩： 表明虽然探针可以近乎完美地检测出损坏，但它们无法预测该损坏是否会导致最终答案错误。
干预分析： 对三种干预策略进行了受控比较，结果显示没有一种策略是普遍有效的；其有效性高度依赖于具体的模型和错误类型。
被驳回的假设： 作者预注册并随后驳回了“探针激活在跳步间的持续性”可以预测失败的假设。
鲁棒性控制： 通过分组交叉验证和留一错误类型法（leave-one-error-type-out）证明，检测信号并非数据泄露或表层标记特征的产物。

结果

1. 知晓与表达的脱节

高检测准确率： 线性探针在所有模型中都能以 $AUROC_{detect} > 0.98$ 的准确率检测注入的错误，在 Llama-3.1-8B 上达到峰值 0.997。该信号主要源自第 0 层与第 1 层之间的转换。
失败预测的失效： 尽管检测准确率很高，但相同的探针对于最终答案的正确性却毫无信息量。所有模型的 $AUROC_{fail}$ 都坍缩至接近随机水平（0.47–0.53）。模型“知道”上下文已损坏，但并未通过“表达”（或行动）这一知识来防止错误的最终输出。
表层信号： 言语化置信度和其他表层不确定性信号在检测方面表现接近随机水平（ $AUROC \approx 0.5$ ），且与最终正确性无关。置信度往往坍缩至二元极端（0 或 1），两组之间的错误率并无显著区别。

2. 推理模式的影响

在 Qwen3-4B 上启用“思考模式”（扩展思维链）并未消除这一差距。虽然它增加了 Token 数量，但使错误条件的准确率从 27.9% 下降到了 1.2%，且并未改变探针检测内部错误状态的能力。这表明，即使输出通道受到干扰，内部的损坏编码依然存在。

3. 干预有效性

分支与选择（Branch-and-pick）： 这是唯一在跨模型测试中表现为净正向（net-positive）且在 Llama-3.1-8B 上具有唯一非破坏性（挽救了 4 个，破坏了 0 个）的策略。然而，它显著增加了推理成本。
替换前项（Replace-prior）： 该策略虽然挽救了错误的追踪，但也以同等比例破坏了正确的追踪，导致没有净收益。
重提示（Reprompt）： 通常无效。
异质性： 干预的成功高度依赖于错误类型。例如，replace-prior 对 wrong_unit 错误非常有效，但对 wrong_percentage_base 错误则是负面影响。

重要性与主张

本文声称，基于探针的监控是言语化置信度的必要补充，而非替代品。核心发现是：在级联错误背景下，假设模型的内部状态可以通过其言语输出获取的假设是错误的。

可解码性而非因果性： 作者强调，虽然错误信号可以从残差流中线性解码，但这并不意味着生成策略会参考该信号。移除损坏值的干预措施（如 replace-prior）虽然降低了探针的触发频率，但并未按比例提高准确率，这表明被探测的方向并不是错误答案的近端诱因。
部署启示： 不存在“一劳永逸”的干预方案。可部署的解决方案是模型感知且错误类型感知的路由（model-aware, error-type-aware routing）。由于没有单一策略占优，系统必须根据预测的模型和错误类型，将任务路由到特定的纠错策略。
局限性： 作者指出，其干预措施并非严格意义上的安全（它们可能会破坏正确的追踪），且 Branch-and-pick 会产生巨大的计算成本。论文将路由策略定位为未来研究的方向而非完全可部署的方案，因为它目前缺乏一个鲁棒的错误类型分类器。

总之，本文确立了对于智能体系统而言，仅依赖模型“告知”其正在犯错是不够的。通过线性探针进行的内部状态监控提供了一种高保真的检测机制，但要在检测与成功纠错之间架起桥梁，需要细致且针对特定上下文的干预策略。