🤖 machine learning

When Thinking Hurts: Epistemic Signals in the Reasoning Chains of Visual Language Models

本文通过实证研究刻画了思维模式视觉语言模型中答案熵行为的三种不同模式，证明了推理链熵是比答案熵更可靠的不确定性信号，并实现了一种能够显著提升在对抗性和推理任务上准确率且无成本的弃权机制。

原作者： Mayank Singal

发布于 2026-07-10

📖 1 分钟阅读☕ 轻松阅读

原作者： Mayank Singal

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个超级聪明的机器人朋友，它非常喜欢解谜题。通常情况下，当你问它一个问题时，它会思考一瞬间，然后脱口而出答案。但最近，新一代的这类机器人开始做一些不同的事情了：在给出最终答案之前，它们会在一个特殊的 ... 框内写下一整条“思维链”——一段关于其推理过程的长长的、步进式的日记。这就像是在看它们在点咖啡之前，先在餐巾纸上涂鸦笔记一样。

核心问题是研究人员提出的：如果这些机器人在如此努力地思考，我们能否判断它们何时感到困惑或即将犯错？

答案中的“无声尖叫”

传统上，为了检查机器人是否不确定，我们会观察其最终答案有多“抖动”。如果机器人很自信，它的答案就很稳定；如果它很困惑，答案就会摇摆。这被称为答案熵（answer entropy）。

但这里有一个转折，这篇论文发现了：对于这些会“思考”的新型机器人，观察最终答案就像是在飓风中试图听清一声耳语。

当研究人员测试名为 Qwen3-VL-8B-Thinking 的模型时，他们发现，在机器人完成思维链的那一刻，它完全锁定了它的最终答案。这种“抖动”消失了。机器人的最终答案变得如此自信，以至于不确定性信号降到了 0.492（这基本上就是抛硬币，或者说是纯粹的随机概率）。就好像机器人完成了所有的思考，决定了一条路径，然后大声喊出答案，以至于你根本听不到任何怀疑的声音。

论文明确反对这样一个观点，即我们可以仅仅通过观察最终答案来发现这些思考型模型的错误。事实上，对于 Qwen 模型来说，观察最终答案甚至比随机猜测还要糟糕，因为机器人在错误的答案上表现得过于自信了。

真正的线索：思维日记

那么，如果最终答案是一个死胡同，我们该看哪里呢？论文建议我们去看思维链本身——即机器人在说话之前写的那些“餐巾纸笔记”。

研究人员发现，思考的过程 蕴含着秘密。他们测量了思维链内部的“混乱度”或“摇摆度”。

对于 Qwen 模型： 思维链的信号得分是 0.647，这比最终答案那毫无用处的 0.492 要好得多。
对于另一个模型 GLM-4.1V-9B-Thinking： 最终答案其实还可以 (0.716)，但思维链甚至更好 (0.759)。
对于第三个模型 InternVL3-8B： 它仅在约 50% 的问题上使用思维链。当它进行思考时，思维链的信号略好于答案，但最重要的线索仅仅在于它是否决定进行思考。如果它跳过了思维链，它出错的可能性就更高。

论文指出，思维链起到了“预承诺”信号的作用。它是机器人的内在挣扎。如果机器人在弄清楚答案的过程中非常吃力（思维链熵值高），它稍后出错的可能性就更大。如果它思考得很快且平滑，它很可能就是正确的。

“拒绝”之门

这些机器人还有另一种奇怪的行为。有时，它们并不给出答案，而是直接停止。它们“弃答”（abstain）。

在一项测试（POPE）中，Qwen 机器人有 22.1% 的时间拒绝回答。
在另一项测试（HallusionBench）中，比例为 12.6%。

论文注意到一个有趣的模式：当询问不存在的事物（缺席物体）时，机器人比询问存在的事物时更容易选择退出。这就像机器人是在说：“我看不见你说的那个幽灵，所以我不会瞎猜。”

研究人员展示了，如果我们建立一个简单的“门控”机制，即：“如果机器人的思维链太长或太乱，或者如果它拒绝回答，那我们就直接跳过这个问题”，我们可以大幅提升准确率。

没有门控时，机器人的正确率为 71.0%。
使用门控后（并跳过了约 37% 最难的问题），机器人在剩余问题上的准确率跃升至 93.8%。

这并不是解决所有问题的万能药，但它是一个实用的技巧：如果机器人在“流汗”（思维链长且乱）或者拒绝参与，那么它的答案很可能是不值得信任的。

其他类型的问题如何？

研究人员还在开放式问题（不仅是“是/否”问题）上进行了测试。他们发现了同样的模式：思维链比最终答案更能预测错误。

对于自由形式的答案，最终答案的信号非常糟糕 (0.467，比抛硬币还差)。
但思维链的信号很强 (0.733)。

这表明问题不仅仅在于“是/否”问题；思维链是比最终目的地更可靠的信心地图。

总结

论文得出结论，对于这些新型的“思考型”机器人，你不能通过最终答案来判断它们是否不确定。 思考的行为使它们的不确定性坍缩了，让它们看起来即便在错误时也极其自信。

相反，我们必须倾听思考过程本身。推理链中的“混乱”才是真正的信号。虽然这在他们测试的模型（Qwen 和 GLM）中效果很好，但作者建议我们需要检查这是否也适用于更大的模型，或者当我们改变机器人的思考方式（例如让它随机猜测而不是总是选择最优解）时是否依然成立。不过目前来看，如果你想知道一个思考型机器人是否在产生幻觉，不要看它说了什么，要看它是如何思考的。

技术摘要：当思考带来痛苦：视觉语言模型推理链中的认识论信号

问题陈述

视觉语言模型（VLMs）正日益采用“思考模式”架构，即在提交最终答案之前生成显式的推理链（例如，在 <thought>...</thought> 标签内）。虽然这模拟了人类的审议过程，但作者发现传统的确定性量化（UQ）方法在这种范式下存在关键失效。

标准的 UQ 技术依赖于答案标记分布的熵（ $H_{ans}$ ）来估计认识论不确定性（epistemic uncertainty）。论文指出，在思考模式的 VLM 中，推理链充当了一个强力的条件先验，使模型“预先承诺”于特定的答案方向。这一过程导致答案标记分布发生坍缩，破坏了熵基方法赖以生存的方差。因此，传统的答案熵变成了幻觉的一个机会水平预测器（AUROC $\approx$ 0.5），使得现有的输出级不确定性方法在贪婪解码下对这些模型失效。

研究方法

本研究采用了受控消融实验和跨家族经验表征，以隔离思考模式解码的影响。

模型： 作者评估了三个不同的思考模式 VLM 家族：
- Qwen3-VL-8B-Thinking： 在回答前生成推理链。
- GLM-4.1V-9B-Thinking： 一个竞争性的思考模式模型。
- InternVL3-8B： 一个表现出选择性思考行为的模型。
- 对照组： Qwen3-VL-8B-Instruct（同家族的非思考变体），用于建立答案熵仍为有效信号的基准。
基准测试：
- POPE (对抗性)： 关于 COCO 图像中物体存在的 1,000 个二元是/否问题，旨在测试幻觉。
- HallusionBench： 涵盖错觉、编辑图像和推理任务的 951 个视觉问题。
- VQAv2 (试点)： 300 个开放式问题，用于测试超越二元任务的泛化能力。
信号： 研究从单次贪婪前向传播中提取信号（无需额外推理成本）：
- $H_{ans}$ ： 答案标记的平均香农熵。
- $H_{think}$ ： 思考链内标记的平均香农熵。
- $L$ ： 思考链的长度。
评估： 作者测量了预测假阳性（幻觉）相对于真阳性的受试者工作特征曲线下面积（AUROC），包括无条件情况以及基于答案方向的条件情况（例如，限制在“是”的预测上以消除混淆因素）。

核心发现

1. 答案熵坍缩

核心发现是思考模式解码导致了答案熵的定性坍缩。

Qwen3-VL-8B-Thinking： 表现出完全坍缩。在 POPE 上，其 $H_{ans}$ 的 AUROC 从非思考对照组的 0.899 降至 0.492（机会水平）。模型在思考阶段就已完全预先承诺，导致答案分布中不再有能传达不确定性的方差。
GLM-4.1V-9B-Thinking： 未表现出坍缩。 $H_{ans}$ 仍具有预测性（AUROC 0.716），表明其训练方案并未强制执行完全的预先承诺。
InternVL3-8B： 表现出选择性思考。仅在 50% 的样本上生成链。在全集上 $H_{ans}$ 为 0.675，但在仅包含思考的子集上降至 0.602。

2. 链信号的优越性

在所有生成链的模型中，思考链的熵（ $H_{think}$ ）和链长度（ $L$ ）的表现均优于答案熵。

Qwen： $H_{think}$ 实现 AUROC 为 0.647，而 $H_{ans}$ 为 0.492。
GLM： $H_{think}$ 实现 0.759，而 $H_{ans}$ 为 0.716。
InternVL3： 在仅包含思考的子集上， $H_{think}$ (0.608) 略微优于 $H_{ans}$ (0.602)，尽管由于假阳性数量较少（n=17）导致统计可靠性较低。然而，对于 InternVL3 而言，是否存在 链是一个强信号；当模型跳过思考时，假阳性率（13.1%）是生成链时（6.0%）的两倍多。

3. 认识论层级与弃权

作者确定了链信号中的单调层级：

承诺且正确 (TP)： 最短的链，最低的熵。
承诺但错误 (FP)： 较长的链，较高的熵。
带链的弃权 (Abstaining-with-Chain)： 最长的链，最高的熵。
这证实了链信号追踪的是模型的认识论状态（解决问题的挣扎程度），而非仅仅是表层输出属性。
结构化弃权： 思考模型表现出高弃权率（POPE 为 22.1%，HallusionBench 为 12.6%），且在缺失物体查询方面表现出一致的不对称性。不同模型的机制有所不同：Qwen 经常过度审议（产生无法解决的长链），而 InternVL3 则经常在困难查询上根本不生成链。

4. 实际效用：弃权门控 (The Abstention Gate)

论文提出了一种实用的“链门控”，拒绝处理信号不明或链过长的样本。

在 POPE 上，将此门控应用于思考模式模型，可将准确率从 71.0%（基准）提升至 93.8%（覆盖率为 62.7%）。
虽然非思考型的“Instruct”模型在使用答案熵时仍能实现更高的准确率（在相似覆盖率下为 96.7%），但链门控是部署思考模式模型的唯一可行选择，因为在此机制下答案熵无法提供任何信号。

5. 向开放式任务的泛化

针对 VQAv2 的试点研究确认，即使在自由形式回答场景中，链熵 (0.680) 也优于答案熵 (0.595)。这种差距在自由形式回答中最大（0.733 对比 0.467），表明该优势并非二元任务结构的产物。

意义与主张

本文声称提供了首次关于思考模式 VLM 答案熵行为的经验表征，揭示了“坍缩”现象是取决于训练方案而非架构的普遍属性。

其主要意义在于转变了推理模型的确定性估计范式：

信号位置： 对于思考模式的 VLM，认识论信号存在于推理过程（即链）中，而非最终输出。
零成本方案： 可以通过从单次贪婪前向传播中提取的信号（ $H_{think}$ , $L$ ）来实现可靠的幻觉检测，无需额外的推理、采样或外部探测。
部署的可行性： 作者认为，思考模式 VLM 的确定性估计必须追踪推理过程，才能在认识论上是可处理的。他们证明，如果不进行这种转变，使用标准输出指标时，这些模型在面对自身不确定性时实际上是“盲目”的。

作者对这些发现的普遍性保持谨慎，指出结果是基于 8–9B 规模的模型和贪婪解码。他们明确表示，这些模式在随机采样（温度 > 0）或更大规模模型（32B+）下是否持续仍然是一个开放性问题。