技术摘要：超越答案进行思考：评估大型推理模型中的有害过度思考

1. 问题定义

大型推理模型（LRMs）已经证明，通过分配额外的测试时计算量来生成显式的中间推理轨迹（思维链，或 CoT），可以提高处理复杂任务的性能。然而，目前普遍存在的假设——“更长的推理始终更好”——仍未得到充分的研究。虽然近期的证据表明模型可能会“过度思考”，但现有的文献主要将其视为一个效率问题——旨在减少冗余计算，同时保留完整长度轨迹的准确性。

本文认为，过度思考也是一个可靠性问题。模型可能在其生成过程的早期就达到了正确答案，但随着推理过程的持续，它可能会使该正确轨迹发生失稳，从而导致最终预测错误。作者将过度思考区分为两种类型：

• 冗余过度思考 (Verbose Overthinking)： 模型在达到正确点后继续推理，但保持了正确的最终答案（冗余但无害）。
• 有害过度思考 (Harmful Overthinking)： 模型达到了正确的中间状态，但随后由于持续的推理而偏离了该状态，导致最终预测错误（具有破坏性且有害）。

核心研究问题是：一旦模型得出了正确答案，进一步的推理是在完善解决方案，还是在使其偏离？

2. 研究方法

2.1 形式化推理充分性

作者基于特定模型生成正确答案所需的最小推理预算，提出了问题难度的正式定义。不同于以往使用平均轨迹长度作为难度的代理指标（这会被冗余程度所干扰），这种方法严格隔离了实现正确性所必需的计算量。

• 符号表示： 令 $t = (u_1, \dots, u_N)$ 为一条推理轨迹。
• 首次正确索引 ($\tau_y$)： 使前缀 $t_{\le i}$ 得出正确答案 $y$ 的最小索引 $i$。
• 经验难度 ($\hat{\kappa}$)： 与 $\tau_y$ 相关的计算预算。

2.2 前缀级轨迹评估协议

为了衡量实现正确性之后的推理动态，作者提出了一个前缀级评估协议：

1. 强制终止： 对于生成的每一个前缀 $t_{\le i}$，附加一个固定的终止模板，以迫使模型在该中间步骤输出预测。
2. 提取： 使用外部提取器模型 ($A$) 解析部分轨迹，以确定预测答案 $\hat{y}_i$。
3. 分类：
   • 冗余 (Verbose)： $A(t_{\le \tau_y}) = y$ 且 $A(t_{\le N}) = y$。
   • 有害 (Harmful)： $A(t_{\le \tau_y}) = y$ 且 $A(t_{\le N}) \neq y$。
4. 指标： 有害过度思考率 ($H$) 计算为在已解决实例中，模型达到了正确前缀但在最后一步失败的比例。

2.3 实验设置

• 模型： 在多模态 LRM（MM-Eureka, R1-VL, ThinkLite-VL, VL-Rethinker）和纯语言 LRM（Qwen3, InternS1）上进行评估。
• 基准测试：
  • 多模态： AI2D, MathVerse, MathVision, MathVista, MMStar, VMCBench。
  • 纯语言： AIME2025, GPQA。
• 对比策略：
  • 无 CoT (No-CoT)： 不进行推理，直接给出答案。
  • 实际长度 (Actual Length)： 默认的无约束 CoT 行为。
  • 最优长度 (Optimal Length)： 一种预知策略，在第一个正确前缀处停止（用于量化消除有害过度思考带来的潜在收益）。
  • 早停 (Early Stopping)： 当预测在 $K$ 步内保持不变时进行自适应推理停止。

3. 关键结果

3.1 推理长度与难度

• 令人惊讶的效率： 许多被认为是“推理密集型”的实例，实际上需要的推理量出奇地少。最优停止点通常集中在轨迹的起始阶段（通常在零个语句处）。
• 性能差距： 在第一个正确前缀处停止（最优长度）的表现显著优于模型的默认行为（实际长度）。
  • 在多模态基准测试中，最优长度将准确率提升了高达 21%（例如，R1-VL 在 MathVision 上提升了 23.3%）。
  • 这一增益超过了通过面向推理的后训练相对于标准指令微调模型所获得的提升。
• 结论： 当前的 LRM 不仅受限于其推理能力，还受限于其无法在正确的时间停止。

3.2 有害过度思考动态

• 非单调性： 推理轨迹不是单调的。在达到正确状态 ($z_i=1$) 后，随着额外步骤的生成，保持正确的概率迅速下降，并在约 100 步后趋于平缓（约为 0.2）。
• 答案格式敏感性： 有害过度思考在自由格式生成（发生率为 24%）中比在多选题（发生率为 11%）中更为普遍。自由格式任务中不受约束的输出空间使得模型更容易通过未经证实的修正或重新解释而偏离正确答案。
• 简单早停的无效性：
  • 标准早停（例如，当答案稳定 $K$ 步时停止）虽然减少了平均推理长度，但无法缓解有害过度思考。
  • 在某些情况下，激进的早停反而增加了有害过度思考率（例如，在一种设定下从 10.1% 上升到 18.4%），这表明减少冗余并不自动稳定推理轨迹。

3.3 对纯语言模型的泛化

该现象并非多模态推理所特有。在数学密集型基准测试（AIME2025, GPQA）上的纯语言模型也表现出类似的模式：

• 虽然默认推理比无 CoT 有所改进，但“最优长度”带来了巨大的收益（例如，Qwen3 在 AIME2025 上从 58.3% $\to$ 91.7%）。
• 这证实了有害过度思考是推理过程本身固有的广泛可靠性风险，而不仅仅是视觉对齐的副产品。

3.4 失效分析

对 4,842 个有害轨迹的分析揭示了导致正确性偏差的主要原因：

• 逻辑漂移 (Logical Drift)： 在抽象推理基准测试（如 MathVerse）中的主要失效模式（占比 >50%）。模型引入了矛盾、无关的绕路或未经证实的答案修正。
• 视觉重新解读 (Visual Reinterpretation)： 在感知密集型基准测试（如 MathVision/AI2D）中的主要失效模式（占比 >60%）。模型在最初正确解决问题后，会误读、虚构或过度解读视觉证据。
• 计算错误： 仅占有害过度思考的一小部分（<10%），表明算术错误并不是导致不稳定的主要驱动因素。

4. 核心贡献

1. 形式化定义： 通过推理充分性定义了过度思考，将冗余（verbose）过度思考与有害（harmful）过度思考区分开来。
2. 协议设计： 引入了前缀级轨迹评估协议，用以动态测量推理充分性和正确性不稳定性。
3. 量化研究： 证明了有害过度思考在多模态和纯语言基准测试中具有系统性，通常会导致模型从早期的正确答案漂移到错误的最终预测。
4. 分类研究： 确定了正确性偏差主要由逻辑漂移和视觉重新解读驱动，而非算术限制。

5. 意义与主张

本文挑战了将测试时扩展（test-time scaling）视为单纯有益的单一观点。它指出，分配适量的推理往往比仅仅实现推理能力更为重要。

• 可靠性 vs. 效率： 作者认为过度思考是一个可靠性问题，而不只是一个效率问题。目前专注于减少冗余（效率）的策略并未解决推理过程本身的不稳定性。
• “停止”问题： 结果表明，当前 LRM 的一个主要局限在于无法识别何时推理已经充分。 “最优长度”策略（一种预知策略）表明，如果模型能简单地在找到正确答案后停止推理，那么将可以获得显著的性能提升。
• 未来方向： 本研究呼吁未来的研究不仅要关注如何让模型推理得“更多”，还要帮助它们理解何时推理是“充分”的，从而防止正确轨迹的失稳。

文章总结道，有害过度思考是一种基本的可靠性风险，需要超越简单的早停或长度缩减等手段的特定缓解策略。