💻 computer science

Why Do Reasoning Models Lose Coverage? The Role of Data and Forks in the Road

本文研究了微调推理模型中的“推理萎缩”现象，指出训练数据中模糊决策点场景的普遍存在是其主要成因，并证明有针对性的数据合成与多样性感知解码能够有效缓解这种覆盖度损失。

原作者： Ngoc-Hieu Nguyen, Parshin Shojaee, Phuc Minh Nguyen, Nan Zhang, Chandan K Reddy, Khoa D Doan, Rui Zhang

发布于 2026-05-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Ngoc-Hieu Nguyen, Parshin Shojaee, Phuc Minh Nguyen, Nan Zhang, Chandan K Reddy, Khoa D Doan, Rui Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一名学生如何解迷宫。你希望他们无论选择哪条路径都能找到出口，同时也希望他们既快速又准确。

本文探讨了一个奇怪的问题：当我们训练高级 AI 模型（例如那些擅长复杂数学或逻辑的模型）成为“推理”专家时，会出现一种现象。我们将此问题称为“覆盖度收缩”（Coverage Shrinkage）。

以下是作者发现内容的简明拆解，并辅以日常类比：

问题所在：“收缩”的地图

当这些 AI 模型接受训练时，它们会变得非常擅长找到通往答案的唯一最佳路径。如果你只问它们一次问题，它们很可能答对（这被称为pass@1）。

然而，如果你将同一个问题问它们 10 次或 100 次，以观察它们可能采取的所有不同解法，它们就不再提供多样性了。它们开始给出完全相同的答案，或者更糟的是，它们都陷入了同一条错误的路径。它们的“可能解法地图”收缩了。它们失去了探索不同路线的能力。

罪魁祸首：“分岔路口”

作者认为，这并非因为 AI 的学习算法出了故障。相反，问题出在训练数据上。

想象一本故事书，书中的角色来到了一个分岔路口。

现实世界： 角色可能向左走，也可能向右走。两条路径看起来都合理，但只有一条能通向宝藏。
训练数据： 故事书只展示了角色走了右路。它从未解释为什么他们选择了右路而非左路，甚至根本没有提及左路是一个选项。

作者将这些时刻称为“分岔路口”（Forks in the Road）。这是模型必须在多个有效选项之间做出选择的决策点，但数据中只展示了其中一种。

由于模型从未见过其他路径被采用，它养成了一种坏习惯：“我必须选择第一个看起来正确的东西，并且我必须 100% 确信我是对的，即使我其实并不对。”它停止了探索。它不再考虑“左”路，因为故事书从未展示过它。

实验：验证理论

研究人员通过两个巧妙的设置测试了这一理论：

星形图（迷宫）：
他们创建了一个简单的数学谜题，形状像星形迷宫。在起点处有两条路径，只有一条通向答案。
- A 组的训练数据展示了模型向前穿过迷宫，并在分岔路口做出选择。
- B 组的训练数据展示了模型从答案向后回溯到起点（无需做出选择）。
- 结果： A 组（那些必须做出选择的组）失去了寻找替代路径的能力。B 组则保留了完整的地图。这证明了在信息不足的情况下做出选择的动作导致了收缩。
风格切换（代码与文字）：
他们观察了那些既可以通过编写代码解决，也可以通过用纯英语书写来解决的数学问题。
- 场景 1： 他们给模型提供了一组混合问题，但每个问题只有一种解决方案风格（有些是代码，有些是文字）。
- 场景 2： 他们给模型提供了相同的混合问题，但对于每一个问题，他们同时展示了代码解决方案和文字解决方案。
- 结果： 在场景 1 中，模型变得困惑，并开始根据微小的、无关的线索（例如单词的顺序）来选择风格，从而收缩了其选项。在场景 2 中，由于模型看到了同一个问题的两种选项，它保持了灵活性，并维持了其“地图”的宽广度。

“虚假线索”（坏习惯）

由于模型被迫在这些“分岔路口”做出选择，却不知正确答案，它开始抓住虚假线索（spurious cues，即假信号）。

示例： 如果问题以单词"Let"开头，模型可能会决定：“好吧，我将使用‘回溯’思维风格。”如果它以"To"开头，它可能会决定：“好吧，我将使用‘线性’风格。”
模型实际上并没有在思考数学；它只是在根据第一个单词做出反应。这使其变得脆弱。如果你改变第一个单词，模型可能会切换到一种完全不同的（且更差的）思维方式。

解决方案：微调第一步

本文提出了两种无需重新训练整个模型即可解决此问题的方法：

更好的数据设计： 在创建训练数据时，不要仅仅混合不同类型的问题。对于每一个具体问题，向模型展示多种有效的解决方法。这教会了模型：“在这个分岔路口，两条路径都是可能的。”
“第一个词”技巧： 由于模型会卡在它生成的第一个词上，研究人员发现他们可以“抖动”开头。通过强制模型尝试以不同的常见单词开头（如"Okay"、"Let's"或"To"），他们可以解锁那些被锁定的不同思维风格。
- 类比： 这就像一扇卡住的门。模型认为门是锁着的，但如果你稍微改变推把手的方向（改变第一个词），门就会打开，模型就会记起它曾经知道的所有路径。

结论

本文总结道，AI 模型并没有“忘记”如何保持多样性。它们只是被锁定在单一路径上，因为它们的训练数据迫使它们在“分岔路口”做出盲目选择，而没有向它们展示替代方案。通过改变我们在数据中呈现这些选择的方式，或者在模型回答的最开始对其加以引导，我们可以找回那种丢失的多样性。

技术摘要：推理模型为何丧失覆盖度？数据与“道路分岔”的作用

问题陈述

近期，通过监督微调（SFT）和可验证奖励强化学习（RLVR）等专用后训练流程取得的推理模型进展，显著提升了pass@1准确率（即首次生成的解决方案正确的概率）。然而，一种被称为覆盖度收缩（coverage shrinkage）的反直觉现象已被观察到：尽管 pass@1 有所提升，但pass@k（即在 $k$ 个独立样本中至少出现一个正确解决方案的概率）相对于基线模型却出现了下降。

先前的文献大多将这种收缩归因于 RLVR 的优化动态，认为奖励驱动的训练过度强调狭窄的高奖励路径，导致模式崩溃。然而，最近的证据表明，收缩现象也发生在 SFT 中，这意味着根本原因可能并非算法本身，而是更基础的驱动因素。本文调查了以下假设：数据结构，特别是“道路分岔”（即存在多个有效推理路径但选择理由模糊的决策点）的存在，是覆盖度收缩的主要驱动因素。

方法论

作者提出了一种以数据为中心的视角，认为推理问题通常涉及决策点，模型必须在不知道哪种策略会成功的情况下，在多种有效策略之间做出选择。如果训练数据仅暴露成功的路径（幸存者偏差）而未解释选择理由，模型就会学会依赖虚假线索来解决歧义，最终抑制替代轨迹。

为了验证这一假设，作者设计了控制案例研究，以隔离这些决策点：

图导航（合成任务）：
- 设置： 一个星形图导航任务，模型需从起始节点遍历至目标节点。图中包含“不可解读节点”（分叉点），在这些点上多个分支均为有效延续，但只有一个能通向目标。
- 变体：
  - 正向： 模型必须从源点导航至目标点，途中遭遇分叉点（决策点）。
  - 反向（无 DP）： 模型从目标点导航至源点，以反向顺序呈现解决方案，实质上消除了路径选择的需求。
- 模型： 在 Qwen2.5-0.5B 和 EvoLM-1B 上进行评估。
推理模式选择（现实世界任务）：
- 自然语言（NL）与代码： 作者分析了数学推理数据集（OpenMathInstruct-1 和 2），以比较两种数据多样性结构：
  - 数据级多样性： 数据集整体平衡（50% 自然语言，50% 代码），但每个问题仅用一种模式解决。
  - 问题级多样性： 训练数据中，每个问题都同时提供自然语言和代码两种解决方案。
- 线性与回溯： 利用蒸馏推理模型（如 DeepSeek-R1 变体），作者考察了初始前缀令牌（如"Okay"、"Let"、"To"）如何作为决策点，将模型锁定为线性或回溯推理结构。
缓解策略：
- 数据设计： 比较问题级多样性与数据级多样性的效果。
- 推理时干预： 测试一种“前 $k$ 个前缀”（Top-k prefix）解码机制，强制模型从不同的高概率初始令牌开始，以恢复多样性。

关键结果

1. 决策点驱动收缩

在图导航任务中，在正向设置（含决策点）下训练的模型表现出经典的收缩模式：随着训练进行，pass@1 有所提升，但 pass@k 显著下降。相反，在反向设置（无决策点）下训练的模型在所有 $k$ 值下均保持了较高的 pass@k 性能。

置信度分析： 在决策点处，经决策点训练的模型变得过度自信，对正确和错误的分支均分配了高概率。这表明它们学会了基于虚假线索而非校准后的不确定性来锁定路径。

2. 多样性结构至关重要

在推理模式选择任务中，数据级多样性设置（整体平衡，每个问题单模式）导致了严重的覆盖度收缩。模型越来越倾向于为每个问题选择单一模式（自然语言或代码），导致双峰分布并损害了 pass@k。

相比之下，问题级多样性设置（每个问题多种模式）保持了稳定的 pass@k 性能。这表明覆盖度并非仅由数据集中的多样性总量决定，而是由多样性如何在单个问题内部进行结构化所决定。

3. 决策点处的脆弱性

对线性与回溯推理的分析显示，模型对初始前缀令牌高度敏感。第一个令牌的微小变化（例如"Okay"与"Let"）可能会剧烈改变模型的推理模式、响应长度和准确率。

过度思考/思考不足： 模型通常默认应用错误的推理模式（例如，在简单事实问题上进行回溯，或在复杂反事实算术问题上进行线性思考）。然而，操纵前缀可以恢复适当的模式，并显著提升性能（在特定任务上高达 60%）。

4. 通过推理时干预进行缓解

作者证明，覆盖度收缩并非能力的永久丧失，而是替代路径被抑制。通过在推理期间应用前 $k$ 个前缀采样策略（强制模型从多样化的初始令牌开始），他们恢复了丢失的覆盖度。

结果： 虽然标准解码在训练后期显示出 pass@k 下降，但 Top-8 前缀设置保持了较高的 pass@k，有效地重新激活了被抑制的推理轨迹，而无需额外的重新训练。

主要贡献

以数据为中心的假设： 本文指出微调数据中的“道路分岔”（理由模糊的决策点）是覆盖度收缩的关键驱动因素，挑战了收缩仅是 RLVR 等优化算法产物的观点。
受控实证证据： 通过合成图任务和现实世界推理模式分析，作者提供了证据，表明决策点的普遍性和结构与覆盖度收缩的严重程度密切相关。
多样性结构洞察： 研究揭示，多样性如何分布（按问题分布 vs. 跨问题分布）至关重要；按问题分布的多样性在保持覆盖度方面更为有效。
实际缓解方案： 本文提出了两种控制收缩的策略：
- 设计合成数据，在单个问题中暴露多种推理模式。
- 利用推理时的前缀扰动来恢复被抑制的多样性，证明模型的推理能力是潜在的而非丢失的。

意义

本文认为，覆盖度收缩是一种数据驱动的产物，模型学会了将替代推理路径锁定在未校准的决策点之后。通过将焦点从算法优化转向数据策划和推理时干预，作者指出推理模型中丢失的覆盖度并非永久遗忘，而仅仅是被抑制。这些发现为改进后训练数据设计和测试时扩展提供了视角，强调有效的推理不仅需要找到正确的路径，还需要在“正确”选择模糊时保持探索多种有效路径的能力。