🤖 AI

How Much Backtracking is Enough? Exploring the Interplay of SFT and RL in Enhancing LLM Reasoning

本文表明，在监督微调预热阶段显式地引入回溯对于优化大语言模型的强化学习至关重要，且回溯的最佳深度随任务难度直接缩放，从而实现有效的非线性树搜索推理。

原作者： Hongyi James Cai, Junlin Wang, Xiaoyin Chen, Bhuwan Dhingra

发布于 2026-08-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Hongyi James Cai, Junlin Wang, Xiaoyin Chen, Bhuwan Dhingra

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人如何走迷宫。在过去，你可能会直接告诉机器人：“向前走直到撞到墙，然后右转。”这就像是监督微调（SFT）：你向机器人展示一个完美的范例，然后让它去模仿。但如果迷宫是一个巨大的、扭曲的迷宫，而“正确”的路径并不明显呢？机器人可能会走进死胡同，继续走下去，然后被困住。

为了解决这个问题，科学家们开始使用强化学习（RL）。把这想象成一个电子游戏教练。机器人尝试解决迷宫，如果它得到了正确答案，教练就会给它一个击掌（奖励）。如果失败了，教练会说：“再试一次。”随着时间的推移，机器人学会了探索不同的路径，有时甚至在意识到走错路时进行回溯。最近，我们看到机器人在这方面变得异常出色，但研究人员感到困惑：机器人究竟是如何学会“回溯”的？它只是在瞎猜，还是在训练过程中有一个秘密配方，教会了它如何说：“等等，我犯了个错误，让我退回去”？这个问题至关重要，因为如果我们能找到训练这些大脑的完美配方，我们就能让它们解决更难的问题，从复杂的数学到逻辑谜题，而不会让它们彻底迷失方向。

这篇题为《需要多少回溯量？》（"How Much Backtracking is Enough?"）的论文，深入探讨了那个谜团。来自杜克大学和 Mila 的作者们想要寻找训练 AI 处理推理任务时的“金发姑娘区”（即最理想的状态）。他们问道：在开始强化学习游戏之前，我们应该向 AI 展示多少“回溯”（即意识到错误并返回尝试不同路径的行为）？

他们在八种不同类型的逻辑游戏中测试了他们的想法，范围从简单的“Arc 1D”（识别网格中的模式）到中等难度的“Countdown”（通过数字组合达到目标值），再到超难难度的“数独”（在网格中填入数字）。

以下是他们发现的研究结果，我们使用一个有趣的类比：训练 AI 就像是在教一名徒步旅行者在森林中导航。

“只管走路”法（纯强化学习/Pure RL）

首先，他们尝试让徒步旅行者（AI）在没有任何地图和练习的情况下进入森林，仅仅让他们通过试错来学习（纯 RL）。

结果： 徒步旅行者可以学会走直线，有时甚至能偶然发现解决方案。但对于那些真正茂密且复杂的森林（如数独），徒步旅行者只会原地打转或者陷入困境。他们无法学会如何在撞到死胡同时返回。

“模仿地图”法（标准监督微调/Standard SFT）

接下来，他们给了徒步旅行者一张成功旅程的地图（自我采样 SFT）。在开始强化学习训练之前，他们让 AI 在自己生成的路径上进行练习。

结果： 这有所帮助！徒步旅行者走路变得稍微好了一点。但对于最难的森林，这还不够。徒历旅行者仍然不知道在迷路时该怎么办。这就像是给徒步旅行者一张简单路径的地图，然后却把他们丢进了一片丛林。

“学习回头”法（合成回溯/Synthetic Backtracking）

这就是奇迹发生的地方。研究人员意识到，秘诀不仅仅是向 AI 展示一条正确的路径，而是展示一条 AI 犯错、意识到错误并返回的路径。他们创建了“合成”训练数据，强迫 AI 练习这项特定技能：

沿着一条路径走下去。
意识到错了。
说：“等等！”并回到上一个安全点。
尝试另一条路径。

他们测试了这种练习的不同“深度”：

对于简单的森林（Arc 1D）： 徒步旅行者完全不需要练习回头。事实上，向他们展示如何回溯反而会让他们变慢！最好的策略就是直接展示那条完美的直线路径。零回溯是获胜者。
对于中等的森林（Countdown）： 徒步旅行者需要练习回头一次。他们需要学习如果一个数学计算看起来很奇怪，他们应该停下来并尝试另一种组合。一次回溯是最佳平衡点。
对于超难的丛林（Sudoku）： 徒步旅行者需要练习回头五次或更多次。这些谜题非常复杂，你必须愿意撤销你的工作很多很多次才能找到解决方案。如果你只教他们回溯一次，他们仍然会卡住。

核心启示

论文发现，并非一种方法适用于所有场景。

如果你在处理简单任务时教 AI 过多回溯，它会感到困惑并表现得更差。
如果你在处理困难任务时教得回溯不够，它就会放弃。
“完美”的回溯量完全取决于谜题的难度。

他们还发现了一些令人惊讶的事实：只要具备“回溯”的结构，练习地图是否错误并不重要。 即使他们向 AI 展示了一条充满错误但仍包含“等等，让我们回去”步骤的路径，AI 学习解决问题的能力仍然比只展示一条直线要好。这就像是通过让孩子在摔倒后爬起来来教他们骑自行车，而不是仅仅给他们看别人骑行完美的视频。从跌倒中恢复的过程才是建立肌肉记忆的关键。

最后，作者们建议，要让 AI 在复杂的推理方面真正变得聪明，我们需要停止仅仅展示答案，而是开始教它们如何从错误中恢复。通过调整与任务难度相匹配的“回溯”旋钮，我们可以解锁更高水平的智能，让即使是较小的模型也能解决那些以前需要超级强大计算机才能解决的谜题。

技术摘要：回溯多少才足够？探索 SFT 与 RL 在增强 LLM 推理中的相互作用

问题陈述

近期大型语言模型（LLM）的进展（如 DeepSeek-R1 和 OpenAI 的 o1）表明，强化学习（RL）可以通过通过延长的思维链（CoT）将搜索策略内化，从而显著提高推理能力。虽然回溯（即显式地修正早期的推理步骤）被广泛认为是这种改进的核心机制，但其精确的动态机制仍不为人所知。具体而言，目前尚不清楚监督微调（SFT）预热如何与 RL 相互作用以优化回溯，也不清楚标准的自采样 CoT 预热对于复杂任务是否足够，以及针对不同难度的问题，最优的回溯频率或深度是多少。现有的方法通常依赖于“冷启动”RL 或简单的自采样 CoT，作者认为这些方法在处理像数独（Sudoku）这样具有组合复杂性的任务时会遇到瓶ب颈。

方法论

作者在八个推理任务（Countdown、Sudoku、Arc 1D、高级几何、彩色立方体旋转、列表函数、斑马谜题和自我引用）上使用 Qwen2.5 和 Llama3.2 模型进行了受控实验。该研究隔离了不同 SFT 预热策略对后续 RL 训练的影响：

基准对比： 作者将“纯 RL”（无 SFT 预热）与“冷启动 RL”（使用来自基础模型的自采样 CoT 作为预热）进行了比较。他们进一步区分了源自正确轨迹与源自错误轨迹的预热。
合成回溯数据集： 为了系统地研究回溯，作者为三个代表性任务（Countdown、Arc 1D、Sudoku）构建了具有可调回溯深度 ( $k$ $k$ ) 的合成数据集。
- 对于 Countdown 和 Sudoku，他们使用深度优先搜索（DFS）求解器生成操作树或网格填充树，创建包含显式“绕路”（错误的路径分支）并随后恢复（回溯）到正确路径的轨迹。
- 对于 Arc 1D，他们使用带有手工构建转换函数的启发式搜索来生成类似的回溯模式。
- 他们定义了一个 $k$ -回溯轨迹为包含 $k$ 个显式恢复事件的轨迹，其中模型在出错后返回到一个有效状态。
训练流水线： 模型首先在这些合成或自采样的数据集上进行 SFT 训练，然后接受基于规则奖励（格式准确性 + 精确答案匹配）的 RL 训练（使用 PPO 或 GRPO）。
消融实验： 作者通过打乱提示词（prompts）和补全内容（completions）来分析 RL 对语义噪声与句法结构的敏感性。

核心贡献

标准预热的局限性： 研究表明，虽然自采样 CoT 预热相比纯 RL 能提供微小的提升，但在困难的组合任务（如数独）上无法有效扩展，因为基础模型无法生成足够的正确初始化数据。
回溯作为可调超参数： 作者确立了回溯是实现从线性生成向非线性树搜索转变的关键算子。他们证明了最优回溯深度取决于任务：
- Arc 1D（简单）： 零回溯（最优演示）效果最好。
- Countdown（中等）： 恰好一次回溯是最优的。
- Sudoku（困难）： 需要五次或更多次回溯才能实现稳定且有效的 RL 训练。
合成数据的效能： 一种“以回溯为中心”的训练方案（即 SFT 数据通过校准的回溯深度进行合成生成）能够持续推动模型超越其基础推理能力，并在特定任务上优于更大的预训练推理模型（如 QwQ-32B）。
对错误轨迹的鲁棒性： 论文发现，即使预热数据包含语义错误但符合格式要求的 CoT，RL 仍能从中受益，这表明句法支架（搜索与恢复的结构）足以为 RL 精炼提供准备。相反，RL 对打乱后的（语义不连贯的）数据高度敏感，会导致训练停滞。

结果

性能增益： 在数独任务上，使用五次回溯进行 RL 初始化，使 Qwen2.5-3B 的准确率从 14.4%（零回溯）提升至 28.9%，使 Qwen2.5-7B 从 11.8% 提升至 32.1%。这些结果超过了 QwQ-32B 基准模型（后者在数独上的准确率为 0.0%）。
任务特定优化：
- Countdown： 一次回溯预热产生了最高的奖励和最终准确率（Qwen2.5-3B 高达 69.7%），优于零回溯和高回溯配置。
- Arc 1D： 零回溯（最优）轨迹表现最好，回溯反而会降低性能。
泛化能力： 在一个任务（如高级几何）上的训练诱发了对相关任务（如斑马谜题）的泛化，但在高度组合性的问题上这种泛化较为有限。
Token 效率： 研究指出，尽管合成回溯数据集更长，但与纯 RL 或错误的冷启动场景观察到的停滞相比，它们能实现更高效的 RL 收敛。

意义与主张

论文认为，原则性的回溯对于提高 LLM 在复杂任务上的推理能力至关重要。它提出回溯作为一种通用的树搜索算子，使模型能够检测有缺陷的部分解并进行恢复，而不仅仅是进行线性生成。

作者声称，有效的 RL “配方”不仅在于更长的 CoT，而在于包含与任务难度相匹配的、具有适当回溯次数的合成 SFT 数据。这种方法允许模型内化纯 RL 或标准预热无法发现的搜索策略。这项工作表明，SFT 与 RL 之间的相互作用不仅在于数据量，更在于预热阶段提供的推理轨迹的结构。通过将回溯频率视为一个超参数，作者提供了一个可控的手段来优化搜索行为，填补了 LLM 线性生成与有效树搜索之间的鸿沟。