🤖 AI

Selective Off-Policy Reference Tuning with Plan Guidance

本文介绍了选择性离线参考微调（SORT），该方法利用规划指导从参考解中推导修复更新，从而将失败的 rollout 转化为结构感知学习信号，与标准 GRPO 方法相比，显著提升了推理性能，尤其在较弱模型上效果更为突出。

原作者： Duc Anh Le, Tien-Phat Nguyen, Thien Huu Nguyen, Linh Ngo Van, Trung Le

发布于 2026-05-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Duc Anh Le, Tien-Phat Nguyen, Thien Huu Nguyen, Linh Ngo Van, Trung Le

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗易懂的语言和富有创意的类比，对论文《带有规划引导的选择性离线参考微调（SORT）》的解释。

核心难题：“沉默”的失败

想象你正在教一名学生（AI）解决高难度的数学题。你给出题目，学生尝试解答。

理想情况：有时学生做对了。你称赞“干得好！”，他们便从这次成功中学习。
糟糕情况：有时题目太难，学生尝试了 8 种不同的解法，结果8 次尝试全错。

在标准的 AI 训练方法（称为 GRPO）中，当学生在难题上彻底失败时，老师会感到困惑。系统会说：“既然他们完全没做对，我们就无法判断他们的思考过程中哪部分好、哪部分坏。所以，我们干脆忽略这道题，继续下一道吧。”

这篇论文认为这是一种巨大的浪费。即使答案错了，学生通常也拥有“已验证的参考解”（即正确答案）。问题在于，简单地照搬答案并不好，因为这会强迫学生死记硬背整个解题过程，包括诸如“写下数字 5"或“添加逗号”等枯燥的步骤，而不是去掌握那些真正导致失败的核心逻辑步骤。

解决方案：SORT（“规划”侦探）

作者提出了一种名为SORT（带有规划引导的选择性离线参考微调）的新方法。你可以把它想象成一个智能辅导系统，它能在不改变学生最初尝试解题方式的前提下，修复“沉默失败”的问题。

以下是 SORT 的工作原理，分步说明：

1. “缓冲区”（保存失败案例）

当 AI 尝试难题且每次都失败时，SORT 不会丢弃这些题目，而是将它们放入一个特殊的“等候室”（缓冲区）。它会等待积累一定数量的这类失败案例，然后单独处理它们。

2. “规划”（蓝图）

对于每个失败的题目，SORT 会查看正确答案。但它不只是阅读答案，而是要求 AI 从答案中提取一个**“规划”或“蓝图”**。

类比：想象答案像是一份冗长且杂乱的蛋糕食谱。“规划”则只是关键步骤清单：“预热烤箱”、“混合面粉”、“拌入鸡蛋”。它忽略了诸如“擦拭台面”或“缓慢搅拌”等枯燥的细节。

3. “双重检查”（魔法测试）

这是核心创新点。SORT 让 AI 对正确答案进行两次审视：

测试 A：“这是题目。现在，看答案中的这一步。你猜中这一步的可能性有多大？”（AI 没有任何辅助）。
测试 B：“这是题目，并且这是‘规划’（蓝图）。现在，再看答案中的同一步。你猜中它的可能性有多大？”

4. “顿悟时刻”（选择性）

SORT 比较这两个结果：

如果 AI 原本就擅长猜出这一步：“规划”带来的改变不大。这些通常是枯燥的常规步骤（如写数字）。SORT 会说：“我们不需要教 AI 这个；它已经知道了。”
如果 AI 原本猜不出这一步，但“规划”让它变得容易：这就是“顿悟时刻”。AI 意识到：“哦！如果我知道规划是‘检查奇偶性’，我本可以猜出这一步的！”
- 这些就是关键的推理步骤（逻辑缺口）。
- SORT 会给这些特定步骤一个巨大的学习 boost。它告诉 AI：“把全部精力集中在这里！这是你失败的地方，也是解决问题的关键。”

为什么这比其他方法更好

标准复制（SFT）：就像强迫学生逐字逐句抄写整页教科书。他们学会了字迹和格式，但可能没学会逻辑。
其他“提示”方法：有些方法会在 AI 解题过程中提供提示。这改变了 AI 在测试时的思考方式。
SORT：SORT 完全保留 AI 的“思考过程”（生成过程）不变。它只修复“课后辅导”（参数更新）。它利用“规划”仅来确定正确答案中哪些具体词汇是最值得学习的。

结果

该论文在三种不同规模（从小型到大型）的 AI 模型以及八个不同的数学和推理基准测试中进行了测试。

获胜者：SORT 始终优于标准方法。
重大胜利：它对最弱的模型帮助最大。这很合理，因为弱模型失败得更频繁，意味着有更多“沉默失败”需要修复。
效率：它没有导致 AI 写出冗长、啰嗦的答案（这是其他方法的常见副作用）。它只是让答案变得更聪明。

总结类比

想象一位教练看着一名篮球运动员连续投丢 8 次球。

旧方法：教练说：“你全投丢了。我们忽略这次训练吧。”
错误方法：教练说：“看这段职业球员完美投篮的视频。模仿每一个动作，包括他们如何系鞋带。”
SORT 方法：教练说：“让我们看职业球员的视频。我会高亮显示他们弯曲膝盖的确切时刻以及他们出手的确切角度。这两点正是你错过的。忽略视频的其他部分；我们只练习这两个特定动作。”

通过只关注球员错过的“结构性”动作，SORT 帮助 AI 学得更快、更聪明，尤其是在面对极难任务时。

技术摘要：带有规划引导的选择性离线参考微调（SORT）

1. 问题陈述

基于可验证奖励的强化学习（RLVR），特别是组相对策略优化（GRPO），通过强化产生积极结果的采样解，提升了语言模型的推理能力。然而，GRPO 在“困难提示”上面临一种关键失效模式，即每次采样的 rollout 都是错误的。在这些场景中，组相对优势坍缩为零，因为奖励没有方差（全为零），导致该提示对策略梯度更新不可见。

这些零奖励提示往往是最具信息量的训练信号，因为它们伴随着包含缺失推理结构的已验证参考解。然而，利用这些参考的标准方法——如均匀监督微调（SFT）或全轨迹模仿——之所以失败，是因为它们将核心推理决策与常规代数、格式化和表面措辞混合在一起。这种均匀模仿可能导致策略坍缩或冗长，却无法提高推理准确率。现有的引导方法通常改变 rollout 分布或依赖外部教师，从而引入了复杂性或分布偏移。

2. 方法论：SORT

作者提出了带有规划引导的选择性离线参考微调（SORT），这是一种专为零奖励 GRPO 组设计的辅助修复机制。SORT 在不修改主要 GRPO rollout 生成过程的情况下运行。

核心机制

缓冲与延迟：当提示仅产生错误的 rollout（零奖励组）时，它不会被丢弃。相反，该提示及其已验证的参考解会被缓冲。
规划提取：对于每个缓冲的示例，当前模型从参考解中提取“推理规划”。该规划是核心推理决策的有序大纲（例如引理、案例划分、约束传播），但不作为生成的目标序列使用。
双重评估（诊断上下文）：模型在相同策略下对参考 token 进行两次评估：
- 基础条件：仅根据问题提示计算 token 概率。
- 规划条件（教师）条件：根据问题提示加上提取的推理规划计算 token 概率。
Token 显著性评分：该方法计算规划条件概率与基础概率之间的对数比率。在规划条件下概率显著增加的 token 被识别为“结构信息丰富”的（即它们代表了模型遗漏但若能明确结构即可学习的推理步骤）。常规 token（代数、格式化）显示变化很小。
几何加权：SORT 使用几何平均权重构建辅助损失：
$\omega_{i,t} = \text{sg}\left(\sqrt{p^{\text{base}}_{i,t} \cdot p^{\text{plan}}_{i,t}}\right)$
该权重结合了基础模型支持的稳定性（来自动态微调 DFT）与规划条件教师的选择性。随着规划变得更具可预测性，这些 token 的权重被上调；那些没有变化的 token 则被下调或保持不变。

理论保证

作者利用真实规划模型对 SORT 进行了形式化。他们证明，随着提取的规划逼近真实推理规划，SORT 权重收敛于一个“神谕”权重，该权重精确地强调结构关键的 token。遗憾界被证明与规划提取误差（ $\gamma$ ）和基础概率成正比，确保如果规划提取效果不佳，该方法能优雅地退化为类似 DFT 的行为。

3. 主要贡献

零优势失效的识别：本文识别出零奖励提示是 GRPO 中的特定瓶颈，即组优势为零的情况，并引入 SORT 在不改变 rollout 生成的情况下修复这些问题。
同模型规划条件：与注入来自更强模型的离线轨迹或使用外部教师的方法不同，SORT 使用同一模型提取规划并对参考 token 进行评分，避免了外部依赖。
几何平均 Token 加权：一种新颖的加权方案，将 DFT 风格的支持意识与规划条件选择性相结合，数学上被证明可近似神谕结构 token 加权。
实证验证：全面的实验证明了 SORT 在多种模型规模和基准测试中，相比 GRPO 和基于引导的基线具有一致的改进。

4. 实验结果

该方法在三个指令微调骨干模型（Llama-3.2-3B、Qwen2.5-7B 和 Qwen3-4B）上进行了评估，涵盖八个基准测试，包括分布内数学任务（AIME、AMC、MATH-500）和分布外推理（GPQA、MMLU-Pro）。

性能提升：SORT 始终优于普通 GRPO 和其他基线（LUFFY、ReLIFT、Scaf-GRPO）。
- 在最弱的模型（Llama-3.2-3B）上，SORT 将分布内平均准确率从 17.8% 提升至 23.9%，分布外从 22.5% 提升至 33.8%。
- 在更强的模型上，SORT 提供了边际但一致的增益，证实了即使在零奖励组较少见时其依然有效。
与基线的比较：
- 对比 SFT/ReLIFT：与通常增加响应长度和冗长性却未提高准确率（特别是在较弱模型上）的 SFT 或 ReLIFT 不同，SORT 在提升推理能力的同时保持了紧凑的生成。
- 对比 LUFFY：LUFFY 混合了更强的离线轨迹，显示出较少的选择性，有时在分布外任务上会损害性能。
训练动态：SORT 提高了奖励分数，且未出现其他方法中观察到的长度扩展。它通过针对特定推理 token 而非模仿完整轨迹，有效地修复了困难提示。

5. 意义与主张

本文主张 SORT 解决了 RLVR 的一个根本局限性：无法从探索失败的最困难提示中学习。通过将已验证的参考视为推理规划的证据而非要复制的轨迹，SORT 将“全错”的失败转化为结构化、Token 选择性的学习信号。

作者强调，SORT 是一种保守的辅助更新，保留了原始的 GRPO rollout 过程。它不需要外部教师、合成轨迹或推理分布的改变。该方法对于零奖励组最频繁的较弱模型尤为重要，提供了一条在不为每个提示生成正确 rollout 的计算成本下提升推理能力的路径。该方法被框架化为一种“选择性形式的自蒸馏”，避免了过度强调简单、常规 token 的陷阱，同时专注于推理中不确定且结构关键的步骤。