🤖 machine learning

Good SFT Optimizes for SFT, Better SFT Prepares for Reinforcement Learning

本文介绍了PEAR，这是一种在监督微调阶段采用的方法，它利用重要性采样，根据离线数据与未来强化学习策略之间的不匹配来重新加权训练损失，从而相较于标准监督微调，显著提升了下游强化学习在推理任务上的性能。

原作者： Dylan Zhang, Yufeng Xu, Haojin Wang, Qingzhi Chen, Hao Peng

发布于 2026-05-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Dylan Zhang, Yufeng Xu, Haojin Wang, Qingzhi Chen, Hao Peng

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗语言和类比对论文《好的监督微调优化的是监督微调，更好的监督微调为强化学习做准备》的解释。

核心理念：为错误的考试训练学生

想象你正在训练一位才华横溢的学生（人工智能）来解决复杂的逻辑谜题。训练过程分为两个截然不同的阶段：

第一阶段（SFT - 监督微调）： 学生坐在教室里，学习一本充满已解示例的教科书。他们记忆解题步骤，并试图完美地模仿老师的答案。
第二阶段（RL - 强化学习）： 学生被派往现实世界，独自解决新的谜题。他们获得即时反馈：“正确！”或“错误，再试一次。”他们通过实验并根据当下实际有效的方法调整策略来学习。

问题所在：
通常，研究人员试图让学生在第一阶段变得完美。他们调整教科书课程，使学生在练习测试中获得尽可能高的分数。他们假设：“如果学生在模仿教科书方面是天才，那么他们在稍后解决新问题时也将是天才。”

论文的发现：
作者发现，这个假设往往是错误的。
有时，在教科书上获得满分的学生（“强 SFT"模型），在现实世界中的表现反而不如那些在教科书上得分略低的学生。

为什么？因为教科书（第一阶段）和现实世界（第二阶段）是不同的。

教科书（行为策略）： 书中的示例是由特定老师编写的。有时，那位老师会走一条奇怪、绕远的路径到达答案，或者犯了一个小错误，而学生将其照搬。
现实世界（目标策略）： 在第二阶段，学生必须生成自己的路径。如果他们过于僵化地学会了跟随老师的奇怪路径，当需要独立思考时，他们就会陷入困境。

类比：
想象一位舞蹈教练在教学生。

标准训练： 教练展示一个动作。学生练习直到能完美模仿教练的确切舞步。
问题所在： 教练的舞步可能基于其独特的体型或某种特定风格，并不适合学生的身体。如果学生过于完美地死记硬背教练的舞步，当他们尝试跳不同的曲子或与不同的舞伴共舞时，可能会绊倒。
结果： 那个完美死记硬背舞步的学生（高 SFT 分数）在比赛中摔倒。而那个理解了节奏并调整了舞步的学生（SFT 分数较低，但准备更充分）赢得了比赛。

解决方案：PEAR（“面向未来”的教练）

作者提出了一种名为PEAR（离线学习损失重加权策略评估启发算法）的新方法。

PEAR 不像只是告诉学生“完美地复制这个答案”，它更像是一位具有前瞻性的智能教练。

PEAR 如何运作：

教练检查未来： 在学生练习教科书中的特定步骤之前，教练会问：“如果学生采取这一步，这对舞蹈的其余部分有意义吗？”
重新加权课程：
- 如果教科书中的某一步导致死胡同（即学生在现实世界中不太可能采取的路径），教练会说："不要太担心这部分。"（他们降低了该课程的重要性）。
- 如果教科书中的某一步导致学生稍后可能使用的成功结果，教练会说："集中精力攻克这个！"（他们增加了该部分的重要性）。

隐喻：
把教科书想象成一位迷路游客绘制的地图。

标准 SFT 强迫学生死记硬背游客的错误转弯。
PEAR 审视地图并说：“游客路径的这部分通向悬崖。让我们忽略这部分课程。但这部分通向宝藏？让我们把这部分学习两遍。”

结果

作者在数学问题和逻辑游戏上测试了这种方法，使用了不同的 AI 模型。

结果： 使用 PEAR 训练的模型在初始练习测试中不一定获得最高分。然而，当它们进入“现实世界”（强化学习）时，它们的进步速度快得多，最终得分也高得多。
收益： 在一些困难的数学竞赛中，与使用标准方法训练的模型相比，PEAR 训练模型的胜率提高了多达30 个百分点。

核心启示

“好的监督微调优化的是监督微调，更好的监督微调为强化学习做准备。”

不要只训练你的 AI 成为最擅长模仿过去的机器。要训练它准备好迎接未来。第一阶段的目标不是在作业上获得满分，而是建立一个基础，使下一阶段的学习（真正的挑战）变得更轻松、更有效。PEAR 就是帮助 AI 摒弃过去的“坏习惯”、从而学习未来“好习惯”的工具。

技术摘要：良好的 SFT 优化 SFT 本身，更优的 SFT 为强化学习做准备

1. 问题陈述

推理型大语言模型（LLM）的后训练通常遵循两阶段范式：首先进行离线监督微调（SFT）以生成初始检查点，随后进行在线强化学习（RL）以进一步提升性能。当前流程中普遍存在一种假设，即针对离线准确率最大化（例如最大化下一词元似然或最小化训练分布上的损失）来优化 SFT 阶段，将自然地为后续 RL 提供更强的初始化。

然而，作者证明这一假设存在缺陷。他们观察到，从“更强”的 SFT 检查点（即离线性能更优的检查点）初始化的模型，在经过相同的 RL 训练后，其表现可能显著低于从“较弱”检查点初始化的模型。这种现象归因于离线阶段与在线阶段之间的分布不匹配：

离线 SFT：模型从行为策略（ $\pi_\beta$ ）采样的数据中学习，该策略通常来自另一个模型或静态数据集。
在线 RL：模型从由其自身不断演化的目标策略（ $\pi_\theta$ ）生成的轨迹中学习。

标准 SFT 基于行为策略的分布应用均匀的词元级监督。在长程推理任务中，这会强化那些在行为策略下概率极高、但在目标策略下极不合理的过渡模式（例如死胡同式的延续）。因此，模型学会了将前缀与其在在线 RL 期间极少会再次访问的延续关联起来，导致初始化次优，从而阻碍下游学习。

2. 方法论：PEAR

为解决这种不匹配，作者提出了PEAR（受策略评估启发的离线学习损失重加权算法）。PEAR 是一种 SFT 阶段的方法，通过重加权训练损失，使离线目标更好地与目标策略的分布对齐，从而有效地为模型的在线 RL 阶段做好准备。

核心机制

PEAR 利用重要性采样来校正行为策略（ $\pi_\beta$ ）与目标策略（ $\pi_\theta$ ）之间的分布偏移。PEAR 不再平等对待离线数据集中的所有词元，而是根据目标策略与行为策略之间的似然比，对每个词元的损失进行重加权。

目标函数修改如下：
$L_{PEAR}(\theta) \triangleq \mathbb{E}_{(x,y) \sim D} \left[ \sum_{t=1}^{T} \text{sg}[\hat{G}_t] \cdot \ell_\theta(x, y_{<t}, y_t) \right]$
其中：

$\ell_\theta$ 是标准的每词元损失（例如负对数似然 NLL 或 KL 散度）。
$\text{sg}[\cdot]$ 表示停止梯度算子，将权重视为固定系数。
$\hat{G}_t$ 是词元 $t$ 的数值稳定化重要性权重。

加权变体

PEAR 提供了三种粒度来计算权重 $\hat{G}_t$ ：

序列级加权：对轨迹中的所有词元应用单一的全局重要性比率（ $w_{1:T} = \prod_{t=1}^T \frac{\pi_\theta(y_t|x, y_{<t})}{\pi_\beta(y_t|x, y_{<t})}$ ）。这假设整个序列在目标策略下的合理性是均匀的。
词元级加权（基于后缀）：基于后缀重要性比率计算权重。对于词元 $y_t$ ，其权重由剩余延续（ $y_{>t}$ ）在目标策略相对于行为策略下的似然决定：
$G_t = \gamma^{T-t} \prod_{j=t+1}^{T} \frac{\pi_\theta(y_j|x, y_{<j})}{\pi_\beta(y_j|x, y_{<j})}$
这会降低那些导致目标策略不太可能生成的延续的词元的权重，将学习重点集中在与目标策略未来行为兼容的前缀上。
块级加权：为了缓解长程乘积重要性权重固有的高方差，将序列划分为块。权重在每个块内计算并统一应用，以稳定性换取部分粒度。

附加特性

负样本：PEAR 可以通过应用排斥项来纳入已验证的失败轨迹，在保持策略一致性的同时，将模型从负面延续中推开。
黑盒适配：当确切的行為策略 $\pi_\beta$ 不可用（例如闭源数据）时，PEAR 可以利用代理模型或代理模型集成来近似行为策略的对数概率。
数值稳定性：该方法采用对数空间计算和对数比值的截断，以防止在计算长乘积序列时出现数值不稳定。

3. 主要贡献

离线 - 在线解耦的经验证明：论文通过受控实验表明，离线性能是 RL 后性能不可靠的代理指标。由于分布不匹配，更强的 SFT 目标可能导致更弱的最终 RL 结果。
PEAR 算法：引入了一种实用的、即插即用的重加权方案，利用离线策略评估（OPE）原则，使离线 SFT 与在线 RL 目标对齐。
全面评估：在多个模型系列（Qwen2.5、Qwen3、DeepSeek-distilled）和不同规模（0.6B 至 8B）上，针对可验证推理任务（逻辑游戏、数学基准）进行了广泛测试。
参数漂移分析：作者表明，PEAR 初始化的模型在后续 RL 训练期间经历的参数漂移较少，这表明 PEAR 减少了 RL 阶段纠正离线到在线不对齐的需求。

4. 实验结果

作者在合成逻辑谜题（SynLogic, Enigmata）和数学推理基准（AIME-2024/2025, AMC-2023, MATH-500）上进行了实验。

性能提升：PEAR 在 RL 后始终优于标准 SFT 及其他基线（包括 KL 正则化 SFT、TALR 和各种基于概率的目标）。
- 在 AIME-2025 上，PEAR 初始化的模型相比标准 SFT 实现了高达 30 个百分点 的 Pass@8 增益（例如，DeepSeek-Distill-Qwen-1.5B 从 5% 提升至 35%）。
- 在 SynLogic 逻辑游戏 上，PEAR 显示出高达 +25 个百分点 的 Pass@1 改进（例如，Qwen3-1.7B-Base 从 13.1% 提升至 38.3%）。
泛化性：PEAR 的益处能够跨越不同的 RL 任务分布（例如在 SynLogic 上训练，在 Enigmata 上进行 RL）和不同的 RL 算法（GRPO 和 DAPO）进行迁移。
黑盒鲁棒性：即使使用代理模型来近似行为策略，PEAR 的表现也显著优于标准 SFT，其中强代理模型的表现可与白盒模型相媲美。
稳定性：与标准 SFT 初始化的模型相比，PEAR 初始化的模型在在线 RL 阶段表现出更小的参数漂移（通过归一化谱偏移测量），表明其学习轨迹更高效。

5. 意义与主张

论文认为，离线 SFT 阶段的目标不应仅仅是最大化离线准确率，而应为后续在线 RL 做好准备。

整体后训练：作者主张，在设计 SFT 目标时必须考虑下游 RL。孤立地优化离线指标可能是适得其反的，因为它可能会强化与目标策略的探索和优化动态不兼容的行为。
纠正不匹配：PEAR 是“离线训练必须纠正行为 - 目标占用不匹配”这一原则的具体体现。通过降低不合理延续的权重并提高与目标策略兼容的延续的权重，PEAR 创造了更有效的初始化。
实际影响：结果表明，基于离线策略评估的简单重加权策略可以在无需复杂架构变更或额外数据收集的情况下，显著提升推理能力，前提是行为策略的概率是可访问的（或可近似的）。

作者得出结论：“一个良好的离线阶段不应优化离线准确率，而应为随后的 RL 做好准备”，将 PEAR 定位为迈向更整体化 LLM 后训练流程的一步。