技术摘要：融合监督微调与强化微调及前缀采样

1. 问题陈述

大语言模型（LLM）的后训练目前主要由两种截然不同的范式主导：监督微调（SFT）和强化微调（RFT）。每种方法都存在特定的局限性：

• SFT 擅长模仿演示数据，但本质上属于行为克隆，往往导致泛化问题和鲁棒性不足。它提供稠密监督，但可能与下游任务表现对齐不佳。
• RFT（例如 PPO、GRPO）通过探索和面向目标的优化提升性能，但存在奖励信号稀疏、对初始策略敏感以及学习意外行为（例如语言混合）的风险。近期文献质疑 RFT 是否真能提升模型的内在能力上限，还是仅仅优化了现有的预训练知识。

本研究的核心问题是：如何形式化地将 SFT 的过程监督与 RFT 的面向目标优化相结合，以利用其互补优势：利用 SFT 扩展知识边界，利用 RFT 引导至鲁棒的解决问题能力。

2. 方法论：Prefix-RFT

作者提出了 Prefix-RFT，这是一种混合后训练方法，在单一优化框架内统一了 SFT 和 RFT。

统一视角

该论文确立了 SFT 和 RFT 共享一致的优化结构。两者均更新序列的对数概率，主要区别在于序列来源（专家数据与在线策略）以及加权机制（固定权重与优势加权）。

核心机制

Prefix-RFT 通过前缀采样将离线演示数据集纳入 RFT 训练循环：

1. 混合轨迹构建：对于给定的提示 $x$ 和演示 $y^*$，策略 $\pi_{\theta}$ 生成 $N-1$ 个标准的在线策略 rollout。对于第 $N$ 个序列，从前缀 $y^*_{<L}$ 从演示中采样。随后策略生成续写 $y_{\ge L}$，从而形成混合轨迹 $y^{(N)} = (y^*_{<L}, y_{\ge L})$。
2. 统一梯度更新：混合轨迹与标准 rollout 一同处理。梯度更新结合了来自探索（在线策略 token）和模仿（前缀 token）的学习。
   • 前缀 Token（$t < L$）：被视为“模仿”，但其权重由从整个混合轨迹估计的优势 $\hat{A}_t$ 决定。如果混合轨迹产生高奖励，则强化前缀；否则，其影响会被减弱。
   • 续写 Token（$t \ge L$）：被视为标准的“探索”token。
3. 基于熵的截断：为防止离线演示 token 因分布偏移导致对数似然梯度过大而主导梯度，该方法仅更新前缀中熵最高的 top-$k\%$（例如 20%）token。低熵 token 要么已被模型匹配，要么代表自信的错配，可能导致剧烈且不稳定的覆盖。
4. 余弦衰减调度器：为了减轻位置偏差（模型很少见到序列末尾）并实施课程学习，前缀长度 $L$ 由调度器控制。前缀长度在训练初期较长（高引导），随后衰减至较短（更多自主性），模拟从 SFT 到 RFT 的过渡。

3. 主要贡献

• 统一框架：论文提供了 SFT 和 RFT 的理论统一，证明它们可以通过混合目标进行融合，而非被视为连续阶段。
• Prefix-RFT 算法：提出了一种简单而有效的方法，将离线演示注入 RFT，同时不 rigidly 约束模型，使其在专家前缀的引导下探索更优的续写。
• 动态加权与截断：提出利用轨迹级优势动态加权前缀更新，并采用基于熵的截断以稳定训练，抵御离线策略分布偏移。
• 实证验证：证明 Prefix-RFT 优于独立的 SFT、RFT 以及顺序 SFT 后接 RFT 的基线，同时也优于近期的并行混合方法（例如 UFT、LUFFY、ReLIFT）。

4. 实验结果

实验主要在数学推理任务（AIME、AMC、MATH-500 等）上进行，使用了 Qwen2.5-Math（1.5B、7B）和 LLaMA-3.1-8B 等模型。

• 性能：Prefix-RFT 在六个数学推理基准和三个通用领域推理任务中 consistently 优于所有基线。例如，在 Qwen2.5-Math-7B 上，其在 AIME 2024 上的 Pass@1 得分为 31.8，在 AIME 2025 上为 26.4，超越了最佳基线（LUFFY）以及 SFT+RFT 顺序方法。
• 推理边界（Pass@k）：关键在于，Prefix-RFT 是唯一显著提升模型性能上限的方法。在 AIME 2025 上，其 Pass@2048 达到 76.7%，而基线模型和 RFT 仅为 70.0%，这表明它扩展了模型的推理能力，而不仅仅是增加了已知解决方案的可能性。
• 鲁棒性：该方法在不同模型规模下表现出强鲁棒性，即使在演示数量减少（低至 1% 数据）以及演示生成器质量各异（从 1.5B 到 32B 模型）的情况下依然有效。
• 泛化性：代码生成（MBPP+、HumanEval+）的初步结果证实了该方法在数学推理之外的适用性。

5. 分析与意义

论文的分析强调了 SFT 和 RFT 的互补性：

• 弥合差距：Prefix-RFT 有效地综合了不同的训练范式。它允许模型从演示中学习（类 SFT），同时保持 RFT 的面向目标目标。
• 动态过渡：该方法诱导了一种动态过渡，即模型在训练初期高度依赖前缀（高优势、长前缀），随着能力提升逐渐转向自主探索（优势减弱、前缀变短）。
• 针对性学习：模型在具有挑战性的问题（即其表现挣扎的问题）上从演示中学习得更深入，而在较简单的问题上更多依赖自我探索，验证了该方法的适应性。

意义：
作者声称，Prefix-RFT 提供了 SFT 的稳定性与 RFT 的探索能力之间的“最佳平衡点”。通过形式化地整合这些范式，该方法解决了行为克隆（SFT）的局限性和纯强化学习（RFT）的不稳定性。这项工作表明，将 SFT 和 RFT 视为截然不同且连续的阶段是次优的，而一种整合的方法可以有效地协调它们，从而推动 LLM 推理能力的边界。

局限性：
作者指出，其实验主要集中在具有可靠结果奖励的可验证推理设置中。虽然代码生成结果暗示了可迁移性，但更广泛的开放式生成和噪声奖励设置仍是未来工作。此外，该方法依赖外部演示，而多候选演示的系统性选择留待未来研究。