📊 statistics

Slow-Fast Policy Optimization: Reposition-Before-Update for LLM Reasoning

本文提出了慢快策略优化（SFPO）框架，通过“重定位后更新”机制将训练步骤分解为快速内步、漂移控制重定位和慢速修正三个阶段，在保持与现有策略梯度流程兼容的同时，显著提升了大语言模型推理强化学习的训练稳定性、样本效率及收敛速度。

原作者： Ziyan Wang, Zheng Wang, Jie Fu, Xingwei Qu, Qi Cheng, Shengpu Tang, Minjia Zhang, Xiaoming Huo

发布于 2026-03-17

📖 1 分钟阅读☕ 轻松阅读

原作者： Ziyan Wang, Zheng Wang, Jie Fu, Xingwei Qu, Qi Cheng, Shengpu Tang, Minjia Zhang, Xiaoming Huo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 SFPO（慢快策略优化） 的新方法，旨在解决大型语言模型（LLM）在“学习推理”（比如做数学题）时遇到的一个核心痛点：学得太快容易走火入魔，学得太慢又效率低下。

为了让你轻松理解，我们可以把训练一个会做数学题的 AI 模型，想象成教一个学生参加奥数竞赛。

1. 现在的困境：传统的“一步一换”法（GRPO）

目前主流的方法（叫 GRPO）就像这样教学生：

出题： 老师给学生出一道题。
试错： 学生尝试写出解题步骤（生成回答）。
打分： 老师看一眼，如果做对了给高分，做错了给低分。
改错： 老师根据这个分数，立刻给学生讲一遍，学生马上改一次笔记。
下一题： 马上出下一道题，重复上述过程。

问题出在哪？
在训练初期，学生的水平很低，写的解题步骤往往是一团乱麻（低质量）。这时候老师给的分数（奖励）也很随机、很嘈杂。

如果学生因为一次运气好做对了，就立刻大改笔记，可能会把原本正确的思路改歪。
如果因为一次运气差做错了，就立刻否定自己，可能会变得不敢思考。
这就好比学生刚学走路，每走一步都要立刻调整姿势，结果就是摇摇晃晃，甚至摔跟头，学习效率极低，需要大量的题目（数据）才能学会。

2. SFPO 的解决方案：三步走的“慢 - 快 - 慢”策略

SFPO 提出了一种更聪明的教学法，把每一次“出题 - 改错”的过程拆成了三个阶段，就像**“先快速试跑，再调整站位，最后稳步冲刺”**。

第一阶段：快跑（Fast Trajectory）—— “在同一个题目上多试几次”

做法： 老师还是出同一道题，但这次不急着改笔记。让学生基于这道题，连续快速思考 3 到 7 次（论文中的 K 次），每次都在前一次的基础上微调思路。
比喻： 就像学生拿到一道难题，先快速在草稿纸上画了 3 种不同的解法草图。虽然每张草图可能都有点瑕疵，但把它们连起来看，就能发现真正的解题方向，而不是被某一次偶然的错误带偏。
作用： 把“噪音”过滤掉，找到更稳定的方向。

第二阶段：复位（Reposition）—— “别跑太远，回到原点附近”

做法： 经过刚才的“快跑”，学生的思路可能已经跑得太远，偏离了老师最初出题时的语境（这就叫“策略漂移”）。这时候，SFPO 会让学生往回走一点，回到一个比较稳妥的位置。
比喻： 学生刚才在草稿纸上画得太嗨，思路有点飘了。老师拍拍他肩膀说：“刚才那几笔很有用，但别跑太偏，咱们回到刚才那个稳妥的起点附近，把刚才的精华留下来。”
作用： 防止学生因为过度自信或过度修正而彻底“跑偏”，保证学习是稳健的。

第三阶段：慢修（Slow Correction）—— “最后一步，稳扎稳打”

做法： 在调整回稳妥位置后，老师再给学生最后一次正式的指导，把笔记彻底改好，准备迎接下一道题。
比喻： 学生现在思路清晰了，位置也站对了，老师最后再帮他梳理一遍核心逻辑，确保这次修改是精准且有效的。
作用： 确保最终的学习成果是扎实、准确的。

3. 为什么要加个“智能开关”？（熵控制）

论文还设计了一个聪明的“开关”。

刚开始学的时候： 学生需要大胆尝试，所以“快跑”和“复位”的幅度可以大一点，多利用那些草稿纸上的灵感。
快学会的时候： 学生已经比较稳定了，这时候如果还让他乱跑，反而会破坏已有的知识。
机制： 系统会监测学生的“思考混乱度”（熵）。如果学生已经学得很稳了（混乱度低），系统就自动关闭“快跑”模式，退回到传统的“一步一换”模式，防止画蛇添足。

4. 效果如何？

通过这种“先快后慢、中间复位”的策略，SFPO 带来了惊人的效果：

更稳： 学生不再因为一次运气差就崩溃，训练过程非常平稳。
更快： 以前需要刷 100 道题才能学会，现在可能刷 20 道就够了（减少了 4 倍多的题目量）。
更省时间： 虽然每次做题时多思考了几遍（增加了计算量），但因为不需要刷那么多题，总训练时间反而缩短了 4 倍多。
成绩更好： 在数学推理 benchmarks 上，平均分比传统方法提高了 2.8 分，这在 AI 领域是非常巨大的提升。

总结

简单来说，SFPO 就是给 AI 学习推理过程加了一个“缓冲器”和“导航仪”。

它不再让 AI 像无头苍蝇一样，每走一步都立刻根据随机反馈调整方向；而是让 AI 先在一个小范围内多试几次（快），把稳方向（复位），最后再精准修正（慢）。

这种方法不需要改变 AI 原本的学习目标，就像给现有的赛车引擎加了一个更聪明的变速箱，让它在复杂的数学推理赛道上，跑得既稳又快。

1. 研究背景与问题 (Problem)

背景：
强化学习（RL），特别是基于策略梯度的方法，已成为提升大语言模型（LLM）推理能力（如数学解题、科学问答）的核心驱动力。其中，组相对策略优化（Group Relative Policy Optimization, GRPO） 因其无需价值函数（value-free）且能有效利用组内奖励归一化而广受欢迎。

核心痛点：
尽管 GRPO 取得了成功，但在训练早期存在显著的不稳定性和样本效率低下问题：

噪声梯度与更新不稳定： 在训练初期，生成的轨迹（rollouts）质量较低且信息量少。随机奖励导致梯度估计方差极高，使得单次随机梯度更新（one-shot update）方向不稳定，容易破坏训练进程。
数据利用不充分： 标准 GRPO 对每个批次（batch）仅执行一次优化步骤。这种“一次性更新”丢弃了批次内部可能包含的有用梯度信息，导致数据利用率低，收敛速度慢。
离线策略漂移（Off-policy Drift）困境： 虽然已有尝试复用 rollout 数据进行多次更新（off-policy），但直接应用往往会导致策略分布与采样分布严重不匹配，随着训练进行性能反而下降。如何在保持样本效率的同时构建强推理能力仍是一个未解难题。

2. 方法论：慢 - 快策略优化 (SFPO)

作者提出了 慢 - 快策略优化（Slow-Fast Policy Optimization, SFPO），一种即插即用的框架。其核心思想是将每个训练步骤重构为三个协调阶段，在不改变基础目标函数、Rollout 生成过程或 KL 正则化的前提下，通过结构化更新轨迹来稳定优化过程。

核心三阶段流程：

阶段 I：快速轨迹 (Fast Trajectory)
- 操作： 在同一批 Rollout 数据上，连续执行 $K$ 次内部梯度更新（Inner steps）。
- 目的： 利用同一批数据累积多次修正，平滑掉单次梯度的随机噪声。几何上，这相当于在参数空间中沿局部梯度场积分，而非依赖单个噪声向量，从而获得更稳定的搜索方向。
- 数学直觉： 类似于低通滤波器，能够抑制高频噪声，同时根据曲率自适应地调整步长增益。
阶段 II：重定位 (Reposition)
- 操作： 将阶段 I 结束时的参数 $\theta_{s,K}$ 与初始参数 $\theta_{s,0}$ 进行插值： $\tilde{\theta}_{s,K} = \theta_{s,0} + \alpha(\theta_{s,K} - \theta_{s,0})$ ，其中 $\alpha \in [0, 1]$ 。
- 目的： 控制离线策略漂移（Off-policy Drift）。由于阶段 I 多次更新使用了旧策略生成的数据，参数已偏离采样分布。插值操作将参数拉回靠近原始策略（On-policy）的区域，作为隐式的信任域（Trust Region）约束，防止因过度拟合小批量数据而导致的分布不匹配。
阶段 III：慢速校正 (Slow Correction)
- 操作： 在插值后的点 $\tilde{\theta}_{s,K}$ 上执行最后一次（慢速）梯度更新，得到下一轮迭代的策略 $\pi_{\theta_{s+1}}$ 。
- 目的： 提供曲率感知的调整，确保更新方向与局部最优轨迹对齐。这构成了“预测 - 校正”（Predictor-Corrector）结构。

自适应调度机制 ( $\alpha$ 的调度)

问题： 在训练早期，较大的 $\alpha$ 有助于利用快速轨迹加速；但在接近收敛时，过大的 $\alpha$ 会放大噪声和漂移。
解决方案： 基于策略熵（Entropy） 的自适应调度。
- 监控策略熵的波动。如果熵的波动（Z-score）超过阈值，表明策略可能接近局部最优或陷入噪声主导状态。
- 此时将 $\alpha$ 设为 0（退化为标准 GRPO），停止使用快速轨迹，以确保收敛稳定性。

3. 主要贡献 (Key Contributions)

提出 SFPO 框架： 设计了一种“快 - 重定位 - 慢”的分解更新规则，理论分析了每个阶段的作用，有效解决了单步更新的不稳定性。
即插即用（Plug-compatible）： SFPO 不改变底层的 RL 目标函数、Rollout 生成机制或正则化项，可直接嵌入现有的 LLM 推理训练流水线（如 GRPO 实现）。
显著提升性能与效率： 通过大量实验证明，SFPO 在数学推理基准上显著优于 GRPO，同时大幅减少了所需的 Rollout 数量和训练时间。

4. 实验结果 (Results)

实验在 5 个不同规模的模型（从 1.5B 到 7B，包括 Qwen 和 DeepSeek 系列）和 6 个数学推理基准（Math500, AIME24/25, AMC 等）上进行。

准确率提升：
- 在数学推理基准上，SFPO 平均比 GRPO 高出 2.80 分。
- 具体案例：在 DS-distilled-Qwen-1.5B 模型上，AIME25 的准确率提升了 7.5 分（从 23.33 提升至 30.83）。
- 在更大模型（DS-distilled-Qwen-7B）上，平均准确率从 60.47 提升至 63.04。
样本效率与训练速度：
- Rollout 减少： 达到相同最佳准确率时，SFPO 所需的 Rollout 数量比 GRPO 少 4.93 倍。
- 时间加速： 达到相同准确率所需的墙钟时间（Wall-clock time）减少了 4.19 倍。
- 原因： 训练瓶颈在于 Rollout 生成（占 70% 以上时间）。SFPO 通过复用同一批 Rollout 进行多次更新，大幅减少了生成新样本的需求。
训练动态分析：
- 响应长度控制： SFPO 能更有效地控制响应长度，避免 GRPO 常见的“过度思考”（Overthinking）导致的响应过长或过短崩溃，稳定在约 2700 tokens 的合理范围。
- 熵与稳定性： SFPO 在保持探索能力的同时降低了无效搜索路径的熵，表明其探索更高效而非盲目。
消融实验：
- 验证了插值机制（阶段 II）对于防止大 $K$ 值下的分布漂移至关重要。
- 证明了基于熵的自适应 $\alpha$ 调度是维持长期稳定性的关键。

5. 意义与总结 (Significance)

解决早期训练不稳定性： SFPO 通过“重定位前更新”（Reposition-before-update）的设计，巧妙平衡了利用多步梯度信息（加速）和保持策略分布一致性（稳定）之间的矛盾。
降低训练成本： 在 LLM 推理训练中，生成 Rollout 是计算成本最高的部分。SFPO 通过减少 4-5 倍的 Rollout 需求，显著降低了训练成本，使得在有限资源下训练更强推理模型成为可能。
通用性与扩展性： 作为一种即插即用的优化层，SFPO 不仅适用于 GRPO，理论上也可与 DAPO 等其他变体结合。其模块化结构为未来结合课程学习（Curriculum Learning）或元学习（Meta-learning）提供了自然接口。

总结： SFPO 通过重新设计策略更新的微观结构，在不增加额外数据标注或改变基础目标的前提下，实现了 LLM 推理训练的更稳、更快、更省，是当前提升大模型推理能力的重要技术进展。