論文技術要約：SLOW-FAST POLICY OPTIMIZATION (SFPO)

タイトル: SLOW-FAST POLICY OPTIMIZATION: REPOSITION-BEFORE-UPDATE FOR LLM REASONING
掲載: ICLR 2026 (Conference Paper)
著者: Ziyan Wang, Zheng Wang, Xingwei Qu, Qi Cheng, Jie Fu, Shengpu Tang, Minjia Zhang, Xiaoming Huo

1. 背景と課題 (Problem)

大規模言語モデル（LLM）の推論能力向上において、強化学習（RL）は重要な役割を果たしています。特に、Group Relative Policy Optimization (GRPO) は、DeepSeek-R1 などのモデルで推論能力を飛躍的に向上させた主要なアルゴリズムです。しかし、GRPO には以下の構造的な欠点があり、学習の初期段階で不安定になる傾向があります。

• 高バリアンスな勾配: 学習初期はロールアウト（生成された回答）の品質が低く、ノイズの多い報酬信号から推定される勾配の分散が大きくなります。これにより、パラメータ更新が不安定になり、学習が収束しにくくなります。
• 非効率的なデータ利用: GRPO は通常、1 つのロールアウトバッチに対して 1 回の確率的勾配降下（SGD）ステップしか行いません。これは、バッチ内の情報を十分に活用できておらず、ノイズの多い「ワンショット」な更新方向に依存してしまうため、サンプル効率が悪化します。
• オフポリシードリフトの問題: 既存のオフポリシー更新手法を単純に適用すると、学習が進むにつれて性能が低下する可能性があります。

これらの課題を解決し、より安定して効率的な推論 RL 学習を実現する新たな手法が求められていました。

2. 提案手法 (Methodology)

著者らは、Slow-Fast Policy Optimization (SFPO) を提案しました。これは、既存のオンポリシー勾配法（GRPO など）を改造することなく、プラグインとして挿入可能な更新ルールです。SFPO は、1 つの学習ステップを以下の 3 つの段階に分解して実行します。

3 つのステージ

1. ステージ I: Fast Trajectory (高速軌道)

   • 同一のロールアウトバッチに対して、$K$ 回の連続した内部勾配更新（Inner Steps）を実行します。
   • 単一のノイズの多い勾配に依存するのではなく、複数のステップを累積することで、勾配方向の安定性を高め、局所的な勾配場を積分したような更新方向を得ます。
   • これにより、初期学習におけるノイズの影響を低減し、探索方向を安定化させます。

2. ステージ II: Reposition (再配置)

   • ステージ I で得られたパラメータ $\theta_{s,K}$ を、更新前の開始点 $\theta_{s,0}$ に対して補間（Interpolation）します。
   • 式: $\tilde{\theta}_{s,K} = \theta_{s,0} + \alpha(\theta_{s,K} - \theta_{s,0})$
   • ここで $\alpha \in [0, 1]$ はハイパーパラメータです。
   • 目的: 複数の内部更新を行うことで生じる「オフポリシードリフト」（サンプル分布と現在のポリシー分布の不一致）を制御します。$\alpha$ を小さく設定することで、更新を元のオンポリシー領域に近づけ、分布のズレによるバイアスを抑制します。これは「Lookahead Optimizer」のアイデアを応用したものです。

3. ステージ III: Slow Correction (低速補正)

   • 再配置された点 $\tilde{\theta}_{s,K}$ において、さらに 1 回の勾配更新（Slow Correction）を実行します。
   • これにより、局所的な曲率（Curvature）に合わせた最終的な更新方向を決定し、過剰なドリフトを補正します。

適応的なスケジュール ($\alpha$ の調整)

学習の進行に応じて $\alpha$ を動的に調整する戦略を採用しています。

• 学習初期: 信号が強く、探索が必要な段階では $\alpha > 0$ とし、安定化された高速軌道を活用します。
• 学習後期: ポリシーのエントロピーが急激に変化し、ノイズが支配的になると判断された場合（エントロピーの Z スコア閾値超過）、$\alpha$ を 0 に設定します。これにより、学習の終盤では標準的な GRPO（オンポリシー更新）に戻り、安定性を確保します。

3. 主要な貢献 (Key Contributions)

1. SFPO の提案: 「高速軌道（Fast）」→「再配置（Reposition）」→「低速補正（Slow）」という 3 段階の分解による、ノイズ耐性が高くサンプル効率の良い更新ルールを提案しました。
2. プラグイン互換性: 基礎となる目的関数（Loss）、ロールアウト生成プロセス、KL 正則化などを一切変更せず、既存の GRPO パイプラインにドロップイン（そのまま置き換え）して使用可能です。
3. 理論的洞察: 各ステージの役割（分散低減、オフポリシードリフト制御、曲率への適応）について理論的な直観と分析を提供しました。
4. 広範な実験的検証: 5 つの異なるモデルと 6 つの推論ベンチマークを用いた大規模実験により、その有効性を証明しました。

4. 実験結果 (Results)

数学推論ベンチマーク（Math500, AIME24/25, AMC, MinervaMath, Olympiad Bench）における評価結果は以下の通りです。

• 精度の向上:

  • SFPO は GRPO を平均して最大 2.80 ポイント 上回る性能を示しました。
  • 例：DS-distilled-Qwen-1.5B モデルでは、平均精度が 47.73 (GRPO) から 50.53 (SFPO) に向上（+2.80）。AIME25 においては +7.5 ポイントの劇的な改善が見られました。
  • 7B モデルや Qwen3-4B-Base においても同様の改善が確認されました。

• サンプル効率とトレーニング時間の短縮:

  • GRPO が達成する最高精度に到達するために必要なロールアウト回数が、SFPO では最大 4.93 倍 削減されました。
  • 壁時計時間（Wall-clock time）ベースでは、最大 4.19 倍 の高速化を達成しました。
  • これは、ロールアウト生成がトレーニング時間の 70% 以上を占めるというボトルネックを、少ないロールアウトで解決したためです。

• 学習ダイナミクス:

  • 収束速度: 学習初期から GRPO よりも速く収束し、最終的な精度も高い水準で安定しました。
  • 応答長: GRPO は過剰な思考（Overthinking）により回答が短縮化する傾向がありましたが、SFPO は適切な長さ（約 2700 トークン）で安定し、精度も維持しました。
  • エントロピー: SFPO はエントロピーを効率的に低下させ、無意味な探索経路を早期に排除する能力を示しました。

5. 意義と結論 (Significance)

SFPO は、LLM の推論能力を強化する強化学習において、以下の点で重要な意義を持っています。

• 学習の安定化: 学習初期の不安定な更新を「再配置」メカニズムによって制御し、ノイズに強い最適化を実現しました。
• コスト削減: 高い精度を達成するために必要な計算リソース（ロールアウト数と時間）を大幅に削減し、大規模モデルのトレーニングコストを低下させます。
• 拡張性: この 3 段階の構造は、カリキュラム学習やメタ学習などの将来の拡張と親和性が高く、LLM 推論領域におけるスケーラブルでデータ効率の良い最適化戦略の基盤となり得ます。

結論として、SFPO は既存の GRPO パイプラインを大幅に強化する「プラグイン」的な手法であり、LLM の推論能力向上において、より安定し、効率的で、高速な学習を実現する有望なアプローチです。