技術要約: SAF-OPD (Stable Advantage Fusion for On-Policy Distillation)

問題提起

本論文は、2つの異なる強化学習信号、すなわち検証可能な報酬を用いた強化学習 (RLVR) と オンポリシー蒸留 (OPD) の融合から生じる不安定性と性能の限界に対処するものである。

• RLVR (例: GRPO): ルールベースのクリティックによって検証された、レスポンスレベルの疎なアドバンテージ ($A^{GRPO}_i$) を提供する。この信号は、サンプリンググループ内で有界かつ正規化されているが、粗い（coarse）性質を持ち、レスポンス内のすべてのトークンが結果に対して等しく責任を持つものとして扱う。
• OPD: 学生（student）ポリシーとより強力な教師（teacher）との間の対数確率の差から導出される、密なトークンレベルのアドバンテージ ($A^{OPD}_{i,t}$) を提供する。この信号は密であるが、教師の正誤に関わらず、教師の分布に対して相対的であり、非有界である。

核心となる問題: 単に固定の係数を用いてこれら2つのアドバンテージを加算する ($A^{total} = A^{GRPO} + A^{OPD}$) ことは、学習を不安定化させる2つの異なる形態の**ミスキャリブレーション（較正不全）**を引き起こす。

1. マグニチュードの不一致 (Magnitude Mismatch): トークンレベルのOPDアドバンテージは非有界でヘビーテイル（重い裾）を持つ。ごく一部のトークンが、GRPOのアドバンテージよりも数桁大きい値を生み出すことがあり、これらの特定のトークンが勾配更新を数値的に支配し、RLVR信号を消し去ってしまう。
2. 時間的な不一致 (Temporal Mismatch): フル強度の教師によるガイダンスの価値は一定ではない。学習の初期段階では強力なガイダンスが有益であるが、学生が収束するにつれて、フル強度のOPDを維持することはポリシーを教師に引き寄せすぎることになる。これは探索を抑制し（エントロピー崩壊を引き起こす）、学生が検証可能なRLVRを通じて教師を凌駕することを妨げ、学生の性能を教師の品質に制限してしまう。

手法: SAF (Stable Advantage Fusion)

著者らは、修正されていないGRPOアドバンテージと結合される前に、OPDブランチに対してのみ適用される4段階のパイプラインを通じて、アドバンテージを融合する軽量なフレームワークであるSAFを提案する。各ステージは独立して切り替え可能であり、オーバーヘッドは極めて小さい。

1. マグニチュード制御 (Sparsify-then-Compress)

このステージは、個々のトークンの影響力を制限することでマグニチュードの不一致に対処する。

• ステージ1: Top-k% Sparsification (スパース化): 各レスポンスシーケンスについて、絶対的なOPDアドバンテージの大きさがその特定のシーケンスの $(1-k\%)$ パーセンタイルを超えるトークンのみを保持する。それ以外のすべてのトークンはゼロにする。これにより、グローバルなカットオフではなく、OPD信号のローカルな分布に適応する。
• ステージ2: Bounded Tanh Compression (有界Tanh圧縮): 残ったトークンは、有界な変換 $c \cdot \tanh(A^{OPD}_{i,t})$ を通される。これにより、最も顕著なトークンであっても範囲 $(-c, c)$ 内に収まり、GRPO信号を圧倒することを防ぎつつ、ゼロ付近のより小さな信号の相対的な順序を保持する。

2. 時間的制御 (Warm-up-then-Anneal)

このステージは、学習の軌跡全体にわたってOPD信号のグローバルな強度を動的に調整することで、時間的な不一致に対処する。

• ステージ3: KL-Triggered Warm-up (KLトリガーによるウォームアップ): OPD係数は0から1へと線形にランプアップされる。ただし、ウォームアップの期間は固定ではなく、学生と教師の逆KLダイバージェンスの相対的な減少が閾値 $\delta$ に達した場合（すなわち、$(KL_0 - KL_s)/KL_0 \ge \delta$）、早期に終了する。これにより、学習初期の過度な模倣を防ぐ。
• ステージ4: Linear Annealing (線形アニーリング): ウォームアップ終了後、OPD係数は残りの学習ステップにわたって1から最小値 $c_{min}$ まで線形にアニーリングされる。これにより、最適化の焦点を徐々にRLVR信号へと戻し、学生が教師の分布を超えて探索することを可能にする。

最終的な融合アドバンテージは以下のように計算される：
$$A^{total}_{i,t} = A^{GRPO}_i + \text{opd\_coef}(s) \cdot \text{scale}(s) \cdot A^{OPD, \tanh}_{i,t}$$

主な貢献

1. 非対称性の診断: 本論文は、有界で正規化されたRLVRアドバンテージと、非有界でオンライン再計算されるOPDアドバンテージの融合が、根本的な非対称性を生み出すことを特定した。これは、単一の固定係数では解決できないマグニチュードおよび時間的な不一致として現れる。
2. SAFフレームワーク: マグニチュード制御（スパース化 + 圧縮）を時間的制御（ウォームアップ + アニーリング）から切り離した、4段階の切り替え可能なパイプラインの提案。
3. 実証的検証: Qwen3モデル（1.7B, 4B, 8B）を用い、7つのベンチマーク（数学的推論およびコード生成）における広範な実験を通じて、SAFが固定係数の融合を一貫して上回り、固定係数融合に伴うエントロピー崩壊を回避することを実証した。

結果

• 性能向上: SAFは、すべての6つのモデル・ドメイン設定において、固定係数のGRPO+OPD融合に対して**0.51%から2.70%**の集計スコア向上を実現した。
  • 数学的推論においては、8Bで0.97%、1.7Bで1.85%の利得が見られた。
  • コード生成においては、1.7Bで0.51%、4Bで2.70%の利得が見られた。
• 学習ダイナミクス: 学習軌跡の分析により、固定係数融合は初期のエントロピー崩壊（約0.35から0.30への低下）と、早期の精度プラトーを引き起こすことが明らかになった。対照的に、SAFは健全なポリシーエントロピー（~0.35–0.38）を維持し、探索能力を保持し、より高い最終精度とクリックスコアを達成する。
• アブレーション研究: 本研究は、マグニチュード制御だけでは最終的な精度には不十分であることを確認した。時間的コントローラー（特にアニーリング・スケジュール）が、性能の天井を引き上げるために極めて重要である。

意義と主張

本論文は、検証可能な疎な報酬信号と、密なプロキシベースの信号を融合する場合、それは単一の混合係数に集約されるべきではないと主張している。代わりに、信号のマグニチュード（外れ値による数値的支配を防ぐため）と、時間の経過に伴う信頼レベル（模倣と探索のバランスを取るため）に対して、個別の制御メカニズムが必要である。

著者らは、SAFを既存のGRPO+OPDパイプラインに対するドロップイン・リプレースメント（そのまま置き換え可能な手法）として位置づけている。SAFは、学習ダイナミクスを安定させ、「エントロピー崩壊」による探索の停滞を防ぎ、学生が教師の品質によって課される性能の天井を突破することを可能にする。この研究は、複雑な推論タスクにおけるオンポリシー蒸留を成功させるためには、教師信号に対する「信頼」を動的に制御することが不可欠であることを示唆している。