技術的サマリー：極域方策蒸留（ERPD）

問題定義

大規模言語モデル（LLM）に対する強化学習（RL）は、サンプル効率と漸近的性能の間の根本的なトレードオフに直面している。

• オンポリシー手法（PPO、GRPO など）は、安定性を確保するために単一の更新後に軌跡を破棄するため、サンプル効率が低い。
• オフポリシー手法は軌跡を再利用して効率を向上させるが、分布の不一致を導入する。既存の安定化技術（KL 制約、クリッピングなど）は、不安定化を防ぐために保守的な最適化を強制する。
• 核心的な課題：実証的調査により、保守的な制約が学習信号の未活用を引き起こすことが明らかになった。逆に、固定データ上での積極的な多ステップオフポリシー最適化は、初期に急速な利益をもたらすが、最終的に軌跡確率の逸脱とエントロピーの崩壊を引き起こす。この過度な発散は、真のタスク改善ではなく「不要なドリフト」に KL バジェットを消費し、早期に性能の頭打ちをもたらす。単に KL 制約を強化しても、性能の天井を低下させるだけで、根本的な非効率性は解決されない。

手法：極域方策蒸留（ERPD）

本論文は、サンプル効率とKL 効率を分離する 2 段階フレームワークであるERPDを提案する。

ステージ 1：積極的オフポリシー最適化（サンプル効率）

• 目的：方策の発散に関わらず、固定されたロールアウトのバッチから学習信号の抽出を最大化すること。
• プロセス：弱く制約された、あるいは制約のない最適化を用いて、静的データセット上で広範なオフポリシー更新（例：80 ステップ以上）を実行する。
• 結果：これにより「極域」方策（$\pi_{\theta_e}$）が生成される。この方策は高い KL 発散やエントロピー崩壊を被る可能性があるが、豊富で最大限に抽出された学習信号を含んでいる。
• 損失関数：この段階では、SAPO（ソフトクリッピング）、CE（交差エントロピー）、および行動確率を飽和（0 または 1）に駆動して退化した「学習解除」方策を生成する新規のMSE 損失を含む、さまざまな損失関数が評価される。

ステージ 2：信頼領域制約付き蒸留（KL 効率）

• 目的：極域方策から有用な信号を抽出し、偽のドリフトをフィルタリングしながら、それをベース方策に蒸留すること。
• プロセス：ベース方策（$\pi_{\theta_{old}}$）は、厳格な信頼領域制約（KL 発散を制限）の下で、極域方策（$\pi_{\theta_e}$）を近似するように更新される。
• トークンレベル信号の構築：
  • 強力な教師戦略：報酬信号として対数比 $\log \frac{\pi_{\theta_e}(a|s)}{\pi_{\theta_{old}}(a|s)}$ を使用する。分母は改善の方向性を一貫して維持するため、元の参照方策に固定される。
  • 弱い教師戦略：極域方策が退化し（ベースよりも劣り）、教師として機能しない場合、本論文は代替の信号構築を導入する。具体的には、積極的最適化の初期段階で得られた中間的な「学習解除」方策（$\pi_{\theta_{un}}$）に対する対数比 $\log \frac{\pi_{\theta_e}(a|s)}{\pi_{\theta_{un}}(a|s)}$ を使用する。これにより、より弱い教師であっても効果的な監督信号を提供することが可能になる。
• 最適化：蒸留段階では、構築されたトークンレベル報酬を用いた PPO 風のクリップされた代理目的関数が使用され、通常、教師のトレーニングよりも少ないステップ数（例：10–32）で済む。

主要な貢献

1. 分離されたフレームワーク：積極的な信号抽出と安定した方策更新を分離する 2 段階トレーニングパイプラインの導入により、漸近的性能や KL 効率を犠牲にすることなく、高いサンプル効率を達成する。
2. 弱から強への蒸留：MSE でトレーニングされた、あるいは特定の学習解除条件下にある退化または弱い教師方策でさえ、効果的な監督を提供し得ることを実証する。本論文は、信号構築戦略（学習解除方策対旧方策）に関する体系的な実証的特徴付けとアブレーション研究を提供する。
3. トークンレベル信号分析：極域方策から導出されたトークンレベル報酬が学生学習とどのように相互作用するかを詳細に調査し、特定の対数比形式（例：分母を旧方策に固定）を使用することで、学生が教師を上回ることが可能であることを示す。
4. 推論における実証的検証：数学的推論ベンチマーク（AIME、HMMT、IMO）およびコーディングタスク（LiveCodeBench）における包括的な評価により、標準的なオンポリシートレーニングが頭打ちとなる強力なベースモデルにおいて、大幅な改善が得られることを示す。

実験結果

• 性能向上：数学的推論タスクにおいて、ERPD は標準的なオンポリシーベースライン（PPO、GRPO）および単一段階のオフポリシー手法を大幅に上回る。例えば、HMMT Feb 25 ベンチマークにおいて、Qwen3.5-27B に適用された ERPD は、最先端レベルのモデルと同等の性能を達成した。
• KL 効率：蒸留された方策は、積極的な教師方策と比較して、はるかに小さな KL 発散で同等以上の性能を達成する。これは、第一段階の発散が主に非生産的なドリフトに費やされていたことを裏付けている。
• 弱い教師の有効性：積極的最適化がより強力な教師を生み出さない場合（例：MSE 損失を使用）、 「学習解除」戦略でも改善が得られる。強力な教師と弱い教師を組み合わせたアンサンブル手法は、さらに性能を向上させる。
• 反復的改善：オンラインとオフラインを切り替える実験により、オフライン蒸留とオンラインサンプリングを交互に行うことで持続的な性能向上が可能であることが示された。一方、純粋なオンラインまたは純粋なオフラインのアプローチは、往々にして停滞または劣化する。
• アブレーションの知見：
  • 信号構築：対数比における分母の選択（旧方策対現在方策）は決定的である。分母を旧方策に固定することで、学生は教師を上回ることが可能になる。
  • 外れ値：予備的分析により、極域方策における「外れ値」トークン（負の対数比）は情報に富む修正信号を符号化しており、これらをマスクすると性能が低下することが示唆される。
  • エントロピー：一般的な仮説とは異なり、蒸留における性能向上は必ずしもエントロピーの減少に依存しない。場合によっては、エントロピーの増加が性能の向上と相関する。

意義と主張

本論文は、データ効率と最適化安定性の間のトレードオフは本質的なものではなく、むしろ単一の方策に矛盾する目的をバランスさせることを強制した結果であると主張する。これらの目的を分離することにより：

1. ERPD は、固定データセットに潜む学習信号を解放する（保守的な手法が破棄する信号を）。
2. RL における「弱から強」の仮説を検証する（「学習解除」または劣化した方策でさえ、信号構築を適応させる（例：学習解除方策を参照として使用するなど）ことで、効果的な教師となり得ることを示す）。
3. 実用的な道筋を提供する（既存のデータを積極的最適化 followed by 慎重な蒸留を通じてより効果的に活用し、データ収集の大幅な増加を必要とせずに最先端の推論モデルを改善する）。

著者は理論的説明については慎重さを保ち、弱から強への蒸留の実証的成功は明らかであるものの、退化した教師が有用な信号を提供する正確な理論的条件についてはさらなる調査が必要であると指摘している。同様に、エントロピーと外れ値の役割は、将来の体系的な分析の対象領域として特定されている。