技術要約：LLMの推論に向けた戦略誘導型方策最適化（SGPO）

1. 問題提起

強力なモデルから弱い大規模言語モデル（LLM）へと推論能力を蒸留する現在の手法は、主に**軌跡レベルの模倣（trajectory-level imitation）**に依存しています。エキスパートによる軌跡を用いた教師あり微調整（SFT）であれ、ハイブリッドな方策最適化であれ、これらのアプローチは、学生モデルに対してエキスパートが生成した特定の解法シーケンスを再現するように学習させます。本論文は、この知識転送の単位には欠陥があると主張しています。なぜなら、それはインスタンス固有のパターンを記憶することを助長し、転用可能な問題解決スキルの獲得を妨げるからです。その結果、このように学習されたモデルは、新しい問題に対して汎化する際に苦戦します。なぜなら、モデルは「何を」答えるべきかではなく、「どのように」推論すべきかを学んでいないからです。

対処すべき核心的な課題は、推論の対象を、具体的な解法の軌跡から、推論時に外部からのヒントに頼ることなく、なぜ特定のステップが選ばれたのかを説明できる再利用可能な問題解決戦略へと、いかにシフトさせるかという点です。

2. 手法：戦略誘導型方策最適化（SGPO）

著者らは、インスタンスレベルの軌跡模倣を、再利用可能な戦略蒸留に置き換えるフレームワークであるSGPOを提案しています。このフレームワークは、強力なモデルのレスポンスから構造化された戦略記述を抽出し、それを用いて学生モデルの推論分布を再形成することで機能します。

2.1 コア構成要素

各学習問題 $q$ に対して、SGPOは2つの軌跡グループを構築します。

1. 自律グループ（Autonomous Group）: 現在の方策 $\pi_\theta(\cdot | q)$ からサンプリングされたもの。
2. 戦略誘導グループ（Strategy-Guided Group）: $\pi_\theta(\cdot | q, s)$ からサンプリングされたもの。ここで $s$ は、強力なモデルから抽出された、問題のタイプ、アプローチ、および手順的なステップを指定する簡潔な自然言語による戦略記述であり、計算や最終回答は含まれません。

このフレームワークは、**「いかに蒸留するか」と「いつ蒸留するか」**という2つの重要な問いに対処します。

2.2 いかに蒸留するか：トークンレベルのForward-KL目的関数

戦略に条件付けられた軌跡を直接模倣する（これは再びSFTへと退化してしまいます）のではなく、SGPOは戦略の条件付けによって誘発される分布の変化を蒸留します。

• Forward-KL ダイバージェンス: この手法は、戦略誘導された分布をリファレンスとし、誘導されていない分布をターゲットとするカルバック・ライブラー（KL）ダイバージェンス ($D_{KL}(\pi_{guided} || \pi_{unguided})$) を最小化します。
• 選択性: 単一の誘導されたモードへと方策を崩壊させるReverse KLとは異なり、Forward KLは、自律的な探索を通じて発見された既存の代替案を保持しつつ、誘導されたモードをカバーするように誘導されていない方策を促します。
• メカニズム: この目的関数は、戦略の条件付けによって次トークンの分布が大きく変化するトークン（例：特定の数学的手法の選択）に最適化の圧力を自然に集中させます。これらは戦略的に重要な決定ポイントに対応しますが、日常的な言語的トークンは低いKLダイバージェンスを示します。これにより、明示的なトークンレベルのアノテーションを必要とせずに、選択的な蒸留シグナルを提供します。

2.3 安定性と効率性：近接制約（Proximal Constraints）

学習の安定性と効率性を確保するために、SGPOは3つのレベルの近接制約を採用しています。

1. 軌跡レベル（到達可能なターゲット選択）: すべての正しい誘導された軌跡の平均を取る代わりに、現在の誘導されていない方策によって最も到達可能である単一の誘導された軌跡を選択します。これにより、モデルが埋めるべき分布のギャップを最小化します。
2. トークンレベル（KLクリッピング）: 誘導された分布と誘導されていない分布のダイバージェンスが閾値 $\delta$ を超えるトークン位置をマスクします。これにより、外れ値となるポジションが最適化を支配し、エントロピーの崩壊を引き起こすのを防ぎます。
3. インスタンスレベル（適応型重み付け）: 動的な重み $\alpha(q)$ が、戦略によるガイダンスの限界利益に基づいて蒸留の強度を調整します。
   • 自律的なパス率が低く、誘導されたパス率が高い場合、$\alpha(q)$ は大きくなり、ガイダンスを強化します。
   • モデルの自律的な能力が高まるにつれて、$\alpha(q)$ は減少し、手動のスケジューリングなしに、戦略駆動型の改善から自律的な最適化へと自然に移行します。

2.4 全体的な目的関数

総損失は、自律的なGroup Relative Policy Optimization (GRPO) と近接戦略蒸留項を組み合わせたものです。
$$\mathcal{L}(\theta; q) = \mathcal{L}_{GRPO}(\theta; q) + \alpha(q) \mathcal{L}^{clip}_{KD}(\theta; q)$$

3. 主な貢献

• パラダイムシフト: 推論の蒸留を、特定の解法の軌跡の模倣から、再利用可能な問題解決戦略の内在化へと移行させました。
• Forward-KL 蒸留: 戦略的な決定ポイントにおける確率の変化に焦点を当てることで、戦略的知識を選択的に転送する、トークンレベルのForward-KL目的関数を導入し、直接的な軌跡模倣を上回る性能を示しました。
• 適応型フレームワーク: モデルの能力に応じて蒸注の強さが自動的にスケールする学習ダイナミクスを提案し、手動のカリキュラムスケジューリングを不要にしました。
• 相補的なスケーリング: 戦略蒸留はベースモデルの能力とともにスケールすることを実証し、戦略的ガイダンスを効果的に内在化するためには最低限の推論能力が必要であることを示唆しています。

4. 実験結果

4つの数学的推論ベンチマーク（MATH500, AMC 23, OlympiadBench, AIME 24）において、2つのモデルファミリー（Qwen2.5 [1.5B および 7B] および Llama-3.2 [8B]）を用いて実験が行われました。

• パフォーマンス: SGPOは、SFT、オンポリシーRL（SFT+GRPO）、およびハイブリッド方策手法（HPT, LUFFY）を含む強力なベースラインを一貫して上回りました。
  • Qwen2.5-7B-Instruct において、SGPOは最強のベースライン（LUFFY）に対して平均スコアを 2.2 ポイント、ベースモデルに対して 9.9 ポイント 向上させました。
  • Qwen2.5-1.5B-Instruct において、平均スコアはベースモデルより 6.7 ポイント 向上しました。
• アブレーション研究:
  • 戦略蒸留を除去するとパフォーマンスが低下し、純粋なRLよりも戦略レベルの転送に価値があることが確認されました。
  • 自律的なGRPOを除去すると、エントロピーの崩壊とパフォーマンスの停滞を招き、探索の多様性を維持する必要性が浮き彫りになりました。
  • 近接制約を除去すると最大のパフォーマンス低下（6.8 ポイント）が発生し、安定性に極めて重要な役割を果たしていることが示されました。
• 分析:
  • 選択性: Forward-KL シグナルは、直接的なSFTで見られる単調減少する損失とは異なり、戦略的に重要なステップ（例：最小公倍数の決定）でピークに達し、日常的なトークンでは低いままでした。
  • スケーリング: SGPOによる利得はより強力なベースモデルで大きくなり、戦略蒸留が基礎的な推論能力に対して相補的であることを示唆しています。

5. 意義と主張

本論文は、戦略レベルでの知識転送は、軌跡レベルの模倣よりも、推論の蒸留においてより効果的な方向であると主張しています。

• 汎化: 「何を」答えるか（軌跡）ではなく、「どのように」推論するか（戦略）を内在化することで、モデルは新しい問題に対してより良く汎化する転用可能なスキルを獲得します。
• 固有の選択性: 提案されたForward-KL目的関数は、推論ステップの手動アノテーションを必要とせずに、戦略的に重要なトークンを特定し増幅する自動メカニズムとして機能します。
• 効率性: 適応型の重み付けメカニズムにより、戦略的ガイダンスが最大の限界利益をもたらすインスタンスに計算リソースを集中させることができ、より速い収束と高いパフォーマンスの天井を実現します。

著者らは、推論能力の向上は潜在的なリスクを伴う可能性があるものの、数学的推論への特定の焦点は直接的なリスクを最小限に抑え、戦略蒸留を通じてLLMの推論能力を高めるための堅牢な道筋を提供するものであると結論付けています。