テクニカルサマリー：直接的オンポリシー蒸留による弱から強への汎化（Weak-to-Strong Generalization via Direct On-Policy Distillation）

1. 問題提起

検証可能な報酬を用いた強化学習（RLVR: Reinforcement Learning with Verifiable Rewards）は、大規模言語モデル（LLM）の推論能力を向上させるための支配的なパラダイムとなっています。しかし、RLVRは、ターゲットモデルがロールアウトを生成し、検証可能なスコアを受け取り、ポリシーを更新するというプロセスを、学習の更新ごとに繰り返す必要があるため、計算コストが非常に高くなります。モデルのスケールが増大するにつれ、これらのロールアウトを生成するコストも増大するため、新しい、より強力なモデルごとにRLVRをゼロから実行することは、重大なボトルネックとなります。

本論文は、**「弱から強への汎化（Weak-to-Strong Generalization）」**という課題に取り組んでいます。すなわち、より小さく弱い「教師（teacher）」モデルでRLを用いて訓練されたモデルを使用して、より大きく強力な「生徒（student）」モデルを改善できるか、という問いです。

• ナイーブな蒸留の限界: RL後の弱い教師の最終的なポリシーを単純に蒸留すること（オンポリシー蒸留：On-Policy Distillation, OPD）は、不十分です。教師の最終的なポリシーには、RLを通じて学習された有用な改善と、そのモデル固有の容量限界が絡み合っています。もし生徒がすでに教師よりも強力である場合、教師の最終的な分布を模倣することは、生徒の優れた振る舞いを上書きしてしまい、性能を低下させる可能性があります。
• 核心となる問い: 弱いモデルの容量の天井を引き継ぐことなく、どのようにすればRLによって誘発された「改善シグナル」を強力なモデルへと転送できるのか？

2. 手法：直接的オンポリシー蒸餾（Direct-OPD）

著者らは、教師の最終的なポリシーそのものではなく、弱いモデルにおいてRLによって誘発された「ポリシーのシフト（変化）」を転送するパラダイムであるDirect-OPDを提案しています。

2.1 核心となるシグナル：暗黙的な報酬としてのポリシーシフト

Direct-OPDは、教師の出力分布 $\pi_T$ を一致させるように訓練するのではなく、事前RLの参照モデル $\pi_{Tref}$ と、事後RLの教師 $\pi_T$ を対比させることで、RLによって引き起こされた変化を分離します。
ポリシーシフトは以下のように定義されます：
$$\Delta_T(y | x) = \log \pi_T(y | x) - \log \pi_{Tref}(y | x)$$
KL正則化付きRLの枠組みにおいて、この対数比は、スケーリング係数と定数を除いて、教師を訓練した暗黙的な報酬シグナルと数学的に等価です。したがって、一対のチェックポイント $(\pi_{Tref}, \pi_T)$ は、ポリシー空間の中に直接、報酬シグナルをエンコードしています。

2.2 目的関数

Direct-OPDは、このシフト・シグナルを生徒自身のオンポリシーな状態に適用します。$\pi_\theta$ を $\pi_S$ から初期化された生徒のポリシーとします。目的関数は、生徒が自身の初期化から離れすぎないように正則化しつつ、教師のシフトの方向に従うように最適化します：
$$J_{Direct-OPD}(\theta) = \mathbb{E}_{x \sim D} \left[ \mathbb{E}_{y \sim \pi_\theta} [\Delta_T(y | x)] - \alpha D_{KL}(\pi_\theta(\cdot | x) \parallel \pi_S(\cdot | x)) \right]$$

• 高密度な暗黙的報酬: 項 $\Delta_T$ は、高密度なトークンごとの報酬として機能します。状態 $s_t$ におけるトークン $v$ に対して、即時報酬は $r_t(v) = \log \pi_T(v | s_t) - \log \pi_{Tref}(v | s_t)$ となります。
• オンポリシー・サンプリング: 生徒は自身の軌跡（trajectory）をサンプリングします。勾配は生徒が実際に遭遇したプレフィックス（接頭辞）に基づいて計算されるため、シグナルが実際に遭遇した状態に対して確実に適用されることが保証されます。
• Top-K 近似: 学習を効率化するため、本手法は各ステップにおける生徒のトップ-$k$トークンに報酬計算を制限し、分散を抑えるためにRao-Blackwell化された推定器を使用します。

2.3 適応的KL制御

暗黙的報酬 $\Delta_T$ の大きさは、教師の訓練ハイパーパラメータ（具体的にはKL予算 $\beta$）に依存しますが、これは生徒には未知です。固定されたKL係数 $\alpha$ では、異なる教師・生徒ペア間でロバストにスケールしない可能性があります。
著者らは、重み付けされたシフト・シグナルのバッチレベルの平均に基づいて $\alpha$ を調整する、軽量な適応的KLコントローラーを導入しています。平均的なシフトが正である場合（教師のRLが保持されたトークンの確率を一般に増加させたことを示す）、過剰な増幅を防ぐために $\alpha$ を増加させます。逆に負である場合は、抑制されたトークンから離れることを許容するために $\alpha$ を減少させます。

3. 主な貢献

1. 新しい弱から強へのパラダイム: 本論文は、小さなモデルによるRLを、単なる模倣すべき最終的なポリシーのソースとしてではなく、暗黙的な報酬シグナルの安価な生成源として再定義しました。生徒自身の状態に対して教師のポリシーシフトを評価することで、Direct-OPDは、教師の「容量」ではなく、改善の「方向」を転送します。
2. スケールを越えた一貫した利得: 本手法は、より強力な生徒を、より弱い教師を用いて一貫して改善します。特に、標準的な蒸留では性能が低下してしまうような、すでに事後RL済みの教師よりも高い性能を持っている生徒（例：R1-Distill-7B, Qwen3-4B）に対しても、性能を向上させることができます。
3. 計算効率: Direct-OPDは、大規模モデルに対して直接RLを実行するよりも大幅に安価です。小規模モデルのRLの安定性と速度を活用し、短時間かつ低コストな転送フェーズを追加するだけで済みます。
4. 逐次的構成: 本手法は、異なる教師ペアからの複数のポリシーシフトを逐次的に合成することを可能にし、単一の生徒モデルに異なる推論能力を累積させることを可能にします。

4. 実験結果

著者らは、数学的推論ベンチマーク（AIME 2024 および AIME 2025）を用い、様々なモデルファミリー（Qwen3, R1-Distill, Nemotron）を用いてDirect-OPDを評価しています。

• 弱から強への転送:
  • Qwen3-1.7B: 1.5Bの教師からシフトを転送することで、AIME 2024において、わずか4時間の8枚のA100 GPUによる計算で、**48.3%から58.3%**へと向上させました。
  • より強力な生徒: 事後RL済みの教師（51.3%）よりも高い初期性能を持っていたR1-Distill-7B（初期56.7%）およびQwen3-4B（初期72.5%）も、正常に改善されました。標準的なOPDでは、これらのケースでは性能が低下しました。
• 直接的RLとの比較:
  • 同等のステップ数予算の下では、1.5BモデルでRLを実行しDirect-OPDを介して転送する方が、7Bモデルで直接RLを実行するよりも、精度と計算時間の両面で優れていました。
  • 転送フェーズは、大規模なRLに要する数週間という期間に対し、無視できる程度の時間（約4時間）しか追加しません。
• 逐次的構成:
  • 二つの異なるポリシーシフト（JustRLおよびQuestAの教師から）をQwen3-1.7Bに逐次的に適用した結果、累積的な利得が得られ、AIME 2024の精度は48.3%から63.8%へと押し上げられました。
• 汎化特性:
  • トークンの重複: 標準的なOPDとは異なり、Direct-OPDは教師と生徒の間で高いトップ-$k$トークンの重複を必要としません。生徒の思考パターンが教師と大きく異なる場合でも機能します。
  • ホライゾン（期間）: 短いホライゾンの訓練（2kトークン）は、長いロールアウトに対しても効果的に汎化し、非常に長いシーケンスに伴うノイズを捉えることなく、転送可能なシグナルを抽出できます。

5. 意義と主張

本論文は、**「RLの結果は、単に模倣すべき最終モデルとしてではなく、暗黙的な報酬シグナルとして、モデルスケールを越えて再利用できる」**と主張しています。

• RLの再定義: 本研究は、RL訓練の視点を、「最終的なモデル」を生み出すことから、報酬ランドスケープをエンコードする「ポリシーシフト」を生み出すことへと転換させています。このシフトは、それを生成した特定のモデル容量に依存しない、転送可能な資産となります。
• スケーラビリティ: 高価なRL探索（小規模モデルで行う）と最終的なデプロイ（大規模モデルで行う）を切り離すことで、Direct-OPDは、新しい、より大きなアーキテクチャごとにRLを再実行するという膨大なコストをかけることなく、推論モデルのポストトレーニングへのスケーラブルな道を提供します。
• 堅牢性: モデルファミリーや初期能力のミスマッチがある場合でも、RLによって誘発されたシフトが生徒の訪問した状態に対して意味のあるものであれば、本手法は堅牢に機能します。

著者らは、Direct-OPDが、弱から強への汎化のための実用的かつ効率的で、理論的根拠に基づいたメカニズムを提供し、異なるモデルスケールやアーキテクチャ間でRLの監督シグナルを再利用することを可能にすると結論付けています。