論文「Self-Distilled RLVR」の技術的サマリー

本論文は、大規模言語モデル（LLM）の推論能力向上における新しいトレーニングパラダイム**「RLSD (RLVR with Self-Distillation)」**を提案するものです。既存の「オンポリシー自己蒸留（OPSD）」が抱える構造的な欠陥を理論的に解明し、それを克服する新しい手法を開発しました。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細にまとめます。

---

1. 背景と問題定義

背景

• RLVR (Reinforcement Learning with Verifiable Rewards): GRPO などの手法は、環境からの検証可能な報酬（正解/不正解）に基づいてモデルを学習させます。しかし、報酬はシーケンス全体に 1 つしか与えられないため、トークンレベルの信号が疎（スパース）であり、どのトークンが正解に寄与したかの「クレジット割り当て」が粗いという課題があります。
• OPD (On-Policy Distillation) と OPSD (On-Policy Self-Distillation): 疎な報酬の問題を解決するため、より強力な教師モデル（または同じモデルに特権情報を与えたもの）からトークンレベルの密な信号を得る手法が提案されました。特に OPSD は、外部の教師モデルを必要とせず、同じモデルを教師と生徒の両方にすることで計算コストを削減します。

既存手法（OPSD）の課題

OPSD は初期段階で性能向上が見られますが、トレーニングが長引くと性能が低下し、不安定になるという現象が観測されました。

• 特権情報の漏洩 (Privileged Information Leakage): 推論時には存在しない「正解の導出過程（特権情報 $r$）」を、モデルが推論中に無意識に参照してしまう現象が発生します。
• KL 発散の停滞: 教師と生徒の分布の KL 発散が初期に減少した後、一定値で停滞し、真の収束に至りません。

理論的解明

著者らは、OPSD が失敗する根本原因を**「情報の非対称性」**にあると突き止めました。

• 構造的な不適切性: 生徒は入力 $x$ のみから分布 $P_S$ を学習しますが、教師は特権情報 $r$ を含んだ分布 $P_T$ を提供します。この情報の非対称性により、生徒が $r$ を推測しようとする「相互情報量ギャップ」が避けられず、これが勾配構造に組み込まれます。
• 勾配の分解: 1 サンプルあたりの勾配は、有益な成分と、特権情報 $r$ に依存する偏差成分（$\delta$）に分解されます。トレーニングが進むと有益な成分が減少し、偏差成分が支配的になり、モデルが $x \to r$ の相関を学習（漏洩）して性能が劣化します。

---

2. 提案手法：RLSD (RLVR with Self-Distillation)

RLSD は、OPSD の「分布マッチング」というアプローチを放棄し、「更新方向」と「更新大きさ」を分離する新しいパラダイムを提案します。

核心的なアイデア

• 更新方向 (Direction): 環境からの検証可能な報酬（正解/不正解）のみで決定します。これにより、推論時の特権情報への依存を排除し、安定性を保ちます。
• 更新大きさ (Magnitude): 特権情報（教師）の存在する分布と、通常の分布との差分（エビデンス比）を用いて、トークンごとのクレジット（評価）の大きさを微調整します。

アルゴリズムの仕組み

1. シーケンスレベルのアドバンテージ計算: GRPO と同様に、環境報酬 $R(x, y)$ からグループ相対アドバンテージ $A$ を計算します（正解なら正、不正解なら負）。
2. トークンレベルの重み付け (Credit Assignment):
   • 生徒モデル $P_S$ と、特権情報 $r$ を含んだ教師モード $P_T$ の両方で生成されたトークンの確率を計算します。
   • エビデンス比 $\Delta_t = \log P_T(y_t) - \log P_S(y_t)$ を計算します。これは、特権情報がそのトークンの予測をどの程度修正したかを示します。
   • トークンごとの重み $w_t$ を以下のように定義します：
     $$w_t = \exp(\text{sign}(A) \cdot \Delta_t) = \left( \frac{P_T(y_t)}{P_S(y_t)} \right)^{\text{sign}(A)}$$
     • $A > 0$（正解）の場合：特権情報が支持するトークンに高い重み（大きな報酬）を与えます。
     • $A < 0$（不正解）の場合：特権情報が否定するトークンに高い重み（大きなペナルティ）を与えます。
3. クリッピングと更新: 重み $w_t$ をクリップし、GRPO の目的関数におけるアドバンテージ $A$ に乗算してトークンレベルのアドバンテージ $\hat{A}_t$ とし、ポリシーを更新します。

特徴

• 漏洩の防止: 特権情報は勾配の「方向」には影響せず、あくまで「大きさ（スカラー係数）」のみを調整するため、情報の漏洩が構造的に防がれます。
• コストの低さ: 追加の教師モデルは不要で、既存のモデルを一度フォワードパスするだけで済みます。
• GRPO との互換性: 標準的な GRPO のアドバンテージ計算を置き換える「ドロップイン」型の拡張として機能します。

---

3. 主要な貢献

1. OPSD の失敗原因の理論的解明:
   • 情報の非対称性下での分布マッチングが、避けられない相互情報量ギャップを生み、特権情報の漏洩と性能劣化を招くことを定理として証明しました。
   • 勾配レベルでの偏差成分の振る舞いを解析し、トレーニング初期の向上と後期の劣化という二相動態を説明しました。
2. RLSD の提案:
   • 教師モデルを「生成目標」ではなく「クレジット割り当てのモジュレーター」として再定義する新しいパラダイムを提案しました。
   • 環境報酬による方向性の安定性と、自己蒸留によるトークンレベルの微細な制御を両立させました。
3. 実証的検証:
   • 多様なマルチモーダル推論ベンチマークにおいて、ベースモデルや既存手法（GRPO, OPSD, SDPO）を凌駕する性能を示しました。

---

4. 実験結果

• ベンチマーク: Qwen3-VL-8B-Instruct モデルを用い、MMMU, MathVista, MathVision, ZeroBench, WeMath の 5 つのマルチモーダル推論ベンチマークで評価。
• 性能:
  • RLSD は平均精度でベースモデルを4.69%、GRPO を**2.32%**上回りました。
  • 特に複雑な数学的推論タスク（MathVista, MathVision）において、トークンレベルの微細な評価が有効に働いたことが確認されました。
• トレーニングダイナミクス:
  • 安定性: OPSD に見られる初期ピーク後の性能低下が発生せず、GRPO と同等以上の安定した収束を示しました。
  • 収束速度: 200 ステップでの RLSD の性能は、400 ステップ学習した GRPO を上回るなど、収束が高速でした。
  • エントロピー: GRPO は早期にエントロピーが低下（多様性の喪失）しますが、RLSD は重要な推論ステップにのみ集中して学習するため、エントロピーを適切に維持しました。
• ケーススタディ:
  • 正解の軌道では、決定打となる計算ステップに高いクレジットが集中し、一般的な記述には低いクレジットが割り当てられました。
  • 不正解の軌道では、誤った推論ステップに強いペナルティが集中しました。

---

5. 意義と結論

• パラダイムの統合: RLSD は、RLVR の「信頼性の高い環境報酬」と、OPSD の「密なトークンレベル信号」の両方の強みを単一フレームワークで統合しました。
• 理論的保証: 分布マッチングに基づく手法が抱える「目的の安定性」「持続的な改善」「漏洩のない学習」という三律背反（Impossibility Trilemma）を、RLSD はすべて満たすことを理論的に示しました。
• 実用性: 追加のモデルや複雑な損失関数を必要とせず、既存の RLVR パイプライン（GRPO など）に容易に統合できるため、実用的な大規模モデルの推論能力向上手法として極めて重要です。

本論文は、自己蒸留の限界を理論的に解き明かし、それを克服する実用的かつ堅牢な手法を提示した点で、LLM の推論学習分野に重要な貢献を果たしています。