技術概要：変分方策蒸留による言語フィードバックからの学習

問題定義

検証可能な報酬からの強化学習（RLVR）は、客観的かつ結果に基づく正しさを最適化することで、大規模言語モデル（LLM）の推論能力における最近の進展を牽引してきた。しかし、標準的な RLVR 手法（例：GRPO）は、スパースで二値的な結果信号（正/誤）に依存している。このスパース性は、深刻なクレジット割り当てのボトルネックを生み出す：複雑な導出におけるわずかな算術的誤りは、完全に無意味な幻覚と同じゼロ報酬を受けることになる。その結果、オンポリシーアルゴリズムは、初期の成功率がほぼゼロであるような困難な問題において極端な探索のボトルネックに直面し、「ニアミス」の軌道に潜む潜在的な情報を浪費してしまう。

これを解決するため、最近のオンポリシー自己蒸留手法（例：SDPO、OPSD）は、コンパイラエラーや自動批判などの豊富なテキストフィードバックを活用して、高密度なトークンレベルの教師信号を生成する。しかし、これらのアプローチには決定的な欠陥がある：それらはフィードバック条件付きの「自己教師」を固定された受動的な関数として扱う点である。教師は、フィードバックを解釈するゼロショット能力に完全に依存している。学生方策が向上するにつれて、教師はより微妙な推論誤差を区別する能力が頭打ちになる。なぜなら、教師は診断的解釈を洗練させるために明示的に訓練されないからだ。これにより、学生が意味のある勾配を欠乏させる天井効果が生じる。

手法：変分方策蒸留（VPD）

著者らは、言語フィードバックからの学習を変分期待最大化（EM）問題として形式化する**変分方策蒸留（VPD）**を提案する。受動的な蒸留とは異なり、VPD は単一の共有重みニューラルネットワーク内で学生と教師の両方の方策を共進化させる。

変分定式化

このフレームワークは、最適な方策 $\pi^*$（報酬傾斜分布）を扱いにくい目標として扱う。VPD は、高密度な診断フィードバック $C$ に条件付けられたパラメータ化された教師ネットワーク $q_\phi(y|x, C)$ を導入し、$\pi^*$ に対する扱い可能な近似事後分布として機能させる。この定式化は、トレーニングを 2 つの交互ステップに分解する：

1. E-ステップ（教師の洗練）：

   • 目的： 言語フィードバックを解釈し、最適な報酬傾斜分布を近似するように教師を能動的に訓練する。
   • メカニズム： 教師は、テキスト批判を与えられた成功と失敗の軌道を区別するように最適化される。フィードバック $C$ は各軌道に固有であるため、標準的なペア付き選好最適化（DPO など）は適用できない。代わりに、VPD は非ペア選好最適化フレームワークである**二値分類器最適化（BCO）**を採用する。
   • 動的参照事前分布： 重要なのは、教師が静的なベースモデルに固定されていない点である。分布のシフトを防ぎ、教師が学生の方策の現在の能力に対して有用な批評家であり続けることを保証するため、参照事前分布は現在の学生方策に動的に固定される（$\pi_{ref} \leftarrow \pi_\theta$）。これにより適応的な信頼領域が強制され、教師の目標分布が学生によって到達可能であることを保証する。

2. M-ステップ（学生最適化）：

   • 目的： 教師からの洗練された高密度なガイダンスを、条件付けられていない学生方策に内在化させる。
   • メカニズム： 学生は、自身のオンポリシーロールアウトにおいて、更新された教師 $q_\phi$ に対するトークンレベルの KL 発散を最小化する。学生は推論時に特権的なフィードバック $C$ を持たないため、教師が発見した推論の修正を暗黙的に学習しなければならない。

アーキテクチャと効率性

• 共有重みネットワーク： 学生（$\pi_\theta$）と教師（$q_\phi$）の両方は、単一のネットワーク（$\phi = \theta$）内でインスタンス化される。区別は純粋に文脈的なものである：教師は診断フィードバック $C$ をプロンプトに付加することで呼び出されるのに対し、学生は入力 $x$ のみに依存する。これにより、マルチモデルパラダイムに伴う莫大なメモリオーバーヘッドが排除される。
• 非対称更新： このフレームワークは、非対称な更新頻度（例：E-ステップあたり複数の M-ステップ）をサポートし、RL におけるターゲットネットワークと同様に蒸留プロセスを安定させる。

主要な貢献

1. 変分 EM の形式化： 本論文は、言語フィードバックからのオンポリシー学習を変分 EM 手順として形式化する。これにより、非ペア選好最適化（BCO）を通じて実装される、明示的でフィードバックを認識する教師更新（以前の自己蒸留手法には存在しなかった）が導入される。
2. 動的信頼領域： 教師を現在の学生方策に動的に固定することで、VPD は安定したオンポリシー KL 蒸留を確保する適応的信頼領域を強制し、静的な事前分布を使用する手法で見られる壊滅的な分布シフトを回避する。
3. 包括的な実証研究： 著者らは、VPD を診断フィードバックの 3 つの異なるソースで評価した：
   • 決定論的環境検証器（LiveCodeBench）。
   • 対照的な兄弟ロールアウト（SciKnowEval）。
   • LLM 裁判官による自律的自己批判。
4. 限界の特性評価： 本論文は、ベースモデルのコールドスタートシナリオや厳密な数学的推論タスクにおいてフレームワークを厳密にストレステストし、純粋なスパース RL と比較したフィードバック駆動型自己蒸留の根本的な境界を確立する。

実験結果

競技プログラミング（LiveCodeBench）、科学的推論（SciKnowEval）、数学的推論（Math500、AIME）にまたがるベンチマークで評価された結果、VPD は標準的な RLVR（GRPO）および既存の自己蒸留ベースライン（SDPO）を一貫して上回った。

• コード生成（LiveCodeBench）： VPD は Qwen3-8B において 49.62% の最先端のパス率を達成し、GRPO（45.61%）および SDPO（47.33%）を上回った。この手法は正解と不正解の回答間の報酬マージンの増大を成功裡に維持したが、SDPO のガイダンス信号は時間とともに劣化した。
• 科学的推論（SciKnowEval）： VPD は複数のモデル（Qwen3-1.7B、8B、および OLMo3-7B）において新たな最先端の結果を確立した。例えば、Qwen3-8B において、VPD は SDPO の 74.44% に対して 77.15% の平均精度を達成した。注目すべきは、VPD が SDPO やハイブリッドベースラインで頻繁に観察される後期トレーニングの劣化（検証精度の低下）を排除した点である。
• 自己批判： 自律的自己批判（モデルが正のペアなしで自身の失敗を判断する）を使用する場合でも、VPD は SDPO を大幅に上回った（Qwen3-8B において 78.14% 対 74.87%）。

根本的な限界とコールドスタート

本論文は、自己蒸留が純粋なスパース RL に比べて苦戦する特定の領域を特定している：

• ベースモデルのコールドスタート： 指示追従の整合性を欠くベースファウンデーションモデル（例：Qwen3-4B-Base）に適用された場合、モデルが診断フィードバックを効果的に解析できないため、VPD を含む自己蒸留手法は苦戦する。VPD は SDPO で観察されるトレーニングの崩壊を大幅に遅らせるが、これらのコールドスタートシナリオにおいて純粋な RL（GRPO）が最も効果的なパラダイムであり続ける。
• 数学的推論： 厳密な数学的ベンチマーク（DAPO-Math、Math500）において、VPD はトレーニングの崩壊を遅らせるが、最終的には純粋な GRPO よりも劣る。著者らは、数学的導出の厳格で寛容でない性質が、ノイズの多いまたは不正確な中間的な教師ガイダンスによる「汚染」に対して自己蒸留を脆弱にする一方、スパース RL は厳密な経路を見つけるためのより広範な探索を促すと仮説を立てている。

意義と主張

本論文は、VPD が言語フィードバックを静的なヒューリスティックとして扱うことから、最適化プロセスの学習可能で共進化するコンポーネントとして扱うことへの原理的な転換を表すと主張する。動的信頼領域を備えた厳密な EM フレームワーク内に自己蒸留を埋め込むことで、VPD は受動的な手法よりも言語フィードバックから著しく多くの価値を抽出し、安定した最適化ダイナミクスと一貫した性能向上を提供する。

しかし、著者らはこのアプローチの究極的な限界に関して控えめな立場を維持している。彼らは明確に、VPD は自己蒸留の限界を緩和するが、最も困難な論理ドメインおよびベースモデルの初期化においては、純粋なスパース RL が依然として最も効果的なパラダイムであると述べている。この研究は、言語駆動型自己蒸留の根本的な境界を明らかにし、推論を洗練するための強力なツールではあるが、すべての文脈において結果ベースの RL の探索能力を完全に置き換えるものではないかもしれないことを示唆している。