技術的サマリー：ピアの成功と失敗を通じたマルチロールアウトオンポリシー蒸留

問題定義

大規模言語モデル（LLM）は、検証可能な報酬を用いた強化学習（RLVR）を用いて事後学習されることが頻繁にあります。このパラダイムでは、サンプリングされた解が回答チェッカー、ユニットテスト、またはタスク固有の検証器によってスコア付けされます。効果的である一方で、これらの報酬は通常スパースです。つまり、全体の軌道が成功したか失敗したかを示すだけで、どの特定のトークンや推論ステップがその結果を引き起こしたかについての限定的なガイダンスしか提供しません。

オンポリシー蒸留（OPD）は、オフライン蒸留に内在する分布の不一致に対処するため、学生モデルを自身のポリシーからサンプリングされた軌道で訓練し、教師の判断を密なトークンレベルの信号に変換します。しかし、既存の OPD 手法は決定的な非効率性に悩まされています。それは、各ロールアウトを独立して扱う点です。同じプロンプトに対して複数のロールアウトが生成された場合、ある軌道に対する教師信号は、同じ学生モデルからサンプリングされた他の試行にアクセスすることなく計算されます。この設計は、ロールアウトグループの局所構造を破棄します。推論集約的なタスクにおいて、この局所構造は非常に有益です。成功したロールアウトは有効な解法戦略を明らかにし、失敗したロールアウトは、誤った推論経路、見逃された制約、または実行エラーを含む、もっともらしいが誤った推論経路を露呈させます。ロールアウトを孤立して扱うことは、教師が不成功な軌道が成功した軌道とどこで分岐したかを特定するために代替案を比較することを妨げます。

手法：マルチロールアウトオンポリシー蒸留（MOPD）

著者らは、学生モデルの局所的なロールアウトグループを明示的に利用して、より情報量の多い教師信号を構築するピア条件付き蒸留フレームワークである**マルチロールアウトオンポリシー蒸留（MOPD）**を提案します。

中核メカニズム

各プロンプト $x$ に対して、学生モデルは $N$ 個のオンポリシー軌道のグループ $Y(x) = \{y^{(i)}\}_{i=1}^N$ をサンプリングします。これらは検証器 $R$ によってスコア付けされ、閾値 $\tau$ に基づいて成功セット（$Y^+$）と失敗セット（$Y^-$）に分割されます。

ターゲットとなるロールアウト $y^{(i)}$ を監督する際、MOPD は教師分布 $q_\phi$ を、プロンプトとターゲットの接頭辞だけでなく、同じグループからのピアロールアウト（ターゲット自身を除く）にも条件付けます。教師分布は以下のようになります：
$$q_{\text{peer}}^\phi(\cdot \mid x, y^{(i)}_{<t}) = q_\phi(\cdot \mid x, C_i(x), y^{(i)}_{<t})$$
ここで、$C_i(x)$ は $Y^+_{-i}(x)$ と $Y^-_{-i}(x)$ から構築されたピアコンテキストです。

ピアコンテキスト構築戦略

本論文は、$C_i(x)$ を構築するための 2 つの主要な戦略を調査します。

1. ポジティブピア模倣：教師は成功したピア軌道のみを条件とします。これは成功したロールアウトを「ピアの専門家」として扱い、有効な推論パターンに対する肯定的な証拠を提供し、単一の参照ではなく複数の有効な導出スタイルに学生を固定します。
2. 対照的成功－失敗条件付け：教師は成功したピア軌道と失敗したピア軌道の両方を条件とします。成功したピアはターゲットが模倣すべきものを示し、失敗したピアは避けるべき誤った解法経路を特定する構造化された否定的証拠として機能します。この対照的アプローチは、特にスパースな終端報酬を伴うタスクにおいて、表面的には類似しているが正解と不正解の軌道を区別するのを教師に助けます。

訓練目的は、トークンシーケンス全体にわたって、学生モデルの分布とピア条件付き教師分布との間の発散（数学では逆 KL、その他ではジェンセン・シャノン）を最小化することです。

主要な貢献

1. フレームワークの革新：MOPD は、学生モデルのマルチロールアウトグループの局所的な試行錯誤空間を明示的に教師に条件付ける最初のフレームワークであり、独立した軌道監督を比較学習プロセスへと変換します。
2. 二重証拠の活用：この手法は、成功したピア（肯定的証拠）と失敗したピア（否定的証拠）の両方を活用します。著者らは、失敗したピアが単なるノイズではなく、もっともらしい誤り、制約、およびフォーマットエラーに関する構造化された信号を提供することを実証しています。
3. 信号品質分析：本論文は、自己教師信号の品質を直接分析し、異なるコンテキスト構築が教師スコアを真の検証器報酬とどの程度整合させるかを測定します。これは、単純な回答回復テストに関連する交絡因子を回避します。
4. 実証的検証：競技プログラミング、数学的推論、科学 QA、ツール使用にわたる広範な実験により、標準的なオンポリシーベースライン（GRPO、SDPO）に対する一貫した改善が示されました。

実験結果

著者らは、MOPD を 4 つのタスクファミリーで評価しました。

• 数学的推論（AIME2024/2025、HMMT25）：MOPD は SDPO と比較して mean@8 を大幅に改善しました。特に、豊富な環境フィードバックに依存する SDPO は、二値の検証器報酬のみが利用可能な数学タスクでは性能が劣りましたが、ピア増強監督を採用した MOPD は非常に効果的であることが証明されました。
• 競技プログラミング（LiveCodeBench v6）：MOPD は比較対象の手法の中で最先端の結果を達成し、Qwen3-8B において mean@8 で 61.82、pass@8 で 67.23 に達し、SDPO や GRPO を上回りました。
• 科学 QA とツール使用：MOPD は、すべてのサブドメイン（生物学、化学、物理学、材料）およびツール使用ベンチマークで最高の性能を達成しました。

分析からの主要な知見

• 混合コンテキストの優位性：「成功 2 つ＋失敗 1 つ」のコンテキストは、ランキング（スピアマン、ケンドールの $\tau$）と弁別（ペアワイズ精度、成功 AUC）の両方の指標において、検証器報酬との整合性が最も高く、一貫して最高の結果を達成しました。
• 失敗の役割：成功したピアが信号品質の主要な駆動力である一方で、成功のみのコンテキストに失敗したピアを追加すると、決定境界が著しく鋭くなります（例：ペアワイズ精度を 0.32 から 0.40 に向上）。
• 多様性：MOPD は、ベースラインと比較して、語彙的（Distinct-1/2）および構造的（AST ジャッカード距離）な多様性が有意に高い解を生成します。これは、ピア条件付けが多様な解法戦略の探索を促進することを示唆しています。
• 効率性：MOPD の計算オーバーヘッドは modest（軽微）であり、LiveCodeBench では SDPO に対して総ステップ時間が 9.1%、Science QA では 33.3% しか増加していません。

意義と主張

本論文は、効果的なオンポリシー蒸留は、ロールアウトを孤立したサンプルとして扱うのではなく、学生モデルのマルチロールアウト試行錯誤行動を利用すべきであると主張します。ピアの成功と失敗を教師に条件付けることで、MOPD は教師を局所的な診断モデルへと変え、インスタンス固有の誤りを認識し、もっともらしい失敗と正解を区別することを可能にします。

著者らは、この性能向上がより忠実でインスタンス適応的な監督に起因すると主張しています。混合された成功－失敗コンテキストは、教師スコアを検証器報酬とよりよく整合させ、単一のサンプリンググループ内で利用可能な構造化された情報を手法が成功裏に活用していることを示しています。このアプローチは、グループ相対的な優位性を利用する強化学習と、トークンレベルの監督を利用する蒸留の間のギャップを埋め、外部のより大きな教師や複雑な報酬モデリングを必要とせずに、より小さなモデルの推論能力を向上させる道筋を提供します。

この研究は、ピア条件付けが追加のコンテキスト長をもたらす一方で、正確性、多様性、訓練安定性の向上がコストを正当化すると結論付けています。特に、検証可能な報酬が利用可能だがスパースであるドメインにおいて顕著です。