技術的サマリー：オンポリシー蒸留におけるベストオブN教師ロールアウト選択（BRTS）

1. 問題定義

オンポリシー蒸留（OPD）は、大規模言語モデル（LLM）のためのデータ効率に優れたポストトレーニング手法として登場しており、ここでは学生モデルが、教師のトークンごとの対数確率を用いて、自らがサンプリングした軌跡に対して教師あり学習を行う。OPD は、教師信号を学生が実際に訪れる状態に整合させることで暴露バイアスを軽減するが、標準的な実装では高分散の教師信号という課題を抱えている。

特定された核心的な限界は二つある：

1. ノイズの多い学生コンテキスト：教師信号は不完全な学生によって生成された接頭辞に基づいて計算されるため、局所的な教師フィードバックが情報に乏しくなる、ノイズの多い推論状態に学生が逸脱する可能性がある。
2. 確率的な教師ロールアウト：標準的な OPD は通常、プロンプトあたり単一の教師ロールアウトに依存する。教師は確率的であるため、単一のサンプリング軌跡が誤っていたり、情報が不足していたり、学生の現在の推論行動と整合性が取れていなかったりする可能性がある。これは、特に教師のサンプリング出力の正解性やスタイルが大きく変動する困難なプロンプトにおいて、信頼性の低いガイダンスをもたらす。

その結果、標準的な OPD は誤った教師信号を伝播させたり、学生に完全で正しい推論経路を提示できなくなったりするリスクがあり、困難な推論ベンチマークにおけるその有効性を制限している。

2. 手法：BRTS フレームワーク

著者は、OPD ループ内で教師信号に使用される前に信頼性の高い教師軌跡を選別するためのフレームワークであるBRTS（Best-of-N Rollout Teacher Selection）を提案する。BRTS は、標準的な学生コンテキスト蒸留を、選択された高品質な教師軌跡から構築された教師コンテキスト教師あり学習ブランチによって拡張する。

2.1 正解性と整合性を考慮した軌跡選別

各プロンプトに対して、BRTS は N 個の無条件教師ロールアウト（$\{y_{T,i}\}_{i=1}^N$）のプールをサンプリングする。選択プロセスは以下の優先順位に従う：

1. 優先度 1：正解性。抽出された最終回答が正解（$y^*$）と一致するロールアウトをフィルタリングする。
2. 優先度 2：学生との整合性。複数の正解ロールアウトが存在する場合、BRTS は学生のトップ-K 候補セットとのトークンレベルの重なりが最も高いものを選択する。これにより、選択された軌跡が学生の現在の推論分布と互換性があることを保証する。
3. 正解ガイド回復（ティア 2）。すべての無条件教師サンプルが失敗した場合（つまり、正しいものが一つもない場合）、BRTS は回復ステップを呼び出す。これは、正解を検証信号として静かに注入しつつ、教師に自然な導出を生成するよう指示する修正プロンプトを構築する。新しいロールアウトをサンプリングし、正しければ選択する。これも失敗した場合、システムは学生との重なりが最も高い無条件ロールアウトにフォールバックする。

2.2 教師コンテキスト教師あり学習

トレーニング目的関数は、2 つの損失成分を組み合わせる：

• 学生コンテキスト損失（$L_{stu-ctx}$）：標準的な OPD 目的関数であり、学生が生成した接頭辞を条件とした学生と教師の分布間の逆 KL 発散を最小化する。これは、学生が実際に訪れる状態に対して学生を修正する。
• 教師コンテキスト損失（$L_{tea-ctx}$）：選択された教師軌跡（$y'$）上で計算される補助損失。ここでは、学生と教師の分布の両方が教師の接頭辞を条件とする。これにより、学生は現在の高い確率領域の外にある可能性のある、一貫性のある正しい推論経路に曝される。

総損失は以下のように定義される：
$$L_{total} = L_{stu-ctx} + \lambda L_{tea-ctx}$$
ここで、$\lambda$ は重み付け係数（経験的に 10 に設定される）である。

2.3 トップ-K 候補方向

これらの損失を効率的に実装するために、BRTS はトップ-K 集約を使用する：

• 学生コンテキストブランチでは、候補トークンセットは学生接頭辞下での学生のトップ-K トークンから導出される。
• 教師コンテキストブランチでは、候補セットは選択された教師接頭辞下での教師のトップ-K トークンから導出される。これにより、補助ブランチは、学生が現在考慮していない可能性のある教師が好むトークンを教師あり学習させつつ、コンパクトな候補セットを維持できる。

3. 主要な貢献

本論文は、その貢献を以下のように要約している：

1. 高分散教師信号の特定：著者は、OPD における標準的な学生コンテキスト教師あり学習が、ノイズの多い学生接頭辞と確率的な教師ロールアウトによって制限されており、困難なプロンプトにおいて教師信号が信頼できないことを強調している。
2. BRTS の導入：信頼性の高い教師軌跡を選択・蒸留するための軽量フレームワーク。これは「正解性優先、整合性次点」の選択規則を採用し、失敗した無条件サンプルに対する正解ガイドのフォールバックを含んでいる。
3. 実証的改善：BRTS は、困難な推論ベンチマークにおいて標準的な OPD を大幅に上回る。論文は、教師候補の品質、回復カバレッジ、バックボーン選択が性能にどのように影響するかを示す診断分析を提供している。

4. 実験結果

実験は、1.5B 学生モデル（DeepSeek-1.5B）と各種教師構成（JustRL-1.5B および DeepSeek-R1-Distill-Qwen-7B）を用いて、AIME 2024、AIME 2025、およびAMC 2023で行われた。

• 性能向上：BRTS は学生のみをベースラインとする場合に一貫して改善を示す。向上はより困難な AIME 2025 データセットで最も顕著である。例えば、AIME 2024 では、4 つの教師候補を使用した場合の平均精度は 0.4000 であり、ベースラインの 0.3917 と比較して向上した。
• ティア 2 回復の影響：正解ガイドの回復ステップ（ティア 2）は、無条件サンプリングが失敗する困難なプロンプトで大幅な改善をもたらす。AIME 2025 において、ティア 2 を追加することで、多数決精度は（ティア 1 のみの）0.2748 から 0.3133 に増加した。
• トレーニング初期のピーク：BRTS はベースラインと比較してトレーニング初期段階でより高い性能ピークを達成し、より速い収束と優れた計算性能トレードオフを示唆している。
• 頑健性：この手法は、教師バックボーンを交換した場合（例：1.5B 学生に対して 7B 教師を使用）にも有効であり、軽微なプロンプトの摂動に対して脆くない。むしろ、摂動は教師サンプルの相関を低下させるのに役立つ。
• 計算コスト：オーバーヘッドは modest（控えめ）である。教師候補プールを 1 から 2 に増やすと、8×B200 GPU 上でトレーニングステップあたり約 59 秒追加されるが、性能向上を考慮すれば許容範囲と見なされる。

5. 意義と主張

本論文は、BRTS がオンポリシー蒸留における重要なボトルネック、すなわち困難なタスクにおける確率的教師信号の信頼性のなさを解決すると主張している。教師信号を正解性を考慮した（誤りをフィルタリングする）かつ整合性を考慮した（学生の分布に一致する）ように構造化することで、BRTS は確率的な教師ロールアウトを構造化された高品質な教師信号へと変換する。

著者は、BRTS を OPD の代替としてではなく、学生が標準的な教師あり微調整に伴うカタストロフィックフォージングや、標準的な OPD の高分散を招くことなく、完全で信頼性の高い推論経路から学習することを可能にする、必要な拡張として位置づけている。この手法は、推論能力を向上させるスケーラブルで軽量な拡張として提示されており、特に正解が検証に利用可能なドメインにおいて有効である。