Rethinking Reward Supervision: Rubric-Conditioned Self-Distillation

技術要約：報酬監督の再考：ルーブリック条件付き自己蒸留（RCSD）

問題提起

推論型大規模言語モデル（LLM）のポストトレーニングは、現在、以下の2つのパラダイムに大きく依存していますが、いずれも詳細なフィードバックを提供する上で重大な限界を抱えています。

1. 検証可能な報酬を用いた強化学習（RLVR）： GRPO（Group Relative Policy Optimization）などの手法は、通常、評価フィードバックを疎なスカラー信号（例：正誤の二値や単一のスコア）に圧縮します。検証可能なタスクには効果的ですが、このアプローチは「なぜ」その軌跡が成功または失敗したのかという理由を隠蔽してしまい、モデルが正しい中間ステップと誤った中間ステップを区別できないという「クレジット割り当てのボトルネック」を生じさせます。
2. オンポリシー自己蒸留（OPSD）： これらの手法は、疎な報酬を教師モデルからの高密度なトークンレベルのガイダンスで置き換えます。しかし、既存のアプローチは、教師を単一の特権的な参照軌跡（特定の正解解法）に条件付けています。これは、監督を特定の推論パスに縛り付け、どのように回答を生成すべきかという方法を過度に指定し、有効な代替的な導出の空間を無視する可能性があります。さらに、もし学生モデルがこの単一のパスからわずかに逸脱した場合、教師は局所的な修正ではなく、グローバルな修正を促してしまう可能性があります。

さらに、ルーブリック（構造化された評価基準）は、スカラースコアよりも豊かで解釈可能な品質表現を提供しますが、従来の研究では、ルーブリックによる判断を単一のスカラー報酬に集約することで、この構造を最適化の過程で放棄してきました。

手法：ルーブリック条件付き自己蒸留（RCSD）

著者らは、ルーブリックを、オンポリシー自己蒸留のための特権的かつ構造化された教師側監督として扱うフレームワークである**ルーブリック条件付き自己蒸還（RCSD）**を提案します。ルーブリックのフィードバックをスカラーへと崩壊させるのではなく、RCSDは、学生自身のサンプリングされた軌跡に対して、基準レベルのルーブリック情報を教師モデルに条件付けることで、高密度なトークンレベルのガイダンスを提供します。

本フレームワークは、以下の2段階のパイプラインで動作します。

ステージ I：ルーブリック生成器の学習

インスタンス固有のルーブリックを取得する高コストに対処するため、著者らは専用のルーブリック生成器を訓練します。

• 教師ポリシー： 特権的な入力として、問題 ($x$) と参照回答 ($y^\star$) を受け取り、適切な評価基準を推論します。
• 学生ポリシー： 問題 ($x$) のみを観察し、教師の基準を近似するルーブリック ($r$) を生成することを学習します。
• 目的： 学生は、自身がサンプリングしたルーブリックの軌跡に沿って、教師のトークン分布に一致するようにオンポリシー蒸留を通じて学習されます。これにより、インスタンス固有の基準生成を再利用可能なモデルへと定着（アモルタイズ）させます。

ステージ II：ルーブリック条件付き推論

訓練されたルーブリック生成器を使用して、推論モデルの学習をガイドします。

• 教師ポリシー： 問題 ($x$) と生成されたルーブリック ($r$) を特権的なコンテキストとして受け取ります。
• 学生ポリシー： 問題 ($x$) のみを観察し、推論の軌跡 ($\hat{y}$) を生成します。
• 目的： 学生は、ルーブリックに条件付けられた教師の分布と、自身の分布との間のカルバック・ライブラー（KL）ダイバージェンスを最小化します。
  $$\mathcal{L}_{reason} = \mathbb{E}_{\hat{y} \sim p_S} \left[ \sum_{t=1}^{|\hat{y}|} D_{KL} \left( p_T(\cdot \mid x, r, \hat{y}_{<t}) \parallel p_S(\cdot \mid x, \hat{y}_{<t}) \right) \right]$$
• 設計の鍵： 単一の参照回答ではなく、ルーブリックに条件付けることで、教師は基準を意識したガイダンスを提供します。これにより、最適化信号は、単一のスコアや単一の参照パスに圧縮されるのではなく、部分的な正しさの異なる次元（例：正しいステップの後に局所的なエラーが発生するなど）を区別できるようになります。著者らは、学生がルーブリック条件付き教師分布のサポートをカバーすることを奨励するために、**前方KL（Forward KL）**ダイバージェンスを利用し、多様な妥当な推論パスを維持します。

主な貢献

1. 新しい監督インターフェース： RCSDは、ルーブリックを単なるスコアリングツールとしてではなく、最適化中のトークンレベルの学習を形成する、構造化された監督インターフェースとして再定義します。
2. 2段階のパイプライン： 著者らは、タスク固有のルーブリックを自動的に学習する（ステージ I）方法と、それを使用して推論をガイドする（ステージ II）方法を導入し、蒸留フェーズにおける手動のルーブリック注釈や高価なLLM-as-a-Judge報酬への依存を取り除きました。
3. 基準認識型オンポリシー学習： 単一の軌跡に条件付ける標準的なOPSDとは異なり、RCSDは基準に条件付けることで、学生自身のサンプリングされた軌跡であっても、特定の局所的なエラーを罰しながら正しいステップを維持するという、きめ細かなクレジット割り当てを可能にします。

実験結果

本手法は、検証可能なタスク（GPQA-DIAMOND, SciBench, PIQA）および非検証的なオープンエンドタスク（ResearchQA, RubricHub）を含む、多様な科学推論ベンチマークを用いて評価されました。

• パフォーマンス： RCSDは、ベンチマーク全体で最高の平均スコア（70.6）を達成しました。ベースとなるQwen3-8Bモデルを4.7ポイント上回り、GRPOを平均で1.0ポイント、OPSDを0.9ポイント上回りました。
• ドメイン特異性： ゲインは、ルーブリックに基づくタスクや科学的推論タスク（例：ResearchQAで+8.2ポイント、RubricHubで+4.9ポイント）で最も顕著であり、これらのタスクではスカラー報酬が応答の品質を捉えられないことが多いことが示されました。
• 汎化性能： 本手法は、ドメイン外の医学ベンチマーク（MedMCQA, PubMedQA）に対しても、破滅的忘却を起こすことなく堅牢な汎化性能を示し、学習された基準が一般的な推論構造を捉えていることを示唆しました。
• アブレーション研究：
  • 損失関数： 前方KLが最も効果的な目的関数であることが判明し、逆KLやJSダイバージェンスと比較して、最も高い平均パフォーマンスと高い学生エントロピー（多様性）を維持しました。
  • ルーブリックのソース： ステージIの学習済み生成器によって生成されたルーブリックを使用することで、グラウンドトゥルースの参照ルーブリックと同等の結果が得られ、2段階アプローチの拡張性が検証されました。
  • 堅牢性： 低品質なルーブリック入力（一般的、ノイズが多い、または削減されたもの）を用いても手法は有効であり続けましたが、インスタンス固有の学習されたルーブリックが最も強力な監督を提供しました。

意義と主張

本論文は、RCSDが、ポストトレーニングにおけるオープンエンドな推論モデルのための検証器不要（verifier-free）のアプローチを提供すると主張しています。最適化中に基準レベルの構造を保持し、ルーブリックを密なトークンレベルのガイダンスに変換することで、この手法はスカラー報酬最適化に固有のクレジット割り当てのボトルネックと、参照条件付き蒸留のパス特異的なバイアスに対処します。

著者らは、RCSDが、自動検証（正解の一致やユニットテスト）やスカラーの出力報酬では十分に捉えきれない高品質な応答を必要とするタスクにおいて、特に重要であると断じています。レスポンスが満たすべき特性（ルーブリック経由）を学習することを可能にすることで、特定の解決パスを模倣する方法（どのように行うか）ではなく、RCSDはより柔軟で堅牢な推論の向上を促進します。この研究は、複雑な推論タスクにおいて、構造化された多次元のフィードバックが、疎な報酬や単一の軌跡蒸留よりも優れた監督信号であることを示唆しています。