技術要約: ルブリック誘導型自己蒸留 (Rubric-Guided Self-Distillation: RGSD)

問題提起

検証可能な報酬（Verifiable Rewards: RLVR）を用いた強化学習は、プログラムによる検証器（数学やコードなど）が存在するタスクにおいて、顕著なポストトレーニングの進歩をもたらしてきました。しかし、臨床的な助言、科学的な解説、創造的な執筆といったオープンエンドな領域では、プログラムによる検証は適用不可能です。コミュニティでは、グラウンドトゥルース（正解）の代用として、重み付けされた基準のチェックリストである「ルブリック（rubrics）」が採用されています。

GRPO（Group Relative Policy Optimization）などの現在のルブリックに基づく訓練手法は、生成されたロールアウト（展開）のすべてをルブリックに対してスコアリングするために、外部のLLM検証器に依存しています。このアプローチには、以下の3つの決定的な制限があります：

1. 計算オーバーヘッド: すべての訓練ステップにおいて、高価なLLMジャッジの呼び出しが必要となります（通常、プロンプトあたり $G \times K$ 回の呼び出しが発生。ここで $G$ はロールアウト数、$K$ は基準数）。これはレイテンシとレートリミットのボトルネックを生じさせます。
2. 検証器のバイアスと報酬ハッキング: 報酬信号は、特定の検証器モデルの特性やバイアスを継承します。ポリシーは、基準を真に満たすのではなく、検証器を「ハック」すること（例：冗長性を増したり、根拠のない主張を行ったりすること）を学習してしまう可能性があります。
3. 希薄なクレジット割り当て: ルブリックに基づくRLは、通常、マルチクライテリア（多基準）の評価を、軌跡の最後における単一のスカラー報酬へと集約してしまいます。これは、どのトークンレベルの決定がルブリックの充足度を向上させたか、あるいは損なったかを判断するための弱い学習信号しか提供しません。

手法: ルブリック誘導型自己蒸留 (RGSD)

著者らは、訓練ループから外部のLLMジャッジを排除する、検証器フリーの訓練手法である Rubric-Guided Self-Distillation (RGSD) を提案しています。その核心となる洞察は経験的なものです。すなわち、ベースモデルにルブリックを特権的なコンテキスト（privileged context）として提供すると、提供しない場合と比較して、その応答のスコアは大幅に向上（30〜45パーセントポイント）します。RGSDはこの「コンディショニングによるリフト（向上）」を利用して、高密度なトークンレベルの監督信号を作成します。

RGSDパイプライン

RGSDは、同じベースモデル（$\theta_{base}$）の2つのコピーをインスタンス化します：

1. 生徒 (Student: $\pi_S$): ユーザープロンプト $q$ のみに条件付けされた訓練可能なポリシー。オンポリシーのロールアウト $y \sim \pi_S(\cdot|q)$ を生成します。
2. 教師 (Teacher: $\pi_T$): プロンプト $q$ および ルブリック集合 $R$ に条件付けられた、ベースモデルの凍結されたコピー。生徒が生成したプレフィックス $y_{<t}$ とルブリックを観察し、ターゲットとなるトークン分布 $\pi_T(\cdot|q, R, y_{<t})$ を生成します。

訓練目的関数:
スカラー報酬の最適化ではなく、生徒はクリップされたイェンセン・シャノン・ダイバージェンス (JSD) を用いて、教師のトークンごとの分布に一致するように訓練されます：
$$L_{RGSD}(\theta_S) = \mathbb{E}_{(q,R) \sim D, y \sim \pi_S} \left[ \frac{1}{T} \sum_{t=1}^{T} D_{\beta}^{clip} \left( \pi_S(\cdot|q, y_{<t}) \parallel \pi_T(\cdot|q, R, y_{<t}) \right) \right]$$
ここで $\beta=0.5$ は、前方および逆方向のKLダイバージェンスを補間します。

主要な実装の詳細:

• 高密度な監督: GRPOのような希薄な軌跡レベルの報酬とは異なり、RGSDはロールアウト内のすべてのトークンに対して学習信号を提供します。
• 検証器呼び出しなし: 訓練ループにおいて外部のジャッジ呼び出しは一切不要です。監督は完全に凍結された教師から行われます。
• 推論トレースの取り扱い: 推論モデル（例：Qwen3-Thinking）の場合、ルブリックに条件付けられた教師は、内部の「思考（thinking）」トレース（$\dots$）の中でルブリックの基準に明示的に言及することがあります。生徒がこれらの参照を捏造することを学習するのを防ぐため（生徒は推論時にこれらを見ることができないため）、RGSDは損失計算中に思考ブロックのトークンをマスクし、最終的な応答トークンのみを蒸留します。

主な貢献

1. 検証器フリーの訓練アルゴリズム: RGSDは、ルブリックを特権的なコンテキストとして用いたオンポリシーの自己蒸留を行う最初の手法であり、最適化ループからLLMジャッジを完全に排除しました。
2. 低コストでの競争力のある性能: 4つのベースモデル（Qwen-2.5 3B/7B, Qwen3-Thinking 4B/8B）と2つのドメイン（医療、科学）において、RGSDはジャッジベースのGRPOと同等のルブリック充足スコアを達成しました。
   • 医療ドメイン: RGSDは、GRPOの+5.9ppに対し、ベーススコアを+6.1pp向上させました。
   • 科学ドメイン: RGSDは、GRPOの+4.5ppに対し、+4.9pp向上させました。
3. 効率性と簡潔性: RGSDは、プロンプトあたりわずか1つのオンポリシー・ロールアウトを必要とします（GRPOの16個に対し）。さらに、ジャッジ呼び出しはゼロです。さらに、Qwen-2.5モデルにおいて、RGSDは実質的に短い応答を実現し、GRPOで見られる「冗長性のドリフト（verbosity drift）」を回避しながら、同等の品質を達成しました。
4. アブレーションによる洞察:
   • エンリッチメント信号: 生のルブリックを教師のコンテキストとして使用することは、自己生成された「ゴールデン（正解）」のリファレンス応答を使用することよりも、強力なエンリッチメント信号を提供します。
   • ジャッジの強度: より強力な検証器（例：gpt-oss-120b）を使用すれば、特定の条件下でGRPOがRGSDを上回る可能性がありますが、これには高価なロールアウトごとの検証器ループを維持するコストが伴い、また、より長く、主張の密度が高い応答を生み出す傾向があります。

結果と分析

• 性能の同等性: RGSDは、イン・ディストリビューション（RubricHub）およびアウト・オブ・ディストリビューション（HealthBench, ResearchQA）の両方のベンチマークにおいて、GRPOと競争力があります。著者らは、1pp未満の差は有意な勝利ではなく、同等であると解釈しており、シードの分散が低いことも指摘しています。
• 応答の長さと事実性:
  • Qwen-2.5モデルにおいて、GRPOは深刻な冗長性のドリフトを示し、RGSDよりも1.4〜2.3倍長い応答を生成しますが、一貫したスコア向上は見られません。
  • HealthBenchにおける事実的主張の監査によれば、GRPOの長さの膨張は、根拠のない主張の発生率の上昇（30.5%から45.1%へ）と相関していますが、RGSDはより保守的な主張密度（35.1%への上昇）を維持しています。
• 診断としてのコンディショニング・ギャップ: 「ルブリック・コンディショニング・ギャップ」（ベースモデルがルブリックを見た際の性能向上幅）の大きさは、RGSDの有効性を予測する指標となります。ベースモデルがルブリックを見ることで大きな恩恵を受けるドメイン（例：医療）において、RGSDはその潜在能力のより大きな割合を回収します。

意義とポジショニング

本論文は、RGSDを、検証器ベースのRLに対する普遍的な代替物としてではなく、補完的なレジームとして位置付けています。

• RGSDを使用すべき場合: 検証器の呼び出しが高価であったり、運用が困難であったり、あるいは信頼性が低かったりする場合、かつベースモデルが強力なルブリック・コンディショニング反応を示す場合に適しています。これは、外部のジャッジに伴う報酬ハッキングのリスクなしに、ルブリックの知識を効果的に内部化します。
• GRPOを使用すべき場合: 主な目的がルブリックのスコアを最大化することであり、強力で信頼できる検証器が利用可能かつ安価である場合、GRPO（強力なジャッジを用いる場合を含む）の方が高い性能を達成できる可能性がありますが、それには高いコストと、より長く、潜在的に事実性に乏しい応答という代償が伴います。

著者らは、RGSDが、ルブリックは単なる外部の採点ツールとしてだけでなく、高密度な自己蒸留のための特権的なコンテキストとして機能し得ることを示したと結論付けており、オープンエンドなドメインにおけるポストトレーニングへのスケーラブルな道筋を提示しています。