技術的サマリー：Think-with-Rubrics

1. 問題定義

現在の大規模言語モデル（LLM）に対する強化学習（RL）アプローチは、正解ラベルが存在する検証可能なタスクにおいて優れた性能を発揮します。しかし、信頼性の高い報酬シグナルが欠如しているため、RL をオープンエンドで検証不可能な指示遂行タスクに拡張することは依然として困難です。既存の解決策は、しばしばスカラー報酬または単一の生成報酬モデルに依存しており、これらは応答の質の微妙なニュアンスを捉えるにはあまりに粗い監督を提供します。

最近の「Rubric-as-Reward（ルブリックを報酬として）」パラダイムは、タスクを構造化された解釈可能な基準に分解することでこの状況を改善しましたが、重要な限界が残っています：ルブリックは単に外部評価者として扱われています。現在のフレームワークでは、ルブリックはモデルが応答を生成した後に適用され、パフォーマンスを測定する「事後（post-hoc）」的な役割しか果たしません。この設計により、ルブリックはモデルの生成プロセスや推論経路を能動的に導くことができず、方策の主要な推論トレースから切り離された状態のままとなります。

2. 手法：Think-with-Rubrics

著者は、ルブリックの生成をモデルの推論プロセスの内在的な一部として内部化させる新しいパラダイム THINK-WITH-RUBRICS を提案します。モデルは直接応答を生成するのではなく、まず成功基準を定義するための自己生成ルブリックを構築し、その後、その基準に基づいて条件付きで応答を生成します。

2.1 中核パラダイム

方策の軌道 $\tau$ は、2 つの連続したステップに因数分解されます：

1. ルブリック生成：モデルは入力指示 $x$ に基づいて自己生成ルブリック $\hat{r}$ を生成します：$\hat{r} \sim \pi_\theta(\hat{r} | x)$。
2. 応答生成：モデルは指示と自己生成ルブリックの両方に条件付けられて最終的な答え $y$ を生成します：$y \sim \pi_\theta(y | x, \hat{r})$。

これにより、モデルは受動的な実行者から、推論を行う前に成功のルールを確立する能動的な審議者へと変容します。

2.2 訓練ワークフロー

訓練プロセスは 2 つの段階で構成されます：

段階 1：SFT ウォームアップ
モデルが特定の <rubric>...</rubric><answer>...</answer> 形式に従うことを保証し、RL が形式準拠にステップを浪費するのを防ぐため、著者は教師あり微調整（SFT）を実施します。

• 教師蒸留：Openrubrics データセットにおいて、Gemini-2.5-Flash から応答を蒸留します。
• 目的：軌道全体に対する尤度を最大化し、ルブリック構築と答えの生成を分離する安定した構造で方策を初期化します。

段階 2：RL 訓練
モデルは、複合報酬システム $R(\tau) = \alpha R_{gold} + \beta R_{self} + \gamma R_{fmt}$ を用いた DAPO アルゴリズムで最適化されます。

• ルブリック検証器：Qwen3-32B-Instruct から蒸留された専用の軽量検証器が、応答が特定の基準を満たすかどうかを評価し、重み付けされた準拠スコアを出力します。
• ゴールデンルブリック整合性報酬（$R_{gold}$）：最終的な答えが Openrubrics からの正解の「ゴールデン」ルブリック（$r^*$）に対してどの程度準拠しているかを測定します。
• 自己生成ルブリック整合性報酬（$R_{self}$）：最終的な答えがモデル自身の 生成した ルブリック（$\hat{r}$）に対してどの程度準拠しているかを測定します。これにより内部的な整合性が強制されます。
• 形式報酬（$R_{fmt}$）：ルブリックと答えが正常に解析され、基準の数が妥当な範囲（5–15、ピークは 10）内にあることを保証することで、「報酬ハッキング」（例：些細な基準を生成すること）を防ぎます。

2.3 主要仮説

著者は、$R_{gold}$ と $R_{self}$ の同時最適化がフィードバックループを創出すると仮説立てています。もし答えが自己生成ルブリックを満たし、かつゴールデンルブリックでも高スコアを獲得する場合、自己生成ルブリックは暗黙的にゴールデン基準と整合するように促されます（$S(y, \hat{r}) \uparrow \land S(y, r^*) \uparrow \Rightarrow \hat{r} \approx r^*$）。

3. 主要な貢献

1. パラダイムシフト：ルブリックを外部評価指標から内部認知的ステップへと変換し、モデルが推論チェーン内で特定の文脈に合わせて基準を動的に適応できるようにします。
2. 統合された訓練ワークフロー：自己生成ルブリックとゴールデンルブリックの監督を組み合わせた手法を導入し、ルブリックの質に対する明示的な監督が不要であることを実証しました。ルブリックの学習は、答えの整合性の同時最適化を通じて創発します。
3. スケーラブルな自己進化：モデルが 自己生成ルブリックの監督のみ を使用して競争力のある性能を達成できることを実証し、外部アノテーションへの依存なしにスケーラブルな自己進化へ向かう道筋を示しました。

4. 実験結果

実験は、3 つの指示遂行ベンチマーク IFEval、IFBench、InfoBench において、Qwen3-8B および Qwen3-4B モデルに対して実施されました。

• 性能向上：THINK-WITH-Rubrics は、ゴールデンルブリックを外部報酬としてのみ使用する「Rubric-as-Reward」ベースラインを一貫して上回りました。
  • 8B モデルにおいて、混合報酬設定はベースラインに対して平均 3.87 ポイント の改善を達成しました。
  • 4B モデルにおいて、改善は 4.16 ポイント でした。
• 報酬構成：混合報酬設定（ゴールデンと自己生成の整合性を組み合わせる）が最良の結果をもたらしました。しかし、「自己生成報酬のみ」の設定（平均 57.17%）は、「ゴールデン報酬のみ」の設定（平均 56.81%）をわずかに上回り、自己進化の妥当性を検証しました。
• 効率性：THINK-WITH-RUBRICS の平均思考長（231 トークン）は、バニラ思考（401 トークン）よりも著しく短く、ルブリックが重要な要件を合理化されたプロセスに凝縮していることを示しています。

メカニズム分析

• 暗黙的な質の向上：ゴールデンルブリックによる監督は、直接的なルブリックレベルの比較がなくても、自己生成ルブリックの質を暗黙的に向上させます。
• 内部整合性：自己生成ルブリックによる監督は、モデル自身のルブリックと答えとの間の整合性を著しく向上させます。未訓練のモデルはしばしば自身が生成した基準に従うことに失敗しますが、自己監督はこの内部不整合を緩和します。
• ルブリックの質とパフォーマンス：自己のみによる監督は指示遂行のパフォーマンスを向上させますが、その結果生じるルブリックは必ずしも優れた汎用評価者となるわけではありません（RewardBench-2 で確認された通り）。その価値は、モデル自身の生成プロセス中に制約の整合性を維持することにあります。

5. 意義と主張

本論文は、THINK-WITH-RUBRICS が報酬モデリングと方策生成の間のギャップを埋めることで、LLM をオープンエンドな指示と整合させるための堅牢な解決策を提供すると主張しています。

• 能動的な導き：ルブリックを外部チェックではなく内部推論ステップとして扱うことで、モデルは自身の生成を望ましい結果へと能動的に導き、人間のメタ認知を模倣します。
• 自己進化の可能性：モデルが自己生成ルブリックのみを使用して改善できる能力は、スケーラブルな自己進化への実行可能な道筋を示唆し、外部の正解アノテーションへの依存を軽減します。
• 汎用性：このパラダイムは、異なるモデル規模（4B から 8B）およびさまざまな報酬重み設定において効果的であり、堅牢性を示しています。

著者は、ルブリック生成を推論経路に統合することが、オープンエンドなタスクの整合性のための一般的なパラダイムであり、従来の「思考」や「思考の連鎖（chain-of-thought）」手法よりも構造化され、自己整合的なアプローチを提供すると結論付けています。