技術概要：ARES（スケーラブルな LLM 強化学習のための自動ルブリック合成）

問題定義

検証可能報酬を用いた強化学習（RLVR）は、数学やコーディングなど、自動的に結果を検証できる分野において、大規模言語モデル（LLM）の改善に極めて効果的であることが実証されています。しかし、このパラダイムは根本的なスケーラビリティのボトルネックに直面しています。すなわち、二値の、結果レベルの検証に依存しており、これは希薄であり、医療、指示追従、専門的な執筆などのオープンエンドなタスクではしばしば実行不可能です。

この制限に対処するためにルブリックベースの報酬（多次元評価基準）を導入しようとする既存の試みは、主に 2 つの問題に悩まされています。

1. スケーラビリティ: ルブリック注釈付きデータの構築には、通常、質問、参照回答、評価基準の人手による専門家によるキュレーションが必要であり、大規模な展開を妨げています。
2. 粒度: 既存のルブリックの多くは、タスクレベルまたはデータセットレベルで定義されており、個々の質問の具体的な評価要件やニュアンスを捉えきれていません。

その結果、生前学習ドキュメントから大規模で質問固有の重み付けルブリックデータを生成し、多様なオープンエンドなドメインにおける RL 学習を可能にするスケーラブルなパイプラインが存在していません。

手法：ARES フレームワーク

著者は、生前学習ドキュメントを、自己完結型の質問、参照回答、および質問固有の重み付けルブリックを含む RL 準備完了インスタンスに自動的に変換するように設計された 6 段階のパイプラインであるARES（Automated Rubric synthEsis for Scalable RL）を提案します。

1. データパイプライン

このパイプラインは、以下の段階を経て、生前学習ドキュメント（例：DCLM、FineWeb-Edu、FinePDFs から取得）を処理します。

• ドキュメントフィルタリング: LLM ベースの分類器が、質問生成に適さない低品質、テンプレート過多、または文脈に乏しいドキュメントを除去します。
• ドメインとペルソナの割り当て: 保持されたドキュメントには、セマンティックドメイン（10 個のカテゴリから選択）とターゲットペルソナ（例：医師、学生、介護者）が注釈付けられます。これにより、多様な質問スタイルと推論深度を生成するように条件付けられます。
• ルブリック拡張 QA 共生成: 生成モデル（$M_{gen}$）が同時に以下のものを生成します。
  • 自己完結型の質問（ソースドキュメントなしで回答可能）。
  • ソースドキュメントに基づいた参照回答。
  • 質問固有のルブリック（$R_q$）。これは重み付けされた基準の集合 $\{(c_k, w_k)\}$ で構成されます。ルブリックには、望ましい特性に対する正の重みと、一般的な失敗モード（例：幻覚、重要な安全性開示の欠落）に対する負の重みを含みます。
• 品質検証: 生成された QA ペアは、自己完結性、ソースに対する回答の忠実性、情報漏洩の欠如（質問が回答を自明に明かさないこと）について検証されます。
• ルブリック検証: ルブリックは、適切に形成された基準、主要要件の網羅性、有効な重み範囲、および十分な多様性についてチェックされます。
• フォーマット変換: 検証されたインスタンスは、グループ相対方策最適化（GRPO）と互換性のある形式にシリアライズされます。

2. 報酬メカニズム

二値報酬とは異なり、ARES は RL 学習にルブリックベースの報酬関数を利用します。質問 $q$ と応答 $y$ に対して、報酬は以下のように計算されます。
$$R_{rubric}(q, y; R_q) = \sum_{k=1}^{N_q} w_k^{(q)} \cdot J_\phi(q, y, c_k^{(q)})$$
ここで、$J_\phi$ は応答が基準 $c_k$ をどの程度満たしているかをスコアリングする LLM ジャッジであり、$w_k$ は重要度重みです。これにより、密で診断的な監督が提供され、モデルは全体的な応答が不完全であっても、正しいコンポーネントに対して部分的なクレジットを受け取ることができます。

3. 学習設定

著者は、RL オプティマイザとして**グループ相対方策最適化（GRPO）**を採用しています。方策は、ルブリックベースの評価から導出された期待報酬を最大化するように学習され、サンプルされた応答のグループを比較して優位性を正規化します。

主要な貢献

1. ARES パイプライン: 生前学習ドキュメントを、自己完結型の質問、参照回答、および質問固有の重み付けルブリックを備えた RL インスタンスに変換する、スケーラブルで自動化されたフレームワーク。
2. 大規模データセット: 10 の多様なドメイン（社会科学、医学、技術、教育を含む）にまたがる10 万件のルブリック注釈付きデータセットの構築。このデータセットは、これまで小規模で手動キュレーションされたセットに限定されていた機能である、微細な粒度の報酬監督を提供します。
3. 実証的検証: 7 つのベンチマークにおける包括的な評価により、ARES で学習されたルブリックベースの RL が、継続的前学習（CPT）、教師あり微調整（SFT）、および二値報酬 RL を上回ることを実証しました。

実験結果

著者は、Qwen3-4B-Base を基盤モデルとして使用し、4 つのベースライン（CPT、NaturalReasoning（SFT）、Webscale（二値報酬 RL）、および生成データ上の SFT である ARES-SFT）に対して ARES-RL アプローチを評価しました。

• 全体的なパフォーマンス: ARES-RL は 7 つのベンチマーク全体で平均スコアが最も高く、CPT を 5.33 ポイント、NaturalReasoning を 6.78 ポイント、二値報酬 RL を 4.39 ポイント上回りました。
• オープンエンドタスク: 多次元のオープンエンドタスクで最も顕著な改善が見られました。
  • 指示追従（IFEval）: 二値報酬 RL より +19.27 ポイント。
  • 医療（HealthBench）: 二値報酬 RL より +5.37 ポイント。
  • 執筆（WritingBench）: 二値報酬 RL より +1.15 ポイント。
• 構造化タスク: データセットには他のドメインに比べて数学（930 例）やコーディング（1,631 例）の例が少なかったにもかかわらず、ARES-RL は GSM8K、HumanEval+、MBPP+ で最先端の結果を達成しました。これは、ルブリックベースの報酬の恩恵が構造化推論タスクにも転移することを示唆しています。
• アブレーション研究:
  • 構造化対包括的: 構造化ルブリックアプローチ（ARES-RL および General Rubric）は、包括的な「Blind Judge」ベースラインを上回り、評価を明示的な基準に分解することがより効果的な報酬信号を提供することを示しました。
  • 質問固有性: ARES-RL（質問固有のルブリック）は、平均して General Rubric ベースラインを上回り、特に制約が変化するタスク（例：IFEval）において顕著でした。これは、特定の質問に合わせて基準を調整することの重要性を浮き彫りにしています。
  • 安定性: 参照回答ベースの報酬は HealthBench などの特定のベンチマークでは良好に機能しましたが、多様なタスクタイプにわたって不安定でした（例：IFEval で大幅に低下）。一方、ARES-RL は堅牢なパフォーマンスを維持しました。

意義と主張

本論文は、ARES が高品質で多次元の報酬信号の合成を自動化することにより、オープンエンドなドメインへの RL のスケーリングという重要なボトルネックに対処していると主張しています。著者は以下を主張します。

• より豊かな監督: ルブリックベースの報酬は、二値検証や模倣ベースの SFT よりも密で診断的な学習信号を提供し、モデルが応答品質の微妙な側面（例：安全性、完全性、制約満足）の最適化を可能にします。
• スケーラビリティ: 生前学習ドキュメントを活用することで、ARES は人手による専門家キュレーションの必要性を排除し、ルブリックベースの RL を、これまで達成不可能だった規模（10 万件のインスタンス）とドメインの多様性（10 ドメイン）でアクセス可能にします。
• 一般化: このフレームワークは、多次元ルブリックで最適化された RL が、オープンエンドなドメインだけでなく、構造化推論やコーディングタスクにも効果的に転移し、ドメイン固有のデータが限られていてもパフォーマンスを向上させることを実証しています。

著者は、ARES が受動的なトークン予測からターゲットを絞った報酬最適化への転換を表し、生ドキュメントを複雑で多次元の能力のための焦点を絞ったポストトレーニング監督に変えるものであると結論付けています。