技術概要：共進化的な判別的評価基準（Rubrics）を通じた自己進化型言語モデル EVOLM

1. 問題定義

大規模言語モデル（LLM）の現在の事後学習手法、特に人間のフィードバックに基づく強化学習（RLHF）は、報酬信号を生成するために外部の監督に大きく依存しています。これらのソースには、人間の選好アノテーション、プロプライエタリな API ベースのジャッジ（LLM-as-a-judge）、スカラー報酬モデル、または検証可能な正解（ground-truth）が含まれます。それぞれがモデルの改善に根本的な天井を課しています：人間の判断は自らの能力を超えた能力を監督できません；プロプライエタリな API は依存関係とコストの障壁を生み出します；スカラー報酬モデルは報酬ハッキングの影響を受けやすいです；そして検証可能な報酬は正解が存在するドメインに限定されます。

LLM は事前学習から膨大な評価知識をエンコードしていますが、現在の手法は、この潜在知識を信頼性が高く自己維持可能な学習信号へと構造化することに失敗しています。中心的な課題は、この評価能力を抽出し構造化して、外部監督なしで信頼性の高いスコアリングを可能にする形式に変換することであり、これによりモデルは静的な評価基準の限界を超えて自己改善できるようになります。

2. 手法：EVOLM

著者は、単一の言語モデルが自身の生成（ポリシー）と評価（ルブリック）能力を共進化させることを可能にする事後学習フレームワーク EVOLM を提案します。中核的な革新は、評価知識を明示的に構造化し、判別的ルブリック（discriminative rubrics）へと変換することです。これは、小型で固定されたジャッジが好ましい回答と好ましくない回答を区別するのを助けるように最適化された自然言語の基準です。

2.1 中核コンポーネント

• ポリシーモデル（$\pi_\theta$）：質問に対する回答を生成します。
• ルブリック生成器（$\rho_\phi$）：与えられた質問に対して、自然言語でインスタンス固有の評価基準（ルブリック）を生成します。
• 固定ジャッジ（$J$）：生成されたルブリックに対して回答をスコアリングする小型の固定言語モデル（例：Qwen3-1.7B）です。ジャッジのパラメータはトレーニング全体を通じて固定されたままです。

2.2 学習目的とメカニズム

EVOLM はルブリックを潜在変数として扱い、変分推論を通じてルブリック生成を形式化します。目的は、ルブリックの判別有用性を最大化することです：固定されたジャッジによって適用された際、好ましい回答（$a^+$）に好ましくない回答（$a^-$）よりも高いスコアを割り当てる場合、そのルブリックは「良い」とされます。

学習目的は、エビデンスの下限（ELBO）を最大化し、好ましい回答と好ましくない回答の間のスコアギャップを広げるルブリックを報酬付けます：
$$\mathcal{L}_{rubric}(\phi) = \mathbb{E}_{r \sim \rho_\phi(r|q)} [\log \sigma(J(q, r, a^+) - J(q, r, a^-))] - \text{KL}(\rho_\phi(r|q) \| \rho_{ref}(r|q))$$
実際には、ジャッジによって解析可能な構造化された JSON スキーマにルブリックが準拠することを保証するために、フォーマット報酬と組み合わせたマージンベースの報酬を用いて最適化されます。

2.3 共進化学習ループ

この手法は、GRPO（Group Relative Policy Optimization）アルゴリズムを使用して、2 つのフェーズを交互に実行します：

1. フェーズ 1（ポリシー更新）：ルブリック生成器を固定します。ポリシーが回答を生成し、それらが現在のルブリックを用いて固定ジャッジによってスコアリングされます。ポリシーは、これらのルブリック由来の報酬を最大化するように更新されます。
2. フェーズ 2（ルブリック更新）：ポリシーを固定します。選好ペア $(a^+, a^-)$ をポリシー自身の出力から構築します。ルブリック生成器は候補ルブリックを生成し、ジャッジが両方の回答に対してスコアリングを行います。ルブリック生成器は、好ましい回答と好ましくない回答の間のスコアマージンを最大化するように更新されます。

2.4 選好ペアの構築

外部ラベルを回避するため、EVOLM は 3 つの相補的な手法を用いて、ポリシー自身の出力から完全に選好ペアを構築します：

• 時間的対比（Temporal Contrast）：現在の回答（$a^+$）を、以前のトレーニングチェックポイントからの以前の回答（$a^-$）とペアにします。ポリシーが改善するにつれて、時間的ギャップが難易度の増加する自然なカリキュラムを生み出します。
• 推論質問（Inferred Question, IQ）：ポリシーが好ましい回答が扱う質問を推論し、その推論された質問に対して好ましくない回答を生成して関連性をテストします。
• ルブリック条件付き（Rubric-Conditioned, RC）：ルブリックを条件として好ましい回答を生成し、質問のみを条件として好ましくない回答を生成し、ルブリックの有用性をテストします。

3. 主要な貢献

• 自己進化フレームワーク：EVOLM は、ルブリックの質を判別有用性として正式に定義し、外部監督、プロプライエタリな API、またはタスク固有の検証器なしでルブリック生成器をエンドツーエンドに学習する最初の手法です。
• 共進化：このフレームワークは、ポリシーの改善がルブリックを鋭くする（判別性を維持するため）というフィードバックループを確立し、より鋭いルブリックがさらなるポリシー改善を駆動するより情報量の多い報酬を提供します。
• ルブリック充実メカニズム：定性的分析により、学習されたルブリックは抽象的なラベルから具体的で検証可能なチェックへと進化することが明らかになりました。これらは特定の期待値（例：「答えは 144 です」）を埋め込み、制約を個別にチェック可能なサブタスクに分解し、包括的な判断を、小型のジャッジでも信頼性高く実行可能なパターンマッチングへと変換します。
• 汎化性：学習されたルブリックは、再学習なしで、見えないポリシー、異なるモデルファミリー、および分布外ドメイン（例：深層研究タスク）へ効果的に転移します。

4. 実験結果

実験では、ポリシー/ルブリック生成器として Qwen3-8B を、固定ジャッジとして Qwen3-1.7B を使用しました。

• ダウンストリーム性能：EVOLM 学習済みポリシーは、OLMo3-Adapt スイート（12 のベンチマーク）で平均 69.3% を達成し、以下の手法を上回りました：
  • GPT-4.1 でプロンプトされたルブリックで学習したポリシー（66.7%）。
  • Qwen3-8B でプロンプトされたルブリックで学習したポリシー（67.5%）。
  • 最先端のスカラー報酬モデル（SkyWork-RM-V2）の 59.7%。
  • 他のルブリックベースの RL 手法（RAR, RRD, RLCER, RUBRIC-ARM）で、これらは 66.7% から 67.6% の範囲でした。
• ルブリックの質：学習されたルブリックは、RewardBench-2 において GPT-4.1 よりも 25.7% 上回りました（特定の指標では 46.0% 対 20.3% ですが、アブストラクトではベンチマーク上で GPT-4.1 ルブリックに対して 25.7% の改善と引用されています）。
• 汎化性：
  • クロスポリシー：Qwen3-8B で学習したルブリックは、GPT-4.1 でプロンプトされたルブリックと比較して、見えない Qwen3-4B および Llama-3.1-8B ポリシーのダウンストリーム性能を向上させました。
  • クロスジャッジ：1.7B ジャッジで学習したルブリックは、より大型のジャッジ（Qwen3-8B, OLMo-3-7B）と組み合わせた際にも有効であり、プロンプトベースのベースラインに対して顕著な改善を示しました。
  • 分布外：深層研究タスク（HealthBench, ResearchQA）において、EVOLM ルブリックは HealthBench で 58.4% 対 52.5% となり、GPT-4.1 よりも専門家による人間のルブリックとのペアワイズ一致率が高くなりました。
• アブレーション研究：
  • ジャッジサイズ：小型の 1.7B ジャッジが最高のダウンストリームポリシーを生み出し、ルブリック内容の質がジャッジの能力よりも重要であることを示唆しています。
  • 学習ダイナミクス：共進化学習は、逐次学習（まずルブリックを学習し次にポリシーを学習）を上回り、適応的フィードバックループの重要性を浮き彫りにしました。
  • 報酬過最適化：スカラー報酬モデルは静的ベンチマーク（RewardBench-2: 86.4%）を支配していたにもかかわらず、最も弱いダウンストリームポリシーを生み出し、静的基準が変化するポリシー分布に適応できないことを確認しました。

5. 意義と主張

本論文は、モデルの評価能力を共進化的な判別的ルブリックに構造化することが、外部監督なしでの自己改善を可能にすることを EVOLM が実証していると主張しています。

著者らは、すべての外部報酬ソースが天井を課すと論じています：人間の判断は自らの能力を超えて監督できず、静的基準は学習ポリシーが作成する出力分布に適応できません。評価基準をポリシーと共進化させることで、EVOLM はこれらの制約を排除します。学習された評価構造は、見えないポリシー、ジャッジ、ドメイン間で転移可能であることが示されており、言語モデルにおける自律的でスケーラブルな自己改善への道筋を示唆しています。

この研究は、ルブリックを単なる解釈可能性のツールとしてではなく、事前学習からの潜在評価知識を抽出し、信頼性が高く自己維持可能な学習信号へと構造化するメカニズムとして位置づけています。