技術的サマリー：二つは一つより優れている：崩壊のないマルチ報酬 RLIF 訓練フレームワーク

1. 問題定義

検証可能な報酬を用いた強化学習（RLVR）は、大規模言語モデル（LLM）の推論能力を大幅に向上させてきましたが、外部監督（例：人間の注釈、ゴールドスタンダードの解）に強く依存しており、そのスケーラビリティを制限しています。内部フィードバックからの強化学習（RLIF）は、モデル自身から報酬信号を導出する（例えば、自己確信度（エントロピー最小化）やコンセンサスベースの指標（多数決）など）ことで、教師なしの代替手段を提供します。

しかし、既存の RLIF 手法は、報酬ハッキングとモデル崩壊という繰り返される失敗モードに悩まされています。本論文は、これらの失敗が単一の内部報酬信号への依存に起因すると主張しています。

• 自己確信度報酬は、高い確信度を持つトークン分布を好むため、入力品質に関係なく、モデルが短く、決定論的、テンプレートのような出力を生成する「トークンモード崩壊」を引き起こす傾向があります。
• クラスター投票報酬（コンセンサスベース）は、「回答モード崩壊」を引き起こす可能性があります。これは、モデルが推論空間を漂流させ、単一の支配的（しかし潜在的に誤っている）回答クラスターに収束する、長くエントロピーの高い完了を生成する現象です。

この挙動は、グッドハートの法則を体現しています。単一の代理指標が最適化目標となった場合、方策は根本的な推論能力の向上ではなく、その代理指標を搾取するため、初期の改善に続いて劣化する軌道を描きます。

2. 手法

著者は、訓練信号を 2 つの相補的な構成要素に分解し、崩壊を防ぐための標的化された正則化を導入するマルチ報酬 RLIF フレームワークを提案します。このフレームワークは、GRPO 様式（グループ相対方策最適化）の目的関数内で動作します。

2.1 二重報酬メカニズム

与えられたプロンプトに対して、モデルは $G$ 個の完了をサンプリングします。各完了に対して、2 つの内在的報酬が計算されます。

1. 回答レベル報酬（クラスター投票）: 最終回答を抽出し、同等性によってクラスター化します。ある完了は、その回答クラスターのサイズに比例した報酬を受け取ります。これは、少数派クラスターにもゼロ以外の値を与えて多様性を促しつつ、依然としてコンセンサスを好む、二値の多数決よりも密な信号を提供します。
2. 完了レベル報酬（自己確信度）: モデルの次トークン分布と一様分布との間の平均 KL 発散に基づきます。これは、推論プロセス中に確信度が高く、エントロピーの低いトークン生成を報酬します。

2.2 GDPO ベースの正規化

尺度の違い（例えば、語彙サイズに依存する自己確信度値と $[0, 1]$ 範囲のクラスター報酬など）により、一方の報酬信号が他方を支配することを防ぐため、フレームワークは GDPO に着想を得たグループ別マルチ報酬正規化を適用します。各報酬チャネルは、$G$ 個の完了のグループ内で独立して z スコア化され、その後、単一のロールアウトレベルのアドバンテージに結合されます。
$$A_g = \alpha \cdot \hat{R}_{cluster}(a_g) + \beta \cdot \hat{R}_{cert}(c_g)$$
これにより、回答の質と推論の確信度の相対的な重要性は、信号の生分散ではなく、重み $\alpha$ と $\beta$ によって制御されます。

2.3 KL-Cov 正則化

エントロピー崩壊の残余リスクに対処するため、著者はKL-Covという標的化された正則化戦略を導入します。

• メカニズム: この手法は、ログ確率とロールアウトアドバンテージとの間の共分散が最も高いトップ $k$（例：2%）のトークンを特定します。これらの「高共分散トークン」がエントロピー崩壊の主要な駆動因子です。
• ペナルティ: グローバルな KL ペナルティを適用する代わりに、フレームワークはこれらの高共分散トークンのみに標的化された $L_1$ ペナルティ（絶対ログ重要度比）を適用します。残りの約 98% のトークンは、標準的なクリップされた GRPO 更新を受けます。
• 目的: これは、不均衡なエントロピー減少を引き起こす特定のトークンを抑制しつつ、トークン分布の残りの部分における探索と多様性を維持します。

3. 主要な貢献

1. マルチ報酬 RLIF フレームワーク: 回答レベルのコンセンサスと完了レベルの自己確信度を共同で最適化する新しいアーキテクチャ。単一代理指標最適化に関連する失敗モードを緩和します。
2. GDPO 正規化: 教師なしマルチ報酬設定へのグループ別正規化の適用により、尺度の違いによる一方の信号の他方への支配を防ぎます。
3. KL-Cov 正則化: 崩壊を招く高共分散トークンを特に罰することで、一般的な探索を阻害することなくエントロピー崩壊を防ぐ標的化された方策制約。
4. 実証的検証: 相補的な内部報酬を標的化された正則化と組み合わせることで、外部の真値監督なしに安定した長期的推論を支援できることを示実証。

4. 実験結果

このフレームワークは、Qwen2.5-1.5B および Qwen2.5-3B ベースモデルを用いて、5 つの数学的推論ベンチマーク（GSM8K、MATH500、MMLU-Pro、AIME 2024/2025）と 2 つのコード生成ベンチマーク（LiveCodeBench v6、CRUXEval-O）で評価されました。

• 安定性対崩壊: 単一報酬ベースライン（例：自己確信度のみの INTUITOR）は、初期の獲得後（例：ステップ 160–200）、精度がほぼゼロにまで低下する壊滅的な崩壊を示しました。KL-Cov なしのマルチ報酬アプローチは、この崩壊を遅らせましたが、最終的には劣化しました。完全なマルチ報酬 + KL-Cov手法は、訓練期間全体（340 ステップ）にわたって安定しており、ピークパフォーマンスの 89–99% を維持しました。
• 性能: 提案された手法は、教師あり RLVR ベースライン（真値報酬を用いた GRPO）に近い性能を達成しつつ、完全に教師なしで動作しました。
  • Qwen2.5-3B において、この手法は複数の指標で教師ありベースラインと同等かそれ以上の性能を達成しました（例：LiveCodeBench における pass@1 は 7.7% で、教師あり GRPO の 6.4% を上回りました）。
  • 単一報酬の教師なしベースラインを大幅に上回りました（例：1.5B モデルの GSM8K において、INTUITOR と比較して 45.9 パーセントポイント上回りました）。
• 一般化: 数学的タスクで学習された推論構造は、コード生成タスク（分布外）へ効果的に転移し、この手法は単一報酬ベースラインを上回りました。

5. 意義と主張

本論文は、以前の教師なし RL 手法で観察された不安定性は、RLIF 固有の欠陥ではなく、単一の内部代理指標を最適化することの結果であると主張しています。報酬信号を構造的に相補的な構成要素（回答の合意とトークンの確信度）に分解し、崩壊を駆動する特定のトークンに対する標的化された正則化を適用することで、このフレームワークは外部監督なしに安定した長期的推論を実現します。

著者は、この研究を外部監督された RLVR のスケーラブルな代替手段として位置づけ、将来の研究が複雑な推論軌道をさらに支援するために追加の内部信号を探求できることを示唆しています。結果は、「二つは一つより優れている」ことを示しています。適切に正規化され正則化された相補的な内部報酬は、モデルが狭い報酬追求パターンに崩壊するのを防ぎ、複雑な問題解決に必要な探索を維持することができます。