🤖 machine learning

Label-Free Reinforcement Learning via Cross-Model Entropy

本論文は、生成モデルの出力を独立した検証モデルで評価した対数尤度を利用するラベルなし強化学習報酬信号であるクロスモデルエントロピー（CME）を提案し、真のラベルや人間の嗜好に依存することなく、オープンエンドな指示追従のための効果的なポストトレーニングを可能にする。

原著者： Matt Gorbett, Hossein Shirazi

公開日 2026-05-29

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Matt Gorbett, Hossein Shirazi

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ロボットに物語を書かせたり質問に答えさせたりするのを想像してみてください。通常、それを教えるには、正解を知っている教師（テストを採点する数学の先生のような）や、「この答えは良い、あの答えは悪い」と判断する人間の判定者が必要です。しかし、人間の判定者を見つけるのは高価であり、数学の先生は数学の問題に対してしか機能しません。

この論文は、人間の教師や「正解の鍵」を必要とせずにロボットを教える新しい方法を紹介します。彼らはこれを**クロスモデルエントロピー（CME）**と呼びます。

以下は、簡単な比喩を用いたその仕組みの説明です：

問題：ロボットが自分自身と話す

ロボットに物語を書かせると想像してください。その物語が良いかどうかを確認するために、同じロボットにその物語を読ませて、「これを信じるか？」と言わせてみます。

リスク: ロボットが混乱したり間違いを犯したりした場合、自信を持って自分自身に「はい、これは完璧に理にかなっている！」と伝えるかもしれません。その結果、自身の誤りを強化してしまいます。これは、生徒が自分の宿題を採点し、すべて間違っているにもかかわらず自分自身に「A」を与えるようなものです。

解決策：「驚き」メーター

ロボットに自分自身を判断させる代わりに、著者は全く異なるファミリーのロボットから2 台目のロボット（「検証者」）を招き入れます。

設定: ロボット A（生徒）が答えを書きます。ロボット B（教師）がそれを読みます。
指標: ロボット B に「これは正しいか？」と尋ねるのではなく、「これにどれほど驚いていますか？」と尋ねます。
- ロボット B が答えを読み、「ああ、それは非常に普通で論理的な発言だ」と思う場合、それは驚いていません。これは高いスコアになります。
- ロボット B が答えを読み、「待てよ、あれは理にかなっていない！奇妙だ！」と思う場合、それは非常に驚いています。これは低いスコアになります。

「クロスモデル」のトリック

秘密のソースは、ロボット A とロボット B が異なるモデル（例えば、一方は Google 製、他方は Meta 製）であることです。

彼らが異なるため、ロボット A は自身の内部ロジックを使ってロボット B をだますことができません。
ロボット A が幻覚（事実と異なることを捏造すること）を起こそうとすると、ロボット B はロボット A 固有の誤りを共有していないため、驚く可能性が高いです。
これにより、ロボットが自身の誤りを繰り返すだけでシステムを欺くことが防がれます。

使用方法

研究者たちは、ロボットを訓練する方法であるGRPOを用い、通常の「報酬」をこの「驚きメーター」に置き換えました。

ロボットは質問に対して多くの異なる答えを生成します。
2 台目のロボットはそれらすべてを読み、それぞれに対してどれほど「驚いた」かを測定します。
1 台目のロボットは、2 台目のロボットが驚かない（つまり、答えがより自然で高品質に見える）答えを生成するように学習します。

発見した結果

彼らは 4 種類の異なるロボット（Qwen、Llama、Gemma、OLMo）でこれをテストし、以下を発見しました。

機能する: この「驚きメーター」で訓練されたロボットは、全く訓練されていないロボットよりも指示に従う能力が大幅に向上しました。
競合を凌駕する: 高価な人間のフィードバックデータで訓練されたロボットと同等のパフォーマンスを発揮しましたが、人間のラベルは不要でした。
より優れた教師はより良い: 「2 台目のロボット」（検証者）の能力が高いほど、1 台目のロボットはより良く学習します。
ランダムでは機能しない: 「ランダム」なロボットを教師として使用しても、あまり役立ちませんでした。これは、信号が単なるランダムノイズではなく、教師の実際の知性から来ていることを証明しています。

結論

この論文は、異なる独立したモデルを驚かせないようにすることで、大規模言語モデルをより賢く、より役立つように訓練できることを示しています。これは、人間の判定者に支払うことなく、また正解のデータベースを必要とせずに、高品質な訓練を得る方法です。

彼らが言及した限界点:

2 つのモデルを同時に実行する必要があるため、より多くのコンピューターパワーを消費します。
小規模なモデルと英語のテキストのみでテストされたため、巨大なモデルや他の言語でも完璧に機能するかどうかは現時点では不明です。
ロボットが真の創造性を発揮するのではなく、単に 2 台目のロボットと全く同じように響くように学習するわずかなリスクがありますが、彼らのテストではこれは発生しませんでした。

技術的サマリー：クロスモデルエントロピーによるラベルフリー強化学習

問題定義
強化学習（RL）を通じた大規模言語モデル（LLM）のポストトレーニングは、現在、信頼性の高い報酬信号の必要性によってボトルネックとなっています。既存のアプローチは以下の二極化に直面しています：

正解検証器： PPO や GRPO などの手法は、数学やコード実行など、自動的に検証可能な正しさに依存します。これにより、RL トレーニングは客観的な答えが存在するドメインに限定され、オープンエンドな指示追従は除外されます。
人間の嗜好ラベル： RLHF や DPO などの手法は、高価な人間の注釈を必要とし、報酬ハッキングの影響を受けやすくなります。
ラベルフリー自己参照信号： 最近の代替案（TTRL、Evol-RL、RENT など）は、生成器自身の出力を用いて、多数決やトークンエントロピーを通じて報酬を導出します。しかし、これらはオープンエンドなタスクにおいて構造的に欠陥があります。モデルが体系的に誤っていても内部的に整合性が取れている場合、自己参照信号は誤りを修正するのではなく強化してしまいます。さらに、多数決には規範的な答えが必要となるため、オープンエンドな生成には適用できません。

手法：クロスモデルエントロピー（CME）
著者らは、正解ラベルや人間の嗜好なしに、RL をオープンエンドな指示追従へ拡張するためのラベルフリー報酬信号として、クロスモデルエントロピー（CME） を提案します。

中核概念： 生成器に自身の出力を評価させるのではなく、CME は、独立した別の検証モデル（ $\pi_\phi$ ）にとって生成器の応答がどの程度「驚き」であるかを測定します。
報酬の定義： 報酬は、検証モデル下における生成器の応答の負の対数尤度として定義されます。
$r_{i,t} = -CME_{i,t} = \log \pi_\phi(y_{aligned, i, t} \mid x, y_{aligned, i, <t})$
ここで、 $y_{aligned}$ は、検証モデルのトークン空間に整合された生成器のトークンを表します。
理論的根拠： 期待 CME を最大化することは、数学的に逆 KL 発散 $D_{KL}(\pi_\theta \parallel \pi_\phi)$ の最小化（生成器のエントロピー項を除く）と同等です。これは実質的に、生成器の方針を検証モデルの分布へと蒸留します。検証モデルがドメイン内で生成器よりも有能であれば、これは生成器をより高品質な出力へと駆動します。
実装の詳細：
- 統合： CME はGRPO（Group Relative Policy Optimization）フレームワークに統合されます。これは標準的なスカラー報酬を、トークンレベルの連続信号に置き換えます。
- トークン整合： 生成器と検証器のトークナイザー間の不一致（例：Qwen と Gemma）に対処するため、著者らは文字レベルの整合手順を採用します。検証器の対数確率は、生成器トークンとの文字重複率で重み付けされ、トークナイザーの粒度に関わらず総対数尤度が保持されるようにします。
- トレーニングループ： 検証器についてはトレーニングフリーのセットアップであり、検証器の重みは固定されます。生成器は、CME スコアから導出されたグループ正規化されたアドバンテージを用いて更新されます。

主要な貢献

新規報酬信号： 自己参照信号ではなくクロスモデル評価に依存する、連続的かつトレーニングフリー、ラベルフリーの報酬である CME の導入。
オープンエンド RL への拡張： 自己整合性と多数決が失敗する領域において、ラベルフリー RL をオープンエンドな指示追従へ成功裏に拡張。
実証的検証： 任意の嗜好注釈を使用することなく、4 つのモデルファミリー（Qwen、Llama、Gemma、OLMo）および 3 つのトレーニングレジーム（事前学習済み、SFT、指示微調整済み）において、CME-GRPO がパフォーマンスを向上させることを実証。
信号の検証： ランダムに初期化された検証器が、実重みを持つ検証器よりも著しく低いパフォーマンスを示すことを示すことで、この信号が一般的な正則化のアーティファクトではなく、クロスモデル評価に由来することを証明。

実験結果
著者らは、LLM-as-Judge（GPT-5.2 および Claude Sonnet 4.6）を用いて、AlpacaEval 2.0 ベンチマーク（805 プロンプト）上で CME-GRPO を評価しました。

ベースモデルとの比較： CME-GRPO は、すべてのモデルファミリーにおけるすべての直接比較において、トレーニング未実施のベースモデルを上回りました。同点調整後の勝率は**52.5% から 71.4%**の範囲でした。
SFT/DPO との比較： SFT ベースモデル上では、CME-GRPO は、完全な UltraFeedback データセット（嗜好注釈を含む）を使用して同じベースでトレーニングされた DPO モデルのパフォーマンスと同等の性能を示しました。これは、CME-GRPO がプロンプトのみを使用し、嗜好ラベルを一切使用しなかったにもかかわらず達成されたものです。
検証器の能力： パフォーマンスは検証器の能力に比例して向上しました。より大規模な検証器（Gemma-4-E4B-it）は、小規模なものよりも高い勝率をもたらしました。重要なのは、ランダムに初期化された検証器がすべての実検証器よりもパフォーマンスが低く、信号が一般的な正則化のアーティファクトではないことを確認した点です。
自己参照手法との比較： CME-GRPO は、RENT（自己参照エントロピー最小化手法）を一貫して上回りました。特に、自己参照信号が誤りを強化しやすい事前学習済みベースモデルにおいて顕著でした。

意義と主張
本論文は、CME が、人間の嗜好データの禁止的なコストや、自己参照報酬の構造的リスクなしに、オープンエンドタスク向けに LLM をポストトレーニングするための実行可能な道筋を提供すると主張しています。独立した有能なモデルによる「驚き」を活用することで、この手法は正解の整合性を必要とすることなく、生成器を高品質な分布へと整合させます。

著者らは、この手法が効果的である一方で、検証器がターゲットドメインにおいて生成器よりも有能であるという仮定に依存していることに言及しています。また、計算オーバーヘッド（生成器 alongside 検証器の実行）、検証器のスタイルへのドリフト（モード崩壊）の可能性、および評価が人間の評価ではなく LLM ジャッジに依存していることなどの限界も認めています。この研究は、明示的なラベルが存在しない場合、有能なモデルにとって「驚きがない」応答が、高品質の強力な代理指標であることを示唆しています。