🤖 AI

CoRE: Consensus Rewards via Equilibrium for Test-Time Reinforcement Learning

本論文は、脆弱な多数決に代わり、レプリケーター力学から導出されたグラフベースのコンセンサス報酬を用いることで、多様なモデルやベンチマークにおいて精度と収束速度を向上させる、段階的な自己教師あり信号を提供するテスト時強化学習手法であるCoREを導入するものである。

原著者： Ambuj Mehrish, Sebastiano Vascon

公開日 2026-08-11

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Ambuj Mehrish, Sebastiano Vascon

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

超スマートなロボットが、難解なパズルを解く方法を学ぼうとしている世界を想像してみてください。しかし、そこには答えが合っているかどうかを教えてくれる人が誰もいません。これは、ラベルのない新しい問いに直面したときの現代のAIモデルの日常です。学習するためには、通常、モデルに対して「よくできました！」や「もう一度やってみて！」と伝える教師が必要です。しかし、もし正解の鍵（アンサーキー）が存在しない場合はどうなるでしょうか？ここで、「テスト時強化学習（Test-Time Reinforcement Learning）」と呼ばれる巧妙な手法が登場します。これは、AIが同じ問題に対して多くの異なる試行（「ロールアウト」と呼ばれます）を生成し、自分自身の成果を観察することで、自らを生徒として教え込むという賢いトリックです。

標準的な方法は、教室での投票のようなものです。もしAIが64通りの異なる回答を生成した場合、単純にそれらをカウントアップします。もし35個が「42」と言い、29個が「17」と言ったなら、AIは最も多くの票を得た「42」が真実であると仮定します。そして、「42」と言ったすべての試行に報酬を与え、残りの試行には罰を与えます。これはほとんどの場合うまく機能しますが、致命的な欠陥があります。それは、幸運な推測と、優れた論理的解決策を区別せず、さらに「多数派」が自信を持って間違っている可能性を無視してしまうことです。もし、少数のスマートで自信に満ちた試行が「17」と言い、より大きな混乱したグループが「42」と叫んでいたとしても、投票システムはスマートな少数派を押しつぶしてしまうのです。この論文は問いかけています。単に「どれだけ多くの意見が一致しているか」ではなく、「どのように意見が一致しているか」を重視する、よりスマートな自己学習の方法を構築できるのではないか、と。

投票箱の問題点

探偵たちが犯罪を解決しようとしている場面を想像してみてください。（「多数決」方式という）古い方法では、彼らはただ手を挙げます。もし60人の探偵が執事を指し、40人が庭師を指していたら、執人が有罪となります。しかし、もしその60人が混乱しており、40人が実際に手がかりを正しく読み取っていたとしたらどうでしょう？投票システムは、スマートな探偵を罰し、混乱した探偵に報酬を与えてしまうことになります。これでは、チーム全体が時間の経過とともに愚かになってしまいます。

これは、標準的なテスト時強化学習を使用しているAIモデルにまさに起こっていることです。彼らは大量の回答を生成し、勝者を数え、その勝者が正しいと仮定します。もしAIが、たまたま人気が出ただけの系統的な間違いを犯した場合、その間違いを強化してしまいます。それは、たとえナンセンスなことを叫んでいても、声の大きい者が勝つ壊れた民主主義のようなものです。

CoRE：探偵たちの円卓会議

この論文の著者である Ambuj Mehrish と Sebastiano Vascon は、CoRE（Consensus Rewards via Equilibrium：平衡によるコンセンサス報酬）と呼ばれる新しい手法を提案しています。単に頭数を数えるのではなく、CoREはAIの試行を複雑な関係性のネットワークとして扱います。

その仕組みを、簡単な比喩を用いて説明します。
AIの64通りの試行を、部屋に座っている人々だと想像してください。

グラフ（Graph）： 単に答えを叫ぶ代わりに、これらの人々は巨大な接続のウェブを形成します。二人の人間は、同じ答えを出したときに接続されます。しかし、その接続は単なる「イエス／ノー」ではありません。それは、彼らの推論がいかに似ていたか（同じ論理を用いたか？）や、彼らがどれほど自信を持って聞こえたか（確信を持って話したか？）によって重み付けされます。
平衡（Equilibrium）： システムは次に、「レプリケーター・ダイナミクス」と呼ばれる数学的なシミュレーションを実行します。これは、自信に満ちた論理的な隣人から最も支持されている人々が立ち上がり、緊密で強力な輪を形成していく「椅子取りゲーム」のようなものだと考えてください。「支配的集合（dominant set）」とは、相互の支持を最も強く保持しているグループのことです。
報酬（Reward）： 勝者に投票した全員に単純な「合格」や「不合格」を与えるのではなく、CoREは段階的なスコアを与えます。もしあなたの回答が、緊密で自信に満ちた論理的な輪の一部であったなら、高い報酬が得られます。もしあなたが弱く混乱したグループの一部であったなら、低い報酬が得られます。たとえあなたが少数派であったとしても、もしあなたのグループが最も一貫性があり、自信に満ちていたならば、CoREは実際にあなたを勝者として選ぶかもしれません。

研究結果

研究者たちは、この新しい「CoRE」手法を、従来の「多数決」手法と、7つの異なるAIモデルおよび5つの数学・科学ベンチマークを用いてテストしました。結果が本物であることを確認するために、3つの異なるランダムシード（基本的には3つの異なる開始条件）を用いて実験を行いました。

結果は非常に有望でした：

スコアの向上： CoREを使用したモデルは、学習前の状態と比較して、平均で21.7ポイント精度が向上しました。従来の投票法による向上は20.4ポイントでした。
争いにおける勝利： 真の魔法は、答えが割れていた時に起こりました。AIが確信を持てず、「票」が拮抗していた状況において、CoREは投票法を最大で7.5ポイント上回りました。CoREは、投票システムが見過ごしてしまうであろう「スマートな少数派」を救い出すことに成功したのです。
学習の高速化： CoREは単に良くなっただけでなく、より速く到達しました。CoREは、投票法と同じ最終的な精度レベルに、54%から70%も少ないステップ数で到達しました。これは、CoREによる段階的で微細な報酬が、AIにとってより明確で役立つ信号を与えていることを示唆しています。

「リカバリー・ゾーン（回復領域）」

論文では、これがいつ最も効果を発揮するかも説明しています。もしAIが問題を全く解けないほど無能である場合、あるいは全員が完璧に一致しているほど優秀である場合、CoREは従来の投票法と同じ挙動を示します（これは問題ありません）。しかし、混乱した中間領域――つまり、正解の自信に満ちた回答のグループと、誤った自信に満ちた回答のグループが争っているような状況において、CoREは輝きを放ちます。

著者たちは、正解が誤った回答よりもわずかに自信を持っている場合、CoREは形勢を逆転させ、たとえ少数派であっても正しい答えを選び出すことができることを数学的に示しました。それは、確かなアリバイを持つ40人の探偵が、単に推測している60人の探偵よりも信頼できると判断する、賢明な裁判官のようなものです。

結論

この論文は、投票システムを完全に捨てる必要はないことを示唆しています。CoREは実際には、投票を一つの特殊なケースとして含んでいます。しかし、「社会的知性」の層を加えること――すなわち、答えが互いにどのように支え合っているか、そしてどれほど自信があるかを見ること――によって、脆く、全か無かの投票を、スマートで較正された報酬システムへと変えることができます。

著者たちは、これがすべてを解決する魔法の杖ではないことも慎重に注記しています。もしAIが完全に迷子になっている場合（「能力の底」）、CoREがゼロから正しい答えを創り出すことはできません。しかし、AIが「ほとんど正解しているが、群衆に惑わされている」というトリッキーな問題に対しては、CoREは、単に声の大きい叫び声ではなく、静かで自信に満ちた理性の声に耳を傾ける方法を提示しています。それは単純な人数確認を洗練された対話へと変え、AIモデルが自らの間違いからより速く、より賢く学ぶことを可能にするのです。

技術要約: CoRE – テスト時強化学習のための平衡によるコンセンサス報酬

問題提起

テスト時強化学習（Test-time Reinforcement Learning: TTRL）は、モデル自身のロールアウトから教師信号を導出することで、ラベルのないテストデータに対する言語モデルの推論能力を向上させることを目的としています。標準的なアプローチである**多数決（Majority Voting）**は、 $N$ 個のサンプリングされた回答の集合を「投票箱」として扱い、最も頻度の高い回答を擬似ラベルとして特定し、そのラベルに一致する軌跡に対してバイナリ報酬（1または0）を割り当てます。

この手法には、以下の3つの決定的な限界があります。

脆弱な集計: 正解であっても少数派であれば切り捨てられてしまいます。たとえその正解が内部的に一貫していたとしてもです。逆に、誤った多数派のクラスターに報酬を与えてしまい、系統的なエラーを増幅させる可能性があります。
バイナリ報酬: 根拠の裏付けがある導出過程と、単なるラッキーな推測を区別できず、同一の報酬を割り当ててしまいます。これにより、合意の質の差を識別できません。
一律な質問の重み付け: すべての質問を等しく扱います。ロールアウトが「一貫したコンセンサス」を形成しているのか、あるいは「互いに相容れない解決策の断片化された集合」であるのかを区別しません。

核心となる課題は、単に票数を数えるのではなく、推論パス間の関係構造と相互支持を捉えるような報酬信号を、ラベルのないロールアウトから構築することです。

手法: CoRE

著者らは、多数決をグラフベースの平衡アプローチに置き換える手法であるCoRE (Consensus Rewards via Equilibrium) を提案しています。CoREは、標準的なTTRLと同じ $N$ 個のロールアウトを使用しますが、それらを異なる方法で処理して洗練された信号を生成します。

1. ロールアウト・グラフの構築

CoREは、ノードが $N$ 個のロールアウトを表す重み付きグラフ $G=(V, E, \omega)$ を構築します。エッジは、以下の3つの信号を組み合わせたアフィニティ行列 $A'$ によって定義されます。

回答の一致 (Answer Agreement): ハードなカーネル $K_{ans}$ により、抽出された回答が同一であるロールアウト間でのみエッジが存在することを保証します。
推論の類似性 (Reasoning Similarity): TF-IDF $n$ -gram ベクトルのコサイン類似性に基づくソフトなカーネル $K_{rsn}$ が、同じ回答クラス内での結びつきを強化します。
信頼度の較正 (Confidence Calibration): ノードの重み $w_i$ は、生成の信頼度（平均トークン対数確率）から導出されます。エッジはエンドポイントの信頼度の幾何平均 ( $\sqrt{w_i w_j}$ ) によってスケールされ、高信頼度の軌跡が互いをより強く補強するようにします。

最終的なアフィニティ行列 $A'$ は、各ブロックが固有の回答クラスに対応するブロック対角行列となります。

2. レプリケーター動力学による支配的集合の抽出

CoREは、レプリケーター動力学 (Replicator Dynamics: RD) という進化ゲーム理論的な最適化プロセスを用いて、グラフから支配的集合 (Dominant Set: DS) を抽出します。これは、単なる票数のカウントではなく、グラフ構造を利用するものです。

初期化: システムは、各回答クラスのサイズに比例した初期質量を割り当てることで、単体（simplex）の重心からスタートします（実質的に多数決から開始します）。
動力学: システムは、二次形式 $x^\top A' x$ に基づいて質量分布 $x$ を反復的に更新します。このプロセスは、最も相互に支持し合う軌跡のサブセットに質量が集中する安定点 $x^*$ へと収束します。
結果: $x^*$ のサポート（質量が閾値を超えているノード）がコンセンサスを定義します。

3. 報酬の生成

平衡状態 $x^*$ から、CoREは3つの異なる信号を導出します。

洗練された擬似ラベル ( $y^*$ ): 平衡質量が最も高い回答クラスです。これは、非常に一貫性の高い少数派のクラスターが支配的となった場合、単純な多数決の結果とは異なる可能性があります。
段階的報酬 ( $R_i$ ): 各ロールアウトは、バイナリの0/1ではなく、コンセンサスに対するアフィニティに比例した連続的な報酬を受け取ります。
凝集性ゲート ( $w_q$ ): コンセンサスの全体的な一貫性を測定する質問レベルのスカラー値です。このゲートは、方策更新（GRPO）における損失関数をスケールし、信頼できるコンセンサスが存在しない質問をフィルタリングします。

主要な貢献

1. 方法論的革新

CoREは、支配的集合の抽出を利用して報酬を構築する最初のテスト時RL手法です。これは、ロールアウトのグループを「投票箱」から「グラフ」へと変貌させ、たとえ人数で劣っていても、一貫性と信頼性を持つ「正しい少数派クラスター」の回収を可能にします。また、補助的なモデルや追加のロールアウトを必要とせず、直接GRPOに統合できます。

2. 理論的分析

本論文は、厳密な理論的枠組みを提供しています。

一般化: 推論の類似性が無視され、信頼度が一様である場合、多数決はCoREの特殊なケースであることが証明されています。
回復閾値: ブロック値分析により、正しい少数派が誤った多数派を覆すことができる正確な閾値を導出しています。この閾値は、クラスターのサイズ比と内部の一貫性に依存します。
信頼度の乗算効果: 信頼度の較正が、回復閾値を乗算的に低下させることを証明しています。具体的には、正しいロールアウトが誤ったものよりも高い信頼度を持っている場合、少数派が勝利するために必要な一貫性は、信頼度の差に対して指数関数的に減少します。

3. 実証的エビデンス

7つのバックボーン（Qwen, DeepSeek, Llama, Mistral）および5つのベンチマーク（AMC, AIME, MATH-500, MATH-L4/5, GPQA-Diamond）にわたる42のモデル・ベンチマーク構成で評価されました。

性能: CoREは、42個の全セルにおいて、未学習のベースラインに対し平均で +21.7 ポイント の精度向上を実現しており、多数決ベースのTTRL（+20.4 ポイント）を上回っています。特に、数学特化型モデルでは平均 +25.0 ポイント の向上が見られました。
争いのあるコンセンサス: 合意が争われるシナリオ（例：MATH-L4/L5のサブセット）において、投票法と比較して最大 +7.5 ポイント の利得を達成しました。
サンプル効率: CoREは、投票ベースラインの最終的な精度プラトーに、54〜70% 少ない最適化ステップで到達します。
アブレーション: グラフ構造または信頼度の較正のいずれかを取り除くと、性能は多数決レベルまで低下し、構造的一貫性と信頼度の相乗効果が不可欠であることが確認されました。

意義と主張

本論文は、**「コンセンサスとは単なる数え上げではない」**と主張しています。推論パス間の相互支持をモデル化することで、CoREは脆弱な投票メカニメントを、較正された段階的な自己教師あり報酬信号へと変換します。

メカニズム: この手法は、票数では見落とされる「小さく、一貫しており、かつ自信に満ちた正しいグループ」から教師信号を回収することで成功しています。
動作領域: 利得は、正しい少数派が存在するが多数派ではない「中間領域」に集中しています。「飽和」領域（正解がほぼ満場一致の状態）や「能力の底」領域（ランダムな推測の状態）では、CoREは自然に多数決へと退化するか、あるいは同等の性能となり、ノイズへの過学習を回避します。
自己教師あり学習: CoREは、ロールアウトを独立したサンプルとしてではなくグラフとして扱うことが、より密なトレーニング信号をもたらし、擬似ラベルの質と方策更新の効率の両方を向上させることを示しています。

著者らは、CoREが自己教師あり強化学習の重要な構成要素であり、外部の教師なしでテスト時の適応における不一致を扱うための、原理的な方法を提供すると結論付けています。