Entropy Centroids as Intrinsic Rewards for Test-Time Scaling

以下は、「テスト時スケーリングのための内在的報酬としてのエントロピー重心」に関する論文の詳細な技術的サマリーです。

1. 問題定義

大規模言語モデル（LLM）は、複数の候補応答（$N$ 個の軌道）をサンプリングし、最良のものを選択する（例：「Best-of-N」選択）ことで、テスト時にスケーリングされる傾向が強まっています。現在の選択手法は、主に 2 つの課題に直面しています。

• 外部報酬モデル: 外部報酬モデルに依存することは、高品質な別モデルのトレーニングを必要とし、大きな計算オーバーヘッドをもたらします。
• ノイズの多い内在的シグナル: 既存の内在的シグナル（トークンレベルの信頼性、エントロピー、または KL 発散など）は、信頼性があるほどにはノイズが多すぎることが多いです。トークンレベルの指標は推論の時間的構造を捉えきれません。例えば、モデルは計算トークンにおいて高い信頼性を示しながらも、推論ステップ全体については根本的に不確実である可能性があります。さらに、単純な集約（平均化など）は、探索と利用の時間的ダイナミクスを無視しています。

本論文は、外部監督なしに多様なタスク（数学、コード、論理、エージェント）において高品質な軌道を効果的に選択できる、モデル自身の生成プロセスからのみ導出される堅牢な内在的報酬シグナルを追求します。

2. 手法

著者らは、不確実性を示す高エントロピー・トークンが、ランダムに現れるのではなく、推論中に連続したグループとしてクラスター化するという観察に基づき、新しいフレームワークを提案します。

A. 高エントロピーフェーズ（HEP）

ノイズの多いトークンレベルのシグナルを超えて、著者らは不確実性の基本単位として**高エントロピーフェーズ（HEP）**を定義します。

• 定義: HEP は軌道の可変長セグメントです。
• トリガー: トークンのエントロピーが高い閾値（$\theta_{high}$）を超えたときに開始します。
• 終了: $k$ つの連続するトークンが低い閾値（$\theta_{low}$）を下回るまで終了しません。
• 重要性: これにより、連続する不確実なトークンがまとまりのある「フェーズ」にグループ化され、孤立したノイズがフィルタリングされ、モデルの探索状態や混乱状態が一つの単位として捉えられます。

B. エントロピー重心

物理学の重心の概念に触発され、著者らはこれらの不確実性フェーズの時間的位置を符号化するエントロピー重心を定義します。

• 質量（$m_n$）: $n$ 番目の HEP に含まれるトークンの数。
• 位置（$p_n$）: 全軌道内における $n$ 番目の HEP の中点。
• 計算: 重心 $C$ は、軌道に沿ったすべての HEP の加重平均位置を、全シーケンス長さ $L$ で正規化したものです。
  $$C = \frac{\sum_{n=1}^{N} m_n \cdot p_n}{L \cdot \sum_{n=1}^{N} m_n}$$
• 解釈:
  • 低い重心: 不確実性（探索）が推論プロセスの早期に発生し、その後、自信に満ちた（低エントロピーの）生成が続いたことを示します。これは高品質な推論（早期に探索し、後に収束する）と相関します。
  • 高い重心: 不確実性が持続したか、軌道の後半に現れたことを示し、モデルが問題の解決に苦労したか、終盤で混乱したことを示唆します。

C. 最低重心選択戦略

提案される選択手法である最低重心は、サンプリングされた $N$ 個の候補の中から、エントロピー重心の値が最も低い軌道を選択するだけです。

• 前処理: 選択前に、異常な終了やナンセンスな出力を持つ軌道を除外する外れ値フィルタリングステップを実行します。
• 利点: トレーニングも外部ラベルも不要であり、多数決が機能しないオープンエンドなコーディングやエージェントタスクを含むあらゆるタスクタイプで機能します。

3. 主要な貢献

1. 時間的不確実性モデリング: 本論文は、個々のトークンにおける不確実性の大きさよりも、不確実性の時間的パターンの方が情報量が多いことを特定し、これを高エントロピーフェーズ（HEP）を通じて形式化しました。
2. エントロピー重心メトリック: HEP を単一のスカラー報酬シグナルに集約し、モデルの不確実性の「タイミング」を表す、物理学に触発されたメトリック（重心）を導入しました。
3. 汎用的な内在的報酬: この内在的シグナルが、モデルサイズ（14B から 480B）およびドメイン（数学、コード、論理、エージェント）の広い範囲で有効であり、外部報酬モデルを必要とせずに既存のベースラインを上回ることを実証しました。
4. 堅牢性: この手法は、ハイパーパラメータの選択（HEP 検出の閾値など）に対して堅牢であり、モデルサイズが増大しても安定していることが示されました。

4. 実験結果

著者らは、4 つのベンチマークで手法を評価しました。AIME 2025/Minerva（数学）、Synlogic（論理）、BigCodeBench/LiveCodeBench（コード）、および$\tau^2$-Bench（エージェント）です。

• 性能向上: 最低重心手法は、30 のモデル - データセットの組み合わせすべてにおいて、ベースライン（Pass@1、Greedy Decoding、Self-Certainty、Tail Confidence、Bottom Window）を一貫して上回りました。
  • 平均改善: Pass@1 に対して +5.3%。
  • エージェントタスク: 平均 +6.8% の改善（例：GPT-OSS-120B は +10.1% の向上）。
  • 数学/論理: 顕著な向上、例えば GPT-OSS-120B における AIME 2025 で +11.0%。
• ベースラインとの比較:
  • 不安定な性能を示し（場合によっては結果を劣化させる）「Self-Certainty」や「Tail Confidence」とは異なり、最低重心はすべての設定で信頼性の高い向上を提供しました。
  • 短回答タスクにおいて多数決を上回り、かつ決定的に、多数決が適用不可能な長文タスク（コーディング、エージェント）にも適用可能です。
• スケーリング挙動: この手法は早期の飽和なしに持続的なスケーリングを示します。サンプリングされた軌道の数（$N$）が増加するにつれて、精度は着実に上昇し続けますが、他の手法はしばしばプラトーに達するか変動します。
• モデル規模: この手法は 14B から 480B パラメータまで効果的に機能し、その汎用性を証明しています。

5. 意義と結論

この研究は、テスト時スケーリングに対する軽量で、注釈不要、かつ汎用性のあるアプローチを提供します。トークンレベルのノイズから、不確実性の時間的構造（HEP と重心を通じて）へと焦点を移すことで、著者らは高品質な推論経路を選択するための実用的な解決策を提示します。

• 実用的な影響: 高価な外部報酬モデルの必要性を排除し、テスト時スケーリングをよりアクセスしやすく、効率的にします。
• 理論的洞察: 高品質な推論は、早期の探索（高エントロピー）に続く自信に満ちた収束（低エントロピー）という特定の時間的パターンに従うという仮説を検証しました。
• 将来の可能性: エントロピー重心は、選択メトリックとしてだけでなく、トレーニング（例：強化学習における内在的報酬シグナル）や、長文生成におけるモデル行動の診断のためにも機能し得ます。

要約すると、本論文は、モデルの不確実性のタイミングを分析することが、テスト時の LLM 性能向上のための強力な内在的シグナルであることを成功裏に実証しました。