技術概要：EAGER – 適応的推論時スケーリングのためのエントロピー認識型生成

1. 問題定義

推論言語モデル（LLM）と推論時スケーリング手法の台頭により、単一のプロンプトから複数の候補シーケンスを生成することで、多様な推論経路を探索し性能を向上させるというパラダイムが確立されました。しかし、完全並列サンプリング（FULL PARALLEL sampling） などの標準的なアプローチは、難易度に関わらず、すべてのプロンプトに対して固定された計算予算（固定数のシーケンス数 $M$）を割り当てます。

この均一な割り当ては、本質的な非効率性を導入します：

• 冗長な計算： 単純なプロンプトでは、推論シーケンスは同一またはほぼ同一の解に収束することが多いです。複数の並列パス全体で同一の接頭辞を再生成することは、計算資源の浪費となります。
• 探索不足： 複雑なプロンプトでは、固定された予算が正しい解を発見するには不十分であり、モデルは代替の推論経路をより広範に探索する必要があります。
• 長い CoT における非効率性： 推論シーケンスは長く、生成されたトークンの相当部分は真の意思決定点ではなく、予測可能な継続部分です。

核心的な問題は、生成中に各プロンプトの特定の不確実性と難易度に基づいて計算資源を割り当てる適応的メカニズムの欠如です。

2. 手法：EAGER

著者は、トークンごとのエントロピーを通じて測定されるモデルの不確実性を活用し、リソース割り当てを動的に導くトレーニング不要の生成手法であるEAGER（Entropy-Aware GEneRation）を提案します。この手法は 2 つの段階で動作します：

2.1. トークンエントロピーによる不確実性の定量化

EAGER は、モデルの不確実性の代理指標として上位 K トークンエントロピーを利用します。各生成ステップ $t$ において、エントロピー $H^{(K)}_t$ は、確率の最も高い $K$ 個のトークン（ここで $K=20$）に対して計算されます。

• 高エントロピー： 高い不確実性と、複数の推論経路が妥当である可能性のある意思決定点を示します。
• 低エントロピー： 高い確信度と予測可能な継続を示します。
• 相関： 実証分析（図 2）は、生成中のピーク・トークンエントロピーと最終的なパス率（Pass Rate）の間に有意な負の相関（$\rho \approx -0.55$）があることを明らかにしました。高いエントロピーのピークは低い性能と相関しており、これらが追加の探索を必要とする重要な瞬間であることを示唆しています。

2.2. ステージ 1：EAGER-init（計算節約）

EAGER-init は、冗長な計算を回避するように生成プロセスを変更します：

• 動的ブランチング： 最初から $M$ 個の独立したシーケンスを生成する代わりに、EAGER-init は単一のシーケンスから開始します。
• 閾値ロジック： 各トークンステップにおいて、エントロピー $H^{(K)}_t$ が事前に定義された閾値 $\theta$ を超える場合、現在のシーケンスは 2 つの新しい候補にブランチします。モデルはトークン分布を再利用しますが、発散を確保するために上位 2 つの最も可能性の高いトークンを選択します。
• 接頭辞の再利用： エントロピーが $\theta$ 未満の場合、生成は線形に継続します。重要なのは、ブランチポイント以前に生成されたトークンはすべての後続のブランチ間で共有され、同一の接頭辞を再生成する必要がなくなる点です。
• 終了： ブランチングは、アクティブなシーケンスの総数が限界 $M$ に達するまで継続されます。簡単なプロンプトの場合、プロセスは $M$ 個よりもはるかに少ないシーケンスで終了し、大幅な計算節約を実現します。

2.3. ステージ 2：EAGER-adapt および Full EAGER（予算の再配分）

EAGER-init によって節約された計算予算（理論上の最大値 $M \times |D|$ と実際に生成されたシーケンス数の差）は、困難なプロンプトでの性能向上のために再配分されます。ラベルの有無に基づいて 2 つの戦略が定義されます：

• EAGER-adapt（テスト時、ラベルなし）： 正解ラベルが存在しない場合、この手法は EAGER-init 中に $M$ シーケンスの上限に達した「飽和プロンプト」を特定します。これらは困難であると仮定されます。節約された予算は、さらなる探索を可能にするためにこれらのプロンプトに再配分されます。
• Full EAGER（トレーニング/RLVR、ラベルあり）： ターゲットラベルが利用可能な場合（例：検証可能報酬を用いた強化学習パイプライン内）、EAGER-init が正しい解を生成できなかったプロンプト（Pass@k = 0）を特定します。節約された予算は、これらの特定の失敗したプロンプトに再配分されます。
  • 未利用のプロンプトについては、より早期のブランチングを促すためにエントロピー閾値 $\theta$ を低下させます。
  • 飽和プロンプトについては、生成限界を $M + b_i$（ここで $b_i$ は割り当てられた予算）まで拡張します。

3. 主要な貢献

1. 代理指標としてのエントロピーの実証的検証： 本論文は、トークンごとのエントロピーのピークがプロンプトの難易度と探索の必要性のオンライン指標として機能し、モデルのパス率と強い負の相関を示すことを実証しました。
2. トレーニング不要な適応的デコーディング： EAGER は、推論時スケーリングの利点を維持または向上させながら、計算コストを最大 65% 削減する（トークン数が 65% 減少）新しいデコーディング手法を導入しました。
3. 適応的予算配分： この研究は、簡単なプロンプトから困難なプロンプトへ節約された計算資源を再配分することで、推論時スケーリングの有用性を最大化し、グローバルな計算予算を増加させることなく性能向上をもたらすことを実証しました。

4. 実験結果

著者は、複数のオープンソースモデル（3B から 20B パラメータ）および多様なベンチマーク（数学：AIME 2024/2025、HMMT 2025；科学：GPQA-Diamond；コード：HumanEval Plus）において EAGER を評価しました。

• 効率性： EAGER-init は、完全並列サンプリングと比較して、一貫してトークン使用量を**40% から 80%**削減しました。多くの場合、総トークン数はベースラインの半分未満でした。
• 性能（ラベルあり）： ターゲットラベルにアクセス可能な設定（RLVR パイプラインをシミュレート）において、Full EAGERは AIME 2025 においてPass@k で最大 +37% の改善を達成し、かつ59% 少ないトークンを使用しました。
• 性能（テスト時）： ラベルなしのテスト時設定において、EAGER-adaptはベースラインと比較してPass@k で +12% の改善と64% 少ないトークンをもたらしました。
• ロバスト性： この手法は、異なるモデルサイズやドメイン全体で一貫した改善を示しました。エントロピー閾値 $\theta$ はロバストであり、分布外タスクに一般化するために 10 例程度の小さな較正セットのみを必要とすることが判明しました。
• パレートフロンティア： 最大シーケンス制限 $M$ をスケーリングした結果、EAGER は性能と効率性のパレートフロンティアをシフトさせ、固定予算サンプリングと比較して、より低いトークンコストでより高い精度を達成することが示されました。

5. 意義と主張

本論文は、EAGER が現在の推論時スケーリングパラダイムにおける根本的な非効率性、すなわち計算の「画一的（one-size-fits-all）」な割り当てに対処していると主張しています。生成戦略をモデルの不確実性に基づかせることで、EAGER は以下の点を実現します：

• 冗長性の削減： 長いチェーン・オブ・ thought（CoT）シーケンスの大部分を占める予測可能で低エントロピーの接頭辞の再生成を回避します。
• 探索の強化： モデルが失敗する可能性が高い、または多様な推論経路が必要な高エントロピー領域に計算資源を誘導します。
• 障壁の低下： 高品質な推論トレースを生成する計算コストを大幅に削減することで、EAGER は限られた計算予算を持つ研究者や実務家にとって高度な推論能力をよりアクセスしやすくします。
• エネルギー効率： トークン生成の削減は、推論時スケーリングのワークロードに関連するエネルギーおよびインフラコストの直接的な低下につながります。

著者は、EAGER をモデルアーキテクチャの変更ではなく、既存の推論モデルに適用してその効率性と有効性を向上させることができる、汎用的なトレーニング不要の生成レイヤーとして位置付けています。