技術要約: Entropy-Tree

問題提起

大規模言語モデル（LLM）は複雑な推論タスクにおいて顕著な能力を示しているが、その性能は既存のデコーディング戦略によって大きく制約されている。著者らは、現在のアプローチにおける2つの主要な限界を特定している：

1. 盲目的な探索（Blind Exploration）: top-kやtop-pサンプリングのような確率的手法は、モデルの実際の不確実性に関わらず、すべてのトークン位置に対して一様にランダム性を導入する。これにより、計算リソースが重要な決定ポイントではなく、低不確実性の構文的な継続に浪費されるという、非効率な探索が生じる。
2. マルチサンプリングにおける冗長性（Redundancy in Multi-Sampling）: セルフコンシステンシー（Self-Consistency）のように、多数決を通じて精度を高めるために複数の独立したサンプルを生成する戦略は、計算上の冗長性を伴う。これらの独立したパスは接頭辞（prefix）の計算を共有せず、探索は方向性を欠いているため、決定的な分岐を見逃す一方で、意味的に冗長なパスに対して努力を重複させる可能性がある。

さらに、従来の不確実性定量化手法は複数のランダムサンプリングに依存しており、サンプリングプロセス自体の固有のランダム性により、不確実性評価の信頼性に限界をもたらしている。

メソドロジー: Entropy-Tree

本論文は、トークンエントロピーを分岐決定のシグナルとして利用する、ツリーベースのデコーディングフレームワークであるEntropy-Treeを提案している。中心となる仮説は、近年の知見（Wang et al. [9]）に裏付けられている通り、トークンのエントロピー分布は極めて非一様であるということである。具体的には、約80%のトークンは低エントロピー（高確信度、構文的）であり、残りの20%が高エントロピーな「決定分岐（decision forks）」となって推論の軌道を左右する。

Entropy-Treeのプロセスは、以下の3つの主要なステージで構成される：

1. 分岐点フィルタリング（Branch Point Filtering）

毎ステップで分岐するのではなく、モデルはトークンエントロピー（$H_t$）と意味的重要度を動的に監視して、分岐候補を特定する：

• エントロピー閾値処理: トークンのエントロピー $H_t$ が閾値 $\tau$ 未満の場合、標準的なランダムサンプリング（top-k/top-p）が使用される。$H_t \geq \tau$ の場合、そのトークンは候補としてマークされる。
• 意味的重要度のフィルタリング: 意味的な重要性を欠く高エントロピー・トークン（例：構文的なフィラー）での分岐を避けるため、本手法は自己注意（self-attention）スコアを採用する。DRAGIN [11] と同様に、過去のトークンからの最大アテンション値を重要度のプロキシとして用い、重要度スコア $I_t$ を算出する。分岐は $I_t \geq \delta$ の場合にのみ発生する。

2. ツリー拡張とサイズ制御（Tree Expansion and Size Control）

トークンが分岐点として特定されると、以下の処理が行われる：

• 拡張（Expansion）: 単一のトークンを選択する代わりに、確率の高い上位 $b$ 個のトークンを選択して新しい枝を形成する。
• 探索戦略: 幅優先探索（BFS）アルゴリズムを用いてツリーを拡張し、設定された分岐ステップ数の後にすべてのリーフノードが完了するように、深度の低いノードを優先する。
• 終了（Termination）: 指数関数的な規模の爆発を防ぐため、総リーフノード数は $N_{tree}$ に制限される。この制限に達すると分岐は停止し、残りのパスはEnd-of-Sequence (EOS) トークンに遭遇するまで標準的なサンプリングへと回帰する。

3. 不確実性の定量化（Uncertainty Quantification）

このフレームワークは、不確実性推定のメカニズムとしても機能する。予測エントロピーは、独立したランダムサンプルからではなく、Entropy-Treeのリーフノードから導出された回答の分布に基づいて計算される。

主な貢献

本論文は、主に3つの貢献を述べている：

1. 新しいデコーディングフレームワーク: Entropy-Treeは、高エントロピーかつ高重要度の位置において、接頭辞の共有を行いながら特異的に分岐することで、ツリー構造の出力を構築する。これにより、ランダムサンプリングの盲目的な探索とは対照的に、モデルの決定空間の構造化された探索が可能になる。
2. 推論精度の向上: 本手法は、様々なモデルとデータセットにおいて、マルチチェーン（ランダムな独立サンプリング）と比較して優れた pass@k パフォーマンスを示す。リソースを「決定分岐」に集中させることで、モデルはより少ないサンプル数で高い精度を達成する。
3. ツリー由来の不確実性定量化: Entropy-Treeのリーフノードから計算された予測エントロピーは、従来の指標よりも優れた較正（calibration）を示す。具体的には、標準的な予測エントロピーやセマンティックエントロピー、その他のベースラインと比較して、AUROC（受信者操作特性曲線の下の面積）において大幅な改善を示している。

実験結果

著者らは、Qwen2.5モデル（7B, 14B, 32B）を用い、多様な推論データセット（SVAMP, MATH-500, SciBench, GPQA-main/diamond, AIME24/25）においてEntropy-Treeを評価した。

• 精度 (Pass@k): Entropy-Treeは一貫してMulti-chainを上回った。例えば、MATH-500データセットを用いたQwen2.5-7Bにおいて、Entropy-TreeはMulti-chainの約 2/3のサンプルサイズ（k=13 vs. k=20）で同等のpass@kパフォーマンスを達成した。pass@20の比較では、GPQA-diamondやAIME25において顕著な利得を伴い、すべてのデータセットで改善が見られた。
• 較正 (AUROC): Entropy-Treeから導出された予測エントロピー（ET-PE）は、ほとんどのモデルとデータセットにおいて最高のAUROCスコアを達成し、本手法がモデルの不確実性をより信頼性の高い尺度として提供していることを示した。特に、長い推論テキストに対して苦戦するSemantic Entropy (SE) を明確に上回った。
• アブレーション研究:
  • 分岐位置: エントロピー閾値を80パーセンタイルから90パーセンタイルへ移動させる（分岐を遅らせる）と、パフォーマンスの低下を招いた。これは、高エントロピー地点での早期分岐がより効果的であることを示唆している。
  • ガイダンス: エントロピーによるガイダンスなしのランダム分岐は、大幅に性能が低かった。これは、高エントロピーの位置が重要な「決定分岐」として機能していることを裏付けている。

意義と主張

本論文は、Entropy-Treeが効率的な構造化探索と信頼性の高い不確実性推定を単一のデコーディング手順内で統合するものであると主張している。盲目的な一様探索からエントロピー誘導型の探索へと移行することで、モデルが真に不確実性を露呈する箇所で、LLMが異なる推論パスを能動的に探索することを可能にする。

著者らは、これを決定論的手法（貪欲法）と確率的手法（ランダムサンプリング）の両方の限界を超える、原理に基づいたデコーディングのアプローチとして位置づけている。本手法は、推論タスクの精度と不確実性指標の較正の両方を向上させ、大量の独立したサンプルを生成することに代わる、よりリソース効率の高い選択肢を提供すると断言している。

限界

Entropy-Treeは、トークンのロジットと自己注意スコアへのアクセスを必要とするため、追加のレイテンシが生じる可能性があることを認めている。さらに、これらはモデル内部の状態に依存しているため、これらの指標を公開しないブラックボックス型のシナリオへの適用には制限がある。今後の課題は、本手法を既存のLLM推論エンジン（例：vLLM）に統合し、強化学習のサンプリング効率への影響を調査することである。