論文「Top-b: 自己回帰型言語プロセスにおける相対確率バンドのエントロピー規制」の技術的概要

本論文は、大規模言語モデル（LLM）のデコーディング（生成）戦略における既存手法の限界を指摘し、モデルの瞬間的な不確実性（エントロピー）に基づいて動的にサンプリング範囲を調整する新しい手法**「Top-b（Adaptive Relative Band Sampling）」**を提案するものです。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細をまとめます。

1. 背景と問題定義

自己回帰型言語生成は、離散的な確率過程としてモデル化されます。現在の主流であるデコーディング戦略（Top-k, Top-p など）は、静的な切断ルール（固定のトークン数 $k$ や累積確率 $p$）に基づいて候補トークンを絞り込みます。

しかし、自然言語の「情報密度」は時間とともに動的に変化するため、静的なルールは以下の矛盾を生み出します。

• 低エントロピー状態（論理推論など）: 確率分布が鋭く尖っている場合、静的な閾値（例：Top-p=0.9）は、論理的な誤りやハルシネーションを引き起こす可能性のある「長い尾部（低確率トークン）」を許容しすぎてしまいます。
• 高エントロピー状態（創造的生成など）: 分布が平坦な場合、静的な閾値は有効な創造的な選択肢を不必要に排除してしまい、多様性を損ないます。

この「静的な境界」と「動的な情報密度」のミスマッチが、生成の最適性を阻害する要因となっています。

2. 提案手法：Top-b (Adaptive Relative Band Sampling)

Top-b は、生成プロセスを「相対確率多様体（relative probability manifold）」上の軌道として捉え、サンプリング候補の範囲をモデルの瞬間的なシャノン・エントロピーに厳密に連動させた動的な「帯域幅（bandwidth）」で制御します。

核心的なメカニズム

1. モード（最尤トークン）を基準とした相対閾値:
   分布のモード（最も確率の高いトークンの確率 $p_{max}$）をアンカーとし、他のトークンの有効性を $p_{max}$ に対する相対的な確率で判定します。
   $$S_{b,t} = \{ y \in V \mid p_t(y) \ge (1 - \text{bandwidth}_t) \cdot p_{max} \}$$
2. エントロピーによる動的帯域幅の調整:
   帯域幅係数（$\text{bandwidth}_t$）は、正規化されたシャノン・エントロピー $H(p)$ に比例して変化します。
   $$\text{bandwidth}_t = \text{base\_bandwidth} \times \left( 1 + \frac{H(p)}{H_{max}} \right)$$
   • 低エントロピー時（推論など）: エントロピーが低く、モデルが自信を持っている場合、帯域幅は狭まり、閾値が $p_{max}$ に近づきます。これにより、尾部のノイズ（低確率トークン）が厳密に排除され、決定論的な推論が促進されます。
   • 高エントロピー時（創造など）: エントロピーが高く、モデルが不確実な場合、帯域幅が拡大し、より多くのトークンを候補として含めます。これにより、多様性が維持されます。

理論的性質

Top-b は、尾部分布に対する分散最小化演算子として機能すると理論的に示されています。特に低エントロピーの推論局面において、誤りの分岐要因を削減し、生成軌道の安定化を図ります。

3. 主要な貢献

1. エントロピー規制型デコーディングの導入:
   分布のモードにアンカーされ、正規化されたシャノン・エントロピーによって動的にスケーリングされる「相対確率バンド」を定義し、サンプリングの支持集合（support set）を決定する新しい戦略を提案しました。
2. 分散最小化の解釈:
   エントロピーに比例した相対閾値設定が、尾部分布の分散を最小化する演算子として機能し、低エントロピーの推論領域において生成軌道を安定化させることを理論的に論証しました。
3. 推論ベンチマークでの実証:
   GPQA（大学院レベルの推論）と GSM8K（算数推論）における実験により、Top-b が既存手法（Top-k, Top-p, Min-p など）と比較して、生成エントロピーとデコーディング間の変動（バリアンス）を大幅に低減しつつ、競争力のある精度を維持することを示しました。

4. 実験結果

モデルとして google/gemma-3-4b-it を使用し、以下の結果が得られました。

• GPQA 評価:
  • 精度: Top-b は 0.2285 の精度を達成し、既存手法と同等かそれ以上の性能を示しました。
  • エントロピー: 平均生成エントロピーは 0.1579 と、比較対象すべての手法の中で最低値を記録しました。これは、生成における不確実性と混乱が最小化されていることを示唆します。
  • 分散: 異なるランダムシード間での精度変動が最も小さく、高い決定論的安定性を示しました。
• GSM8K 評価:
  • 精度: 0.2680 と Top-p (0.2613) や Top-k (0.2093) を上回る最高精度を記録しました。
  • 分散: 分散が $1.136 \times 10^{-4}$ と、Top-p の約 1/10 の水準にまで低減しました。これは、算数推論における論理フローを乱す低確率の「ダストラクター（誤った選択肢）」が効果的にフィルタリングされたことを意味します。
• エントロピーの軌跡:
  生成ステップが進むにつれて、Top-p は累積確率閾値のためにエントロピーが高止まりする傾向があるのに対し、Top-b は単調にエントロピーを減少させ、生成の終盤にはほぼゼロに近づけることが確認されました。

5. 意義と結論

Top-b は、単なるヒューリスティックな手法ではなく、**「モデルの内在的な自信（不確実性）が生成の自由度を制御する」**という自己調整制御システムとして機能します。

• 論理推論の安定化: 低エントロピー領域での尾部ノイズを排除することで、Chain-of-Thought（CoT）推論における誤りの蓄積を防ぎます。
• 創造性の維持: 高エントロピー領域では帯域が自動的に広がるため、過度な制限をかけずに多様性を保ちます。
• 計算コスト: 各ステップでのエントロピー計算はベクトル演算であり、アテンション機構の $O(N^2)$ 複雑度と比較して無視できるレベルのオーバーヘッドです。

本論文は、LLM の生成信頼性を高めるための理論的根拠に基づいた新しいデコーディングパラダイムを提示し、特に高精度が求められる推論タスクにおいて、静的な閾値手法に代わる強力な代替手段となることを示しています。