📊 statistics

Top-H Decoding: Adapting the Creativity and Coherence with Bounded Entropy in Text Generation

本論文は、創造性と一貫性を大規模言語モデルで効果的に両立するエントロピー制約付き質量最大化の枠組みに基づく新しいサンプリングアルゴリズムであるTop-Hデコーディングを導入し、クリエイティブライティングベンチマークにおいてmin-pサンプリングなどの最先端手法を上回る性能を発揮しつつ、事実関連タスクにおいても堅牢性を維持することを示す。

原著者： Erfan Baghaei Potraghloo, Seyedarmin Azizi, Souvik Kundu, Massoud Pedram

公開日 2026-05-12

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Erfan Baghaei Potraghloo, Seyedarmin Azizi, Souvik Kundu, Massoud Pedram

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

非常に賢く、教養豊かなロボットに物語を語らせていると想像してください。その物語は創造的（驚くほど野放図なアイデアに満ちている）であると同時に、一貫性がある（論理的で、意味の通じないガベージではない）ものであってほしいと願います。

問題は、「創造的であれ」とロボットに指示すると、それが過度に興奮してしまうことです。ロボットは物語が破綻するほど、あり得ない言葉を選び始めてしまいます。これが「創造性対一貫性」という葛藤です。

従来の方法：「Top-K」と「Top-P」フィルター

以前、研究者たちはこの問題を単純なフィルターで解決しようと試みました。

Top-K：「確率の最も高い上位 50 語からだけ選べ」。これは、小さく安全な語彙しか使わせてくれない厳格な教師のようです。一貫性はありますが、退屈です。
Top-P（ノードルス）：「確率の合計が 90% に達する最小の語のグループから選べ」。これは少し柔軟ですが、ロボットが不確かな場合、クォータを満たすために非常に奇妙な言葉を誤って含めてしまい、物語を台無しにしてしまう可能性があります。
Min-P：「ロボットが最良の言葉について非常に確信を持っているなら、奇妙な言葉を容赦なく切り捨てろ。不確かな場合は、より寛大になれ」という、より新しい手法です。これはよく機能しますが、盲点があります。ロボットがどの程度確信を持っているかを判断する際、単一の最良の言葉だけを見て、残りの群衆を無視しているのです。

新しい手法：Top-H デコーディング

この論文の著者たちは、Top-Hと呼ばれる新しい手法を提案しています。これは言葉を管理するスマートな交通管制官のようなものです。

単に「最速の車」（最上位の言葉）を見て交通量を決定するのではなく、Top-H は全体の交通渋滞（確率分布全体）を見ています。

簡単な比喩を使って、その仕組みを説明しましょう。

「エントロピー」メーター（混沌の尺度）

ロボットの脳を、人々が異なる言葉を叫んでいる部屋だと想像してください。

低エントロピー（静穏）：全員が同じことを叫んでいるか、あるいは少数の人だけが大声で叫んでいる状態です。ロボットは非常に確信を持っています。
高エントロピー（混沌）：何百人もの人々が同時に異なることを叫んでいる状態です。ロボットは混乱し、不確かな状態です。

従来の手法（Min-P など）は、部屋の混沌さを推測するために、最も大声を張っている人の音量だけをチェックします。最も大声を張っている人が大声で叫んでいれば、Min-P は部屋が静穏だと仮定し、他の人々を遮断します。しかし、もし 50 人の他の人々が少しだけ静かに叫んでいるとしたらどうでしょうか？実は部屋は混沌としているのです！

Top-Hは、部屋全体の総騒音レベル（エントロピー）を測定します。

部屋が静穏（低エントロピー）であれば、Top-H は「素晴らしい、何をしているか分かっている。上位の数人だけ話させよう」と言います。（高い一貫性）
部屋が混沌（高エントロピー）であれば、Top-H は「おや、ここには不確実性がたくさんあるな。物語を面白く保つために、より多くの人を話させなければならないが、叫び合いにならないよう制限を設けねばならない」と言います。（高い創造性、しかし制御された）

「貪欲」アルゴリズム

この論文は、このバランスを取るための「完璧な」言葉のグループを見つけることが、数学的に不可能なパズル（「NP 困難」と呼ばれる）であることを証明しています。まるで、100 万もの選択肢があるが、それらをすべてテストできない状態で、ケーキの完璧な配合を見つけるようなものです。

そこで Top-H は貪欲アルゴリズムを使用します。ブロックで塔を積んでいると想像してください。

まず、最も大きくて安定したブロック（最も確率の高い言葉）から始めます。
次に、次の最も大きなブロックを積み重ね続けます。
ブロックを積むたびに、「塔が揺れすぎていないか？」（エントロピーが高すぎないか？）を確認します。
塔がまだ安定している（「エントロピー予算」の範囲内）場合は、積み重ね続けます。
1 つでもブロックを追加すれば揺れすぎてしまう瞬間、そこで止めます。

これにより、物語が nonsens（ nonsens）に崩壊することなく、可能な限り最も面白い言葉が選ばれます。

論文の発見

著者たちは、この「スマートな交通管制官」を、さまざまなタスクにおいて従来の手法と比較してテストしました。

創造的ライティング：Top-H は、特にロボットに「野放図にしろ」と指示された場合（高温設定）、他の手法よりもはるかに創造的で一貫性のある物語を書きました。
推論タスク：数学や論理パズルにおいても優れており、単に作り上げているだけでなく、現実的であることを証明しました。
速度：他の手法とほぼ同じ速度であり、ロボットの動作を遅くすることはありません。

結論

Top-Hは、AI が言葉を選ぶための新しい方法です。「最良」の選択肢だけに基づいて推測するのではなく、AI 全体の「確信度」を測定します。AI が確信を持っている場合は、安全な言葉に固執します。AI が探索している場合は、より多くの多様性を許容しますが、物語が崩壊しないよう厳格な綱引きを維持します。これは、俳優にいつ即興を許し、いつ台本に忠実であるべきかを正確に知っているクリエイティブ・ディレクターのようなものです。

技術的サマリー：Top-H デコーディング

問題定義
大規模言語モデル（LLM）は、オープンエンドなテキスト生成において、多様性と創造性の促進と論理的整合性の維持という競合する目的のバランスを取るという根本的な課題に直面しています。温度スケーリング、top-k、top-p（ニュークリア）、min-p サンプリングなどの既存の切り捨てサンプリング手法は、このトレードオフの管理を試みていますが、重大な限界を示しています。具体的には、min-p などの手法は、モデルの信頼性のヒューリスティックとして単一のトップトークンに依存しています。このアプローチは、確率分布の全体的な形状を考慮しないため、疎（低エントロピー）な分布では過剰な切り捨てを、密（高エントロピー）な分布では不十分な切り捨てを引き起こします。その結果、これらの手法は、創造性が不可欠な高温域において整合性を維持することにしばしば苦労します。

手法
本論文は、モデルの信頼性を動的に取り込むために、ピークだけでなく確率分布全体を考慮するサンプリング戦略であるtop-H デコーディングを導入します。この手法は、創造性と整合性のトレードオフを最適化問題として形式化する理論的枠組みに基づいています。

理論的基盤（ECMD と ECMM）：
著者らは、この問題を**エントロピー制約最小発散（ECMD）として定式化しました。これは、元の分布 $p$ からのジェンセン・シャノン発散（JSD）を最小化し、かつエントロピー制約 $H(q) \leq \alpha H(p)$ を満たすトークンの部分集合 $S$ を見つけることを目指します。ここで、 $q$ は $S$ 上の分布であり、 $\alpha \in (0,1)$ は調整可能なハイパーパラメータです。
本論文は、このエントロピー境界下での JSD の最小化が、数学的にエントロピー制約質量最大化（ECMM）**と同等であることを証明しました。すなわち、同じエントロピー制約の下で、選択されたトークンの確率の和（ $\Gamma_S = \sum_{i \in S} p_i$ ）を最大化することです。
複雑性解析：
著者らは、基数制約部分集合和（CCSS）問題からの多項式時間帰着を通じて、ECMM 問題がNP 困難であることを証明しました。これにより、一般的なケースにおいて最適な部分集合を正確に見つけることは計算的に困難であることが確立されました。
アルゴリズム（Top-H）：
NP 困難性に対処するため、本論文は計算効率の良い貪欲アルゴリズムであるtop-Hを提案します。
- 手順： アルゴリズムはトークンを確率の降順でソートし、選択集合 $S$ に反復的に追加します。各追加後、 $S$ 上の再正規化分布 $q$ のエントロピーを計算します。
- 終了条件： 次のトークンを追加すると、エントロピー $H(q)$ が動的な閾値 $\alpha H(p)$ を超えてしまう場合に、このプロセスは停止します。
- 動的適応： 静的な閾値手法とは異なり、top-H は各生成ステップにおけるモデルの varying な信頼性に適応します。元の分布のエントロピー $H(p)$ が変化すると、選択された部分集合に対する許容エントロピー予算もそれに応じてスケーリングされます。

主要な貢献

理論的定式化： 本論文は、ECMD 問題を定義し、それが NP 困難な ECMM 問題と同等であることを証明することで、エントロピーベースの切り捨ての理論的基盤を確立しました。
新規アルゴリズム： ECMM 問題を効率的に解決する貪欲近似アルゴリズムである top-H を提示しました（ソートに支配される $O(n \log n)$ の計算量）。これは選択された分布のエントロピーを厳密に境界付けます。
分布への意識： トップ 1 トークンの確率のみに依存する min-p と異なり、top-H はサンプリングプールのサイズを決定するために完全な分布形状を利用します。これにより、疎な分布と密な分布の両方におけるヒューリスティックベースの切り捨ての限界を効果的に克服します。

実験結果
LLaMA3.1-8B、Qwen2.5-3B、Phi-3-Mini の 3 つの指示調整モデルと複数のベンチマーク（Alpaca-Eval、MT-Bench、GSM8K、GPQA）において、広範な実証評価が行われました。

創造的ライティング（Alpaca-Eval & MT-Bench）： Top-H は、勝率とジャッジスコアにおいて、最先端の min-p サンプリングを最大**25.63%**上回りました。重要なのは、top-H が温度スケーリングに対する優れた頑健性を示したことです。top-p や min-p が高温（例： $T=2$ ）で整合性の大幅な低下を被ったのに対し、top-H は安定した性能を維持しました。
推論タスク（GSM8K & GPQA）： Top-H は、様々な温度において min-p や top-p よりも一貫して高い精度を達成しました。 $T=2$ において、top-p は精度がほぼ完全に崩壊しました（例：GSM8K における Phi-3-Mini で 73.62% の低下）が、top-H は頑健性を維持し、min-p に対して最大 25.63% の改善を示しました。
LLM-as-a-Judge： GPT-4o を用いた評価により、top-H がベースラインと比較して、特に高温域において、より高い創造性、独創性、整合性を持つ出力を生成することが確認されました。
効率性： top-H の計算オーバーヘッドは無視できます（min-p/top-p と比較してレイテンシが約 0.8% 増加のみ）。これは、複雑性がすべての累積デコーディング手法に共通するソートステップに支配されているためです。

意義と主張
本論文は、top-H が、創造性と整合性のバランスを取るための原理的かつ理論的に裏付けられた手法を提供することで、オープンエンドなテキスト生成における最先端を進展させると主張しています。モデルの不確実性に対するサンプリング分布のエントロピーを明示的に制御することにより、top-H は LLM が論理的整合性を犠牲にすることなく多様で創造的なコンテンツを生成することを可能にします。これは、従来の手法が失敗する高温域においても同様です。著者らは、top-H を既存のサンプリング戦略のドロップイン代替として位置づけ、創造的ライティングアプリケーションや他の生成タスクへの容易な統合が可能であると述べています。コードは採用を促進するために公開されています。