💬 NLP

EntMTP: Accelerating LLM Inference with Entropy Guided Multi Token Prediction

EntMTPは、出力品質を維持しながら推論スループットを最大化するために、局所的な生成エントロピーに基づいてマルチトークン予測の深さを動的に調整する、トレーニングフリーのスケジューラであり、既存のベースラインに対して最大1.36倍の高速化を実現します。

原著者： Carrie Chen

公開日 2026-06-29

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Carrie Chen

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

物語を書こうとしている場面を想像してみてください。しかし、あなたには非常に厳しいルールがあります。それは、一度に一単語ずつしか書くことができず、一単語ごとに、その単語が完璧であるかどうか自分の全生涯の仕事（これまでの記述）をすべて再確認して立ち止まらなければならないというルールです。これが、現在の大規模言語モデル（LLM）が通常行っている仕組みです。これは非常に正確ですが、常に立ち止まって確認作業を行うため、信じられないほど時間がかかります。

このスピードを上げるために、研究者たちは**マルチトークン予測（Multi-Token Prediction: MTP）**というトリックを考案しました。一単語を書いてから確認するのではなく、モデルは次に続く3つ、あるいは4つの単語を、下書きのように一度に推測しようとします。そして、その推測がいくつ当たっていたかを一度に大きく「チェック」します。もし3つの単語を正しく推測できていれば、多くの時間を節約できます。

しかし、EntMTPという論文は、このトリックが現在どのように使われているかにおける欠点を指摘しています。

問題点：「一律（One-Size-Fits-All）」の過ち

現在、モデルは静的な戦略を使用しています。車の運転を想像してみてください。現在の方法では、「たとえ滑らかな高速道路を走っていようが、デコボコの未舗装路を走っていようが、常にアクセルを全く同じ速度で踏み続け、常に正確に100フィート先を見続けなければならない」と指示されているようなものです。

滑らかな高速道路（低エントロピー）： 道は予測可能です。あなたは安全に100フィート先を見渡し、次の数回のカーブを完璧に予測できるはずです。
デコボコの未舗装路（高エントロピー）： 道は混沌としています。100フィート先を見すぎるのは時間の無駄です。ポットホール（路面の窪み）や鹿に遭遇するかもしれません。数フィート先だけを見て、慎重に運転すべきです。

既存のモデル（HydraやMedusaなど）は、開始前に一つの「先読み距離」（特定のツリー形状）を選び、それをずっと使い続けます。これは非効率的です。時には予測しすぎてエネルギーを浪費し、時には予測しなさすぎてスピードアップのチャンスを逃しています。

解決策：EntMTP（スマート・コパイロット）

研究者たちは、EntMTP（エントロピー誘導型マルチトークン予測）を提案しています。これは、ドライバーが常に路面状況を確認し、どれくらい先を見るべきかを伝える**スマート・コパイロット（賢い副操縦士）**のようなものです。

「エントロピー」の読み取り（路面状況）：
モデルは、次に続く言葉がどれほど「驚き（意外性）」に満ちているかを常に測定しています。
- 低エントロピー（予測可能）： テキストがスムーズに流れています（例：「太陽は……に昇る」）。コパイロットは言います。「簡単だ！次の4単語を予測しよう！」
- 高エントロピー（混沌）： テキストが難解または複雑です（例：難しい数学の問題や、突然の展開）。コパイロットは言います。「おっと、これはリスクが高い。安全のために、次の1単語だけを予測しよう。」
「ツリー・バンク（Tree Bank）」（ツールキット）：
モデルが書き始める前に、研究者たちはさまざまな推測戦略（ツリー）の小さな「バンク（貯蔵庫）」を用意します。大きなアグレッシブなもの（多くの単語を予測する）もあれば、小さな保守的なもの（少ない単語を予測する）もあります。
- 重要なのは、一つを選ぶのではなく、さまざまな状況に合わせた「最高の選択肢のメニュー」を作成することです。
切り替え（ギアチェンジ）：
執筆プロセスの中で、EntMTPはギアチェンジャーのように機能します。
- テキストが容易であれば、ハイギア（大きなツリー）に切り替えて、一気に進みます。
- テキストが難しくなれば、即座にローギア（小さなツリー）に切り替えて、衝突を回避します。
- 魔法のポイント： ギアの切り替えにはほとんど時間がかかりません。それはコンピュータのメモリ内での素早いポインタの入れ替えであり、重い再構築ではありません。

結果：品質を損なうことなく、より速く

この新しい「スマート・コパイロット」を、3つの非常に異なる種類のタスクでテストしました。

コーディング（HumanEval）： コンピュータプログラムの作成。
数学（GSM8K）： 小学校レベルの算数の問題の解決。
チャット（ShareGPT）： 会話。

結果：

スピード： EntMTPは、従来の最高の手法（Hydra）よりも一貫して9%から15%速い結果を出しました。ケースによっては、古い手法よりも36%も高速でした。
品質： モデルは依然として完璧に仕事をチェックしているため、文章の品質が低下することはありませんでした。それは、より速く運転しながらも、全く同じ目的地に同じ安全性で到着するようなものです。
効率性： このスピードアップは、コンピュータをより強力にしたのではなく、いつ遠くまで予測し、いつ慎重になるべきかという「判断」を賢くすることで達成されました。

まとめ

古いやり方は、平坦なトラックでも、障害物だらけのトラックでも、関係なく100メートル全力疾走し、靴紐を結ぶために立ち止まり、また100メートル全力疾走するというランナーのようなものです。

EntMTPは、トラックを見るランナーです。もしトラックが平坦なら、全力疾走します。もし障害物が見えたら、安全に乗り越えられる程度に速度を落とし、それからすぐに再び全力疾走します。これにより、転ぶことなく、より速くレースを終えることができるのです。

技術サマリー: EntMTP

問題提起

大規模言語モデル（LLM）は、自己回帰的なデコーディングの逐次的な性質により、重大なレイテンシのボトルネックに直面しています。これは、各トークンの生成に全パラメータのフルフォワードパスを必要とするためです。投機的デコーディング（Speculative Decoding）は、軽量なドラフトモデルを用いて候補トークンをドラフトし、それらを並列に検証することでこの問題に対処しますが、MedusaやHydraのような**マルチトークン予測（Multi-Token Prediction: MTP）**手法は、この機能を軽量なヘッドを介してターゲットモデル自体に統合しており、別途ドラフトモデルを用意する必要をなくしています。

しかし、既存のMTP実装（例：Hydra）は、静的なツリーベースのアテンション・トポロジーに依存しています。これは、文脈に関わらず、投機の深さと検証にかかる計算コストが生成シーケンス全体を通じて一定であることを意味します。著者らは、これが自然言語のエントロピー・パターンと根本的に乖離していると主張しています。

低エントロピー領域（予測可能性が高い領域）は、信頼性の高いマルチステップのドラフトが可能であり、より深いツリーの恩恵を受けます。
高エントロピー領域（予測不可能な領域）は、無駄な検証サイクルを避けるために、保守的な投機が必要です。

さらに、最適なツリー・トポロジーはタスク固有です。あるベンチマーク（例：コード生成）においてパレート最適であるトポロジーが、別のベンチマーク（例：対話型ダイアログ）においては最適ではない可能性がありますが、現在の手法の多くは、単一のグローバルなトポロジーをオフラインで選択しています。

手法: EntMTP

本論文では、EntMTP (Entropy-guided Multi-Token Prediction) を提案します。これは、実行中のローカルな生成エントロピーに基づき、異なるツリーベースのアテンション・トポロジーを動的に切り替えるトレーニングフリーのスケジューラです。システムは2つのフェーズで動作します。

1. オフライン: スループット・パレート境界の構築

単一の静的なツリーを選択する代わりに、EntMTPはタスク固有のパレート最適ツリーのバンクを構築します。

貪欲な構築: キャリブレーション・セットを用いたセルフ・ロールアウト手順を用い、サイズが増加していく一連の提案ツリーを貪欲に構築します。候補ツリーは平均受理長に基づいてスコアリングされ、タイブレーク時には、より浅い深度およびより小さい子ランクの合計を優先します。
再キャリブレーション: 初期スコアリングにおける楽観的なバイアス（候補がより大きな結合ツリーに対してスコアリングされることによるもの）を補正するため、フロントティアは各候補の特定のプロポーザルおよびアテンション・マスクを用いた標準的なHydraセルフ・ロールアウトに対して再キャリブレーションされます。
スループット評価: システムは、ターゲットとなるワークロード全体に対してエンドツーエンドで受理フロントティアを評価し、実時間の出力トークンあたりの秒数を測定します。これにより、その特定のタスクに対して最適なコスト・スループットのトレードオフを提供する「スループット・パレート・バンク」( $B = \{T_1, \dots, T_K\}$ ) を特定します。

2. オンライン: 推論時ツリー・スケジューラ

実行時、EntMTPはマスクの再構築やカーネルの再構築を行うことなく、各デコードステップにおいて、事前コンパイルされたTopologyBankから最適なツリーを選択します（切り替えは $O(1)$ のポインタ操作で行われます）。

特徴量入力: スケジューラは、モデルから得られる既存の特徴量、具体的にはEAGLE-2 パス値（ベースLMのトップ1確率とHydraヘッドのトップ1確率から導出される）を消費します。このスカラー値 $s$ は、最良のパス値を表し、期待される受理長と単調に相関します。
選択ポリシー: 本論文では、特徴量 $s$ $s$ をツリーのインデックスにマッピングする3つのポリシーを紹介しています。
- ENTMTP∗: 単一のタスク最適ツリーを選択する静的なルール。
- ENTMTP-l: $s$ を $K$ 個の間隔にビン分割する閾値ラダーであり、信頼レベルに応じて異なるツリーを選択します。
- ENTMTP $\tau$ : 別々の「オン」( $\tau_{on}$ ) および「オフ」( $\tau_{off}$ ) 閾値を用いるヒステリシス・バイナリ・ルールです。これは、保守的な（小さく浅い）ツリーと積極的な（大きく深い）ツリーの間を切り替え、エントロピーの変動によるステップごとのジッターを防ぎます。

主な貢献

タスク依存性の特定: 本論文は、受理挙動とスループット・フロントティアがワークロードに強く依存していることを示し、多様なタスクに対して単一のグローバルなトポロジーを使用することの妥当性を否定しています。
トレーニングフリーの動的スケジューリング: EntMTPは、追加のモデル学習やファインチューニングを必要とせずに、ローカルな文脈の予測可能性に合わせて投機の深さを適応させる、実行時のスケジューラを導入しています。
効率的な実装: 事前コンパイルされたアテンション・マスクとポジション・オフセットを利用することで、ネグリジブルなオーバーヘッド（<0.1 ms/step）で動的な切り替えを実現し、切り替えコストを単純なポインタ・スワップに低減しています。
ロスレスな加速: ターゲット分布を正確に保持するため、生成品質を損なうことなく（パープレキシティはベースモデルの0.02 nats以内）、速度向上を実現しています。

結果

Vicuna-7Bを用い、HumanEval、ShareGPT、GSM8Kのベンチマークで評価した結果、EntMTPは一貫して既存のベースラインを上回りました。

vs. Hydra: EntMTPはHydraのデフォルトに対して1.09–1.15倍の高速化を達成しました。動的スケジューラ（ENTMTP $\tau$ ）が最良の結果を示し、HumanEvalで124.7 tok/s（Hydra比+14.0%）、ShareGPTで117.5 tok/s（Hydra比+7.8%）に達しました。
vs. Medusa: EntMTP $\tau$ は、Medusaベースラインに対して最大約1.36倍のピーク高速化を実現しました。
vs. 自己回帰 (AR): EntMTP $\tau$ は、すべてのベンチマークにおいて、バニラの自己回帰デコーディングに対して3.13倍から3.47倍の高速化を提供しました。
効率性: 動的スケジューラ（ENTMTP $\tau$ ）は、静的なタスク最適ツリー（ENTMTP∗）に対してわずか0.5–2.1%の改善をもたらしました。最大の利得は、高エントロピーの推論ステップ中に保守的なツリーを混合することで検証サイクルを再利用できるGSM8Kで観察されました。

意義

EntMTPは、生成されるテキストの固有の予測可能性に投機の深さを合わせることで、投機的デコーディングにおける重要な進歩を遂げたと主張しています。一律の静的なトポロジーから、文脈を考慮したエントロピー誘導型のアプローチへと移行することで、EntMTPは生成テキストの全分布にわたって期待される受理トークンのスループットを最大化します。本研究は、生成された出力の忠実度を損なうことなく、既存のMTPアーキテクチャのインテリジェントなスケジューリングによって、大幅なレイテンシ削減が可能であることを示しています。