💻 computer science

Domino: Decoupling Causal Modeling from Autoregressive Drafting in Speculative Decoding

本論文は、並列バックボーンと軽量なリファインメントヘッド、およびベースに固定されたトレーニングカリキュラムを組み合わせることで、因果的依存関係のモデル化を自己回帰的なドラフティングから分離し、Qwen3 モデルにおいて最大 5.8 倍のスループット向上を実現する推測的デコーディングフレームワーク「Domino」を提案する。

原著者： Jianuo Huang, Yaojie Zhang, Qituan Zhang, Hao Lin, Hanlin Xu, Linfeng Zhang

公開日 2026-05-29

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Jianuo Huang, Yaojie Zhang, Qituan Zhang, Hao Lin, Hanlin Xu, Linfeng Zhang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

物語の次の単語を推測しようとしていると想像してください。ただし、非常に厳格で遅いルールに従って行うものとします。つまり、一つの単語を考え、それを書き留め、それが正しいか確認し、その後次の単語を考えるという手順です。これが現在の大型 AI モデル（LLM）が通常動作する仕組みです。これは正確ですが、スーパーファストでダッシュできるチームが用意されているにもかかわらず、混雑した部屋を一歩ずつ歩くようなものです。

この論文は、このプロセスを大幅に高速化するための新しい手法「Domino」を紹介しています。その仕組みを、簡単なアナロジーを用いて説明します。

課題：「速度対精度」の罠

処理を高速化するために、研究者たちは**Speculative Decoding（推測的デコーディング）**と呼ばれるトリックを使用します。これは、小さな高速な AI（「ドラフトチーム」）が、次のいくつかの単語を推測し、それを大きな遅い AI（「メインボス」）に確認させるようなものです。

従来の方法（自己回帰的）： ドラフトチームが一つの単語を推測し、次に次の単語を、そしてさらに次の単語を、一つずつ推測します。これは、次の単語を推測する前に前の単語を確認できるため、非常に正確です。しかし、各ステップを待つ必要があるため、依然として遅いです。
「並列」方式： ドラフトチームは、次のすべての単語を一度に推測します。まるでカードを handful ずつテーブルに投げつけるようなものです。これは超高速ですが、互いに確認し合わなかったため、推測はしばしば散漫で誤っていることが多いです。

この論文は問いかけます：「なぜ、カードを handful ずつ投げるような速度と、一つずつ行う方法の精度の両方を兼ね備えないのでしょうか？」

解決策：Domino フレームワーク

著者たちは、両者の長所を最大限に引き出すために、作業を二つの部分に分割するDominoを作成しました。

1. 並列バックボーン（「ラフドラフト」）

まず、Domino は高速な並列エンジンを使用して、次のいくつかの単語を一度に「ラフドラフト」として出力します。

アナロジー： 料理人が、まだ刻むことなく、大量の材料をまな板に素早く投げつける様子を想像してください。これは速いですが、材料は正しい順序や形になっていません。

2. Domino ヘッド（「軽量リファイナー」）

ここが魔法のパートです。遅い全体のプロセスをやり直すのではなく、Domino はDomino ヘッドと呼ばれる小さく専門的なツールを追加します。

アナロジー： 副料理長が、材料の山を素早く眺める様子を想像してください。彼らは料理全体を再び作り直すのではなく、前の材料に基づいて、材料の順序と形に対して小さく精密な調整を加えるだけです。
仕組み： Domino ヘッドは「因果的」であり、単語 B が単語 A に依存することを理解しています。これはラフドラフトを受け取り、単語が論理的に流れるようにするために少しの「修正」を加えます。これにより、遅いステップバイステップのプロセスを待つ必要がなくなります。

学習のトリック：「ティーチャー・フォースイング」

このシステムを学習させるために、著者たちは巧妙な学習手法を使用しました。

課題： AI に自らの誤りを推測させて練習させると、混乱し、悪い習慣を学習してしまいます。
解決策： 彼らは「ティーチャー・フォースイング」を使用しました。これは、学生が修正を行う練習をしている間、教師が正しいカードを提示して見せるようなものです。これにより、AI は自らの誤りではなく、正しい文脈に基づいてドラフトを修正することを学習します。
カリキュラム： 彼らはまた、AI を段階的に学習させました。まず、「ラフドラフト」（並列バックボーン）が堅牢であることを確認しました。その後、徐々に「リファイナー」（Domino ヘッド）が微調整を担うようにしました。これにより、AI がリファイナーに依存しすぎて、そもそも良いラフドラフトを作る方法を忘れることを防ぎました。

結果：品質を損なわずに高速化

この論文は、強力な AI モデル（Qwen3）でこれをテストし、以下の結果を得ました。

速度： 従来の手法よりも著しく高速です。一部のタスクでは、標準的な方法と比較してほぼ8 倍高速でした。
効率性： ドラフトコストを低く保ちながら、「受容率」（メインボスがドラフトチームの推測に同意する割合）を高く維持することに成功しました。
比較： これは、DFlash などの他の高速手法や、EAGLE などの他の高精度手法を、それらの長所を組み合わせることで凌駕しました。

まとめ

Dominoは、物語の次のいくつかの単語を一度に推測する速いチームを雇い、その後、最終的なボスが確認する前に、論理と流れを素早く修正する小さく賢い編集者を追加するようなものです。これにより、AI は慎重に歩く精度を維持しつつ、ダッシュする速度で実行できるようになります。

技術概要：Domino

問題定義

スペキュレイティブデコーディングは、軽量なドラフトモデルを用いて複数の将来のトークンを提案し、それらをターゲットモデルによって並列に検証することで、大規模言語モデル（LLM）の推論を加速する。この手法の有効性は、ドラフトの質とドラフティングコストの間の根本的なトレードオフによって支配される：

自己回帰的ドラフティング（例：EAGLE シリーズ）： これらの手法は、ドラフトブロック内の因果的依存関係を明示的にモデル化しながら、ドラフトトークンを逐次的に生成する。これにより高品質なドラフトと長い受容長（acceptance length）が得られる。しかし、 $k$ 個のトークンを生成するには $k$ 回の逐次的なフォワードパスと $k$ 回の全語彙 LM ヘッド射影が必要であり、速度向上を制限する重大な逐次的オーバーヘッドを伴う。
並列ドラフティング（例：DFlash）： これらの手法は、単一のフォワードパスでドラフトブロック全体を生成し、逐次的オーバーヘッドを排除して GPU 利用率を最大化する。しかし、逐次的依存関係を除去することでブロック内の因果的モデリングが弱体化し、自己回帰的手法と比較して受容長が短くなる傾向がある。

既存のアプローチは、これらの要素のバランスを取ることに苦慮している。語彙射影コストの削減（例：FR-Spec）や木ベースの検証を用いても、因果的モデリングの逐次的コストと並列生成による質の低下の間の緊張関係を完全に解決することはできない。ここで扱われる中心的な問いは、因果的依存関係のモデリングによるドラフトの質向上の恩恵を維持しつつ、ブロック並列生成の低コスト効率性を保持することは可能か？ である。

手法：Domino

著者は、因果的依存関係のモデリングを高価な自己回帰的ドラフト実行から切り離すスペキュレイティブデコーディングフレームワーク、Domino を提案する。このアーキテクチャは、主に 2 つのコンポーネントで構成される：

1. 並列ドラフトバックボーン

Domino は、DFlash アーキテクチャをインスタンス化した並列ドラフトバックボーンを用いて、ブロック全体に対する予備的なドラフト分布を、単一の非自己回帰的フォワードパスで生成する。

入力： バックボーンは、検証済みのプレフィックスからのターゲットモデルのコンテキスト特徴と、最後の検証済みトークンに続く [MASK] トークンを含むマスクされたドラフトブロックを受け取る。
出力： これはブロック全体の隠れ状態を生成し、そこから凍結されたターゲット LM ヘッドを用いてベースのログオッズ（ $L^{base}_i$ ）が計算される。

2. Domino ヘッド（軽量因果的補正）

逐次的実行なしで因果的情報を再導入するために、Domino は並列ベースのログオッズの上に軽量な補正ヘッドを適用する。このヘッドは逐次的に動作するが、計算コストは低い：

因果的エンコーダ： 各ドラフト位置 $i$ において、軽量な GRU が、先行するドラフトされたトークン（または訓練中の真のトークン）の埋め込みを要約し、因果状態 $S_{i-1}$ を生成する。この状態は、完全な自己回帰モデルを呼び出すことなく、プレフィックス依存情報を捉える。
低ランク補正ヘッド： ヘッドは、低ランクのボトルネックを用いてログオッズ空間で残差補正を計算する。ベース隠れ状態 $H_i$ と因果状態 $S_{i-1}$ を連結し、低ランク空間（次元 $r=256$ ）に射影した後、語彙空間にマッピングして補正ログオッズ $\Delta L_i$ を生成する。
最終ログオッズ： 最終的なドラフトログオッズは $L_i = L^{base}_i + \Delta L_i$ として計算される。トークンはこの洗練された分布からサンプリングされる。

重要なのは、補正が隠れ空間ではなくログオッズ空間で適用される点である。これにより、各因果的更新後に全 LM ヘッドを再実行する必要がなくなり、ベース計算は並列に保たれ、逐次的なブランチは低ランクの残差更新に限定される。

訓練戦略

訓練を安定させ、補正ブランチがバックボーンを「ショートカット」することを防ぐため、著者は 2 つの主要な戦略を導入する：

教師あり強制因果的エンコーディング： 自己生成されたプレフィックス（訓練時テスト）を使用する手法とは異なり、Domino は因果的エンコーダに真のトークン埋め込みを供給する。これは、訓練分布をスペキュレイティブデコーディングの受容メカニズムと整合させるものであり、そこでは補正は先行トークンが正しく検証された場合にのみ意味を持つ。
ベースアンカー型カリキュラム： 並列バックボーンが崩壊する（つまり、補正ブランチがそれを補うために弱体化する）ことを防ぐため、訓練損失はベースログオッズ損失と最終ログオッズ損失の加重和とする。重み $\lambda_t$ は 1 から 0 まで線形にアンニーリングされ、最初はバックボーンが強力なベース分布を学習することを強制し、徐々に最適化を最終的な補正済み分布へとシフトさせる。

主要な貢献

因果的モデリングと実行の分離： Domino は、因果的依存関係のモデリングを自己回帰的ステップの高価な実行から分離し、逐次的レイテンシなしで因果的洗練を可能にする。
軽量因果的補正： GRU ベースのエンコーダとログオッズ空間における低ランクボトルネックを使用することで、Domino は最小限のパラメータオーバーヘッド（バックボーンに対して約 5.3% のパラメータ追加のみ）と無視できるレイテンシ増加でプレフィックス依存情報を注入する。
安定化された訓練カリキュラム： 教師あり強制とベースアンカー型カリキュラム損失の導入により、バックボーンの崩壊を防ぎ、並列ベース分布と因果的補正の両方の堅牢な学習を確保する。

実験結果

実験は、数学推論（GSM8K, MATH, AIME25）、コード生成（HumanEval, MBPP, LiveCodeBench）、対話（MT-Bench, Alpaca）のベンチマークにおいて、Qwen3-4B および Qwen3-8B モデルを用いて実施された。

エンドツーエンドの速度向上： Transformers バックエンド下、Domino は Qwen3-8B（貪欲デコーディング）で最大 5.49 倍 の速度向上を達成し、DFlash（4.66 倍）および EAGLE-3（2.26 倍）を上回った。特に GSM8K においては 7.92 倍 の速度向上に達した。
受容長： Domino は並列ベースラインと比較して平均受容長を大幅に改善した（例：GSM8K における Qwen3-8B で 6.59 から 10.03 に増加）。これにより、並列効率を維持しつつ自己回帰的手法とのギャップを縮めた。
高同時実行スループット： SGLang を使用すると、Domino は異なる同時実行レベル（2 から 32 リクエスト）にわたって優れたスループットを示し、自己回帰的デコーディングに対して最大 5.8 倍 のスループット速度向上を達成した。
アブレーション研究：
- Domino ヘッドを除去すると、平均速度向上は 3.31 倍から 2.84 倍に低下し、因果的補正の有効性が確認された。
- 訓練時テストの代わりに教師あり強制を使用すると、受容長が改善された（3.80 から 3.96）。
- ベースアンカー型カリキュラムはさらに受容長を向上させ（3.96 から 4.19）、バックボーン損失の崩壊を防いだ。

意義

本論文は、Domino が並列ドラフティングに因果的情報を効果的に再導入し、より高速な LLM 推論を実現することを示していると主張している。依存関係のモデリングを実行コストから切り離すことで、Domino はドラフトの質とドラフティングオーバーヘッドの間の優れたバランスを達成する。結果は、軽量な因果的補正が、純粋な自己回帰的および純粋な並列スペキュレイティブデコーディング戦略の両方の限界を克服する viable な道筋であることを示唆しており、出力分布の忠実性を損なうことなく LLM サービングを加速するための実用的な解決策を提供する。