🤖 machine learning

Variational Speculative Decoding: Rethinking Draft Training from Token Likelihood to Sequence Acceptance

本論文は、ドラフト学習をターゲットモデルのシーケンス受容を最大化するための変分推論として再定式化する新しいフレームワークであるVariational Speculative Decoding (VSD) を導入し、適応的な重み付けと正則化を伴う期待値最大化（EM）手続きを通じて、学習とデコーディングの間の不一致を解決することにより、既存の手法に対して大幅な推論の高速化を実現するものである。

原著者： Xiandong Zou, Jianshu Li, Jing Huang, Pan Zhou

公開日 2026-08-13

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Xiandong Zou, Jianshu Li, Jing Huang, Pan Zhou

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、超高性能なロボットに物語の書き方を教えようとしているところだと想像してください。このロボットは「大規模言語モデル（LLM）」として知られる、非常に才能がありますが、同時に非常に動作が遅い存在です。このロボットは、一文を書くごとに一単語ずつ進み、次の言葉を考えるために毎回立ち止まる、という人間のようなプロセスで動いています。この「立ち止まって考える」プロセスは安全で正確ですが、そのせいでロボットはまるで糖蜜の中を歩いているかのように、動きが鈍く感じられます。

このスピードを上げるために、科学者たちは「投機的デコーディング（speculative decoding）」と呼ばれる巧妙なトリックを考案しました。これは、二人のチームのようなものだと考えてください。一人目は、エネルギッシュで素早い「ジュニア・アシスタント（ドラフトモデル）」、もう一人は賢くて遅い「スーパーバイザー（ターゲットモデル）」です。ジュニア・アシスタントは、物語の次の数単語を非常に素早く推測しようとします。その後、スーパーバイザーがそれらの推測をチェックします。もし推測が正しければ、ロボットはそれらすべてを一括で受け入れ、遅い「思考」の時間をスキップします。もし推測が間違っていれば、スーパーバイザーがそれを修正し、最初からやり直します。目標は、ジュニア・アシスタントに長く正しい言葉の連鎖を推測させ、スーパーバイザーがそれらを大きなバッチとして承認できるようにすることで、プロセスを飛躍的に加速させることです。

しかし、一つ落とし穴があります。ジュニア・アシスタントは通常、「完璧な」答えを見せられ、その単一の経路を暗記するように訓練されます。しかし、実際のゲームでは、スーパーバイザーは単一の経路だけを見るのではなく、多くの可能性が含まれた「木（ツリー）」全体を見て、最善のものを選び出します。ジュニア・アシスタントを単一の直線的な経路のみに従うように訓練することは、スーパーバイザーが実際に多くの選択肢（森）の中から最適なものを選ぼうとしている時に、適切な経路を推測する能力を損なわせるという問題を引き起こします。このように、アシスタントの訓練方法と、実際にプレイしているゲームとの間のミスマッチが、このAIロボットの進化を阻んできました。

論文の核心的なアイデア：アシスタントのための新しい訓練方法

この論文において、研究者たちは「変分投機的デコーディング（Variational Speculative Decoding: VSD）」と呼ばれる新しい訓練手法を提案しています。彼らは、従来のドラフトモデルの訓練方法が、まるでレーシングカーのドライバーに対し、実際のレースには複雑で曲がりくねったコースがあり、多くの可能性があるにもかかわらず、ただ一本の直線的なトラックのみを走るように教えているようなものだと気づきました。

旧来の手法の問題点
著者らは、現在の手法がドラフトモデルを「強欲（greedy）」になるよう訓練していると説明しています。これは、モデルが常に最も可能性の高い次の単語を一つ選ぶように教えられ、一つの直線的なテキストを作成することになります。しかし、実際のゲーム中、システムは単一のラインだけをチェックするのではなく、多くの異なる単語の組み合わせを含む「木（ツリー）」を生成し、その中から最善のものを選び出します。論文では、これがミスマッチを生んでいることが示されています。つまり、モデルはある特定の経路に対して完璧になるよう訓練されていますが、ゲームには多くの異なる経路に対応できる能力が求められているのです。実際、彼らの実験によれば、モデルが訓練された「完璧な」経路の約30%が、ゲーム中に（最善の選択肢ではなかったために）破棄されていることが分かりました。

新しい解決策：森全体から学ぶ
VSDは、訓練のルールを変更します。ドラフトモデルを単なる「一本の直線」を暗記させるのではなく、「変分推論（variational inference）」の問題として扱います。平易に言えば、これはモデルに対し、単一の木ではなく、可能性という「森全体」を理解するように教えることを意味します。モデルは単に「最も可能性の高い単語」を推測するのではなく、スーパーバイザーに承認されやすい一連の経路を推測することを学びます。

これを行うために、研究者たちは巧妙な二段階のプロセス（期待値最大化法：Expectation-Maximization procedure）を使用しています。

推測フェーズ（Eステップ）： モデルは多くの異なる物語の経路を生成します。特別な「オラクル（賢いフィルター）」がこれらの経路をチェックし、スーパーバイザーのテストに合格しそうな経路を保持し、不適切なものを排除します。
学習フェーズ（Mステップ）： モデルはこれらの「保持された」経路から学習します。ここで、学習を安定させ、スマートにするための二つの特別なツールが加えられます。
- 適応的拒絶重み付け（Adaptive Rejection Weighting: ARW）： これは、生徒の苦戦を察知するコーチのような役割を果たします。モデルが悪質な推測を多くしているときは、ノイズを無視して優れたものだけに集中します。モデルが順調に進んでいるときは、より速く改善できるよう、間違いに注意を払います。
- 信頼度を考慮した正則化（Confidence-Aware Regularization: CAR）： これは、モデルが「自信過剰」になるのを防ぎます。もしモデルが間違った推測に対して99%の確信を持っている場合、このツールは大きなペナルティを与えます。これにより、モデルに謙虚さを教え、頑固に間違った考えに固執するのではなく、他の選択肢を探索するように促します。

研究結果
研究者たちは、テキストのみのモデル（LLaMAなど）や、画像を見ることができるモデル（LLaVAなど）を含む、いくつかの異なるAIモデルを用いてこの新手法をテストしました。その結果、VSDはAIを「賢さを損なうことなく」一貫して高速化させることが分かりました。

速度： テキストモデルにおいて、VSDは従来の最高手法（EAGLE-3）よりも最大で**9.6%**高速化しました。
承認率： 「アシスタント」は、一度に承認される単語の数が増えました。従来の手法では一度に5〜6個のトークン（言葉の塊）が承認されていたのに対し、VSDでは平均して6〜7個のトークンが承認されました。
マルチモーダルな魔法： 画像とテキストを扱うモデルにおいても同様に機能し、既存の最高手法（ViSpec）に対して**7.9%**の速度向上を実現しました。

なぜこれが重要なのか
この論文は、ドラフトモデルの訓練方法を「単一の動き」ではなく「ゲーム全体の考え方」へと変えることで、AIを大幅に高速化できることを証明しています。著者らは、彼らの手法が「期待承認長（一度に承認される単語の数）」を向上させることが数学的に保証されていることを示しました。彼らは単に推測したのではなく、コード作成、数学の問題解決、画像に関する質問への回答など、多岐にわたるタスクを通じてこれを測定しました。

要約すると、VSDは、ドラフトモデルが「可能性の探索者」としてより優れた思考ができるよう訓練することで、訓練時のミスマッチを解消しています。これにより、モデルが推測を行った際に、それがスーパーバイザーによって実際に受け入れられやすい推測になるようにしています。これにより、AIはまるで糖蜜の中を歩いているような状態から、全力疾走しているような状態へと変わるのです。

技術要約：変分投機的デコーディング (Variational Speculative Decoding: VSD)

1. 問題提起：学習とデコーディングにおける分布の乖離

現在の投機的デコーディング手法は、軽量なドラフトモデルを用いてトークンを提案し、ターゲットモデルがそれを並列に検証することで、大規模言語モデル（LLM）およびマルチモーダルLLM（MLLM）の推論を加速させている。しかし、根本的な**学習とデコーディングの分布の乖離（training-decoding discrepancy）**が依然として存在する：

決定論的な学習 vs. 確率的なデコーディング: 既存のドラフトモデルは通常、単一の「貪欲（greedy）」なトークン軌跡を予測するようにクロスエントロピーで学習される。これに対し、実際のデコーディングは、確率的なマルチパス・サンプリング（例：ツリーベースの探索）、候補のランキング、および複数パスの検証を含む。
トークンレベルの尤度 vs. パスレベルの有用性: 学習は、単一のパスに沿った個々のトークンの尤度を最適化する。しかし、デコーディングはパスレベルでの意思決定を行うものであり、ドラフトパスの価値は、その累積的な確信度と、シーケンス全体を通じて検証を生き残る能力に依存する。
結果: 標準的な学習は、ドラフト分布を単一の決定論的なパスへと崩壊させる。本論文の経験的分析によれば、学習時の貪欲なパスの約30%がドラフトツリー構築中に枝刈りされており、最終的に受理されたパスが貪欲パスと一致するのは約36%のケースのみである。この不一致が、達成可能な推論加速を制限している。

2. 手法：変分投機的デコーディング (VSD)

著者らは、ドラフトの学習を潜在的なドラフトパスに関する変分推論問題として定式化するVariational Speculative Decoding (VSD) フレームワークを提案する。

2.1. 変分定式化

VSDは、ドラフトパス $z$ を潜在的な提案（proposal）として扱う。目標は、パスが有効である（すなわち、ターゲットモデルによって受理される）周辺確率を最大化することである。

パスレベルの妥当性: ドラフトパス $z = (z_1, \dots, z_\ell)$ に対して、妥当性確率 $\kappa(x, z)$ は、すべてのトークンが受理される結合確率として定義される： $\kappa(x, z) = \prod_{i=1}^\ell \alpha_i(x, z_{<i})$ 。ここで $\alpha_i$ はトークンレベルの受理確率である。
エビデンス下界 (ELBO): 著者らは、受理の対数周辺確率 $\log Z_\theta(x)$ $lo g Z_{θ} (x)$ に対するELBOを導出している：
$\mathcal{L}_{VSD}(\psi; x) = \mathbb{E}_{z \sim q_\psi}[\log \kappa(x, z)] - D_{KL}(q_\psi(z|x) \parallel p_\theta(z|x))$
- 第1項は、ドラフトモデルが高い受理確率を持つパスを生成することを促す（パスレベルの有用性）。
- 第2項（KLダイバージェンス）は、ドラフト分布をターゲットモデルの分布に近づけるための正則化として機能し、退化的な解を防ぐ。

2.2. 期待値最大化 (EM) による最適化

有効なパスに対する事後分布は計算困難であるため、VSDはモンテカルロ法に基づくEM手順を用いてELBOを最適化する：

Eステップ (オラクルによるフィルタリング・サンプリング): ドラフトモデルが候補パスのバッチを生成する。「オラクル」（ターゲットモデルの貪欲パスに基づく）がこれらの候補をフィルタリングし、高有用なパスを保持し、拒絶されたものをターゲットポリシーからの修正サンプルで置換する。これにより、有効なパスの事後分布の経験的な近似を構築する。
Mステップ (重み付き尤度最大化): Eステップで受理されたサンプルに対する尤度を最大化するように、ドラフトモデルのパラメータを更新する。安定性と効率性を確保するために、2つのメカニズムが導入されている：
1. 適応的拒絶重み付け (Adaptive Rejection Weighting: ARW): コントロール変数の係数が、ドラフトモデルの現在の信頼性に基づいて拒絶されたサンプルを動的に再重み付けする。これにより勾配の分散を減少させ、ドラフトモデルが弱い時の不安定な更新を防ぐ。
2. 確信度を考慮した正則化 (Confidence-Aware Regularization: CAR): 無効なパスに対して高い確信度を割り当てるドラフトモデルに対してペナルティを課す（ハードネガティブマイニング）。これは、ドラフトモデルの確信度に基づいて拒絶された提案を再重み付けし、検証コストを増大させる過剰な自信に基づいた誤りを抑制する。

3. 主な貢献

新しいフレームワーク: VSDは、ドラフトの学習を単一トークンの予測ではなく、潜在パスに関する変分推論として定式化することで、学習とデコーディングの分布の乖離に明示的に対処する初のフレームワークである。
理論的保証:
- 定理1: VSDの目的関数を最大化することが、期待受理長に対する証明可能な下界を高めることを証明する。
- 定理2: VSDが、従来のKLのみの学習（ $D_{KL}(q_\psi \parallel p_\theta)$ のみを最小化するもの）と比較して、期待受理長に対して厳密にタイトな下界を提供することを実証する。
- 定理3: 各EMステップにおける最適なドラフト分布が、ステップレベルの有効パス事後分布であることを特徴付ける。
アルゴリズムの革新: ARWとCARの統合により、ドラフトツリーのモンテカルロ・サンプリングに伴う高い分散を管理し、パスレベルの目的関数の学習を安定させる。

4. 実験結果

著者らは、多様なLLM（LLaMA-3.1/3.3, Vicuna, DeepSeek-R1）およびMLLM（LLaVA-1.5）について、MT-Bench、HumanEval、GSM8K、および各種ビジュアルタスク（VQAv2, ChartQAなど）のベンチマークを用いてVSDを評価した。

パフォーマンスの向上:
- LLM: VSDは、最先端のEAGLE-3に対して最大 9.6%の高速化 を達成し、平均的な受理長を7.6%向上させた。
- MLLM: VSDは、最高のViSpecベースラインに対して最大 7.9%の高速化 を達成し、受理長を7.9%向上させた。
互換性: VSDはモジュール式であり、既存の手法（例：EAGLE-3, MSD, ViSpec, GRIFFIN, HASS）を強化するために適用でき、基礎となるドラフトアーキテクチャに関わらず一貫して改善をもたらす。
アブレーション研究:
- 潜在的な提案数 ( $S$ ) を増やすと、パフォーマンスが一貫して向上し、VSDのマルチパス探索を活用する能力が確認された。
- ARWとCARの両方がパフォーマンスに大きく寄 만큼しており、これらを除去すると、高い分散と過剰な自信による誤りのため、高速化と受理長が低下する。
- VSDは、長期的な一貫性が必要なタスク（例：コード生成、数学的推論）や、ベースラインの貪欲な受理率が低い場合に、より大きな相対的利得を示す。

5. 意義と主張

本論文は、VSDが投機的デコーディングの学習における原理的な転換を象徴すると主張している。ドラフトモデルの目的を、トークンレベルの尤度からシーケンスの受理へと移行させることで、VSDはドラフトモデルの目的を実際のデコーディングプロセス（マルチパス検証）に一致させている。

理論的整合性: 本研究は、変分下界と実測の壁時計時間（wall-clock）の高速化との間の直接的な数学的関連性を確立しており、従来のトークンレベルの学習と比較して効率性の向上を理論的に保証している。
実用的な影響: 結果は、VSDが出力品質を損なうことなく（ロスレス）、テキストおよびマルチモーダルモデルの推論効率を大幅に高める、補完的かつそのまま適用可能な強化策であることを示している。
限界: 著者らは、現在のセットアップでは潜在的な提案数 ( $S$ ) を40以上にスケールアップすることは計算上の制約があるが、より大きな $S$ によってさらなる利得が得られると予想している。また、VSDを他のモダリティ（例：音声）へ拡張することも今後の課題として挙げている。