💻 computer science

Continuous Speculative Decoding for Autoregressive Image Generation

本論文は、デノイジング・トラジェトリー・アライメントメント（denoising trajectory alignment）と受理・棄却サンプリング（acceptance-rejection sampling）を通じて分布の不一致と複雑な積分課題を克服し、画像生成の品質を維持しつつ2倍以上の推論加速を実現する、連続的視覚自己回帰モデルのための新しい加速フレームワークであるContinuous Speculative Decoding (CSpD) を提案する。

原著者： Zili Wang, Zheng Zhang, Kun Ding, Qi Yang, Fei Li, Shiming Xiang

公開日 2026-07-02

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Zili Wang, Zheng Zhang, Kun Ding, Qi Yang, Fei Li, Shiming Xiang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは傑作を描こうとしていると想像してください。しかし、一筆ごとに絵の具を塗り、次の動きをする前に乾かすのを待たなければなりません。これが自己回帰的（Autoregressive, AR）画像生成の仕組みです。コンピュータは画像のパーツを一つずつ予測し、その予測に基づいて次のパーツを推測します。これを繰り返します。非常に高品質ですが、一度に一つのことしかできないため、信じられないほど時間がかかります。

この論文の著者たちは、画質を損なうことなく、このプロセスを高速化したいと考えました。彼らはテキスト生成の世界から**投機的デコーディング（Speculative Decoding）**というテクニックを借りましたが、画像は「離散的（単語やレゴブロックのような明確なもの）」ではなく「連続的（色の滑らかなグラデーション）」であるため、ゼロから作り直す必要がありました。

以下に、その手法を簡単な比喩を用いて説明します。

1. 問題点：「速い弟子」対「遅い師匠」

高速化のために、研究者たちは**ドラフトモデル（速い、小さな弟子）とターゲットモデル（遅い、強力な師匠）**を導入しました。

従来の方法（離散的）： テキスト生成では、弟子が次の5つの単語を予測します。師匠はそれらを一度にチェックします。もし師匠が同意すれば成功です。同意できなければ、師匠が単語を修正します。
新たな課題（連続的）： 画像生成では、「単語」は実際には滑らかな連続値（特定の青色の濃淡など）です。弟子の推測が正しいかどうかを判定するための数学的な計算は、はるかに困難です。
- 問題A： 弟子と師匠が、考える「正しい」色が全く異なる場所にあります。弟子がある青色を推測しても、師匠にとってはひどい色であることがあります。これにより、「受理率（acceptance rate）」が非常に低くなります（師匠がほとんどのものを拒絶してしまう）。
- 問題B： 師匠が推測を拒絶したとき、師匠はすぐに「新しい正しい推測」を生成しなければなりません。連続的な数学の世界では、この「新しい正しい推測」のための公式は非常に複雑で、まるで明確な答えのない積分方程式を解いているようなものです。単に式を書くだけでは済まず、重いシミュレーションを実行して導き出す必要があり、これではスピードアップの目的が台無しになってしまいます。

2. 解決策：「連続的投機的デコーディング」

チームは、これら2つの問題を解決するために新しいシステムを構築しました。

問題Aの解決：「同じ道を歩む」（デノイジング・トラジェトリ・アライメント）

弟子と師匠が、どちらも霧の深い丘（ノイズ）から、澄んだ谷（最終的な画像）へと降りていく道を歩いていると想像してください。

アライメントがない場合： 弟子は自分の地図に基づいて道を歩み、師匠は自分の地図に基づいて道を歩みます。二人は別々の谷にたどり着きます。師匠は「それは私の求めている谷ではない！」と言い、推測を拒絶します。
アライメントがある場合： 研究者たちは、弟子と師匠が丘を下る際に、**同じランダムなステップ（同じ「ノイズ」）**を使うように強制しました。たとえ出発点の地図が少し違っていても、同時に全く同じステップを踏むことで、二人は非常に近い場所に到達します。
結果： 同じ道を歩んでいるため、弟子の推測は師匠が期待するものに非常に近くなります。その結果、師匠は推測を受け入れやすくなります。

問題Bの解決：「魔法のフィルター」（受理・拒絶サンプリング）

師匠が推測を拒絶した場合、重い計算を実行することなく、新しい画像パーツを生成するためのバックアッププランが必要です。

トリック： 「完璧な」新しい推測を得るための不可能な数式を解こうとする代わりに、彼らは**受理・拒絶サンプリング（Rejection Sampling）**という手法を用います。
比喩： 師匠が「魔法のフィルター（数学的な上限）」を持っていると考えてください。候補となるものを生成し、もしその候補がフィルターを通過すれば保持します。もしフィルターに当たれば、それを捨ててやり直します。
革新性： 通常、このフィルターを計算するのは困難です。しかし、先ほどの「同じ道を歩む」というテクニックを用いたことで、重いシミュレーションを実行することなく、単純な数学（経路の始点と終点を見るだけ）を使ってこのフィルターを計算する方法を見つけ出しました。これにより、有効な代替画像パーツを素早く生成できるようになりました。

開始時の修正：「キャンバスへの下書き」

研究者たちは、画像生成プロセスの非常に初期段階において、弟子が非常に混乱し、悪い推測をしてしまうことに気づきました。

修正策： 弟子が暗闇の中で推測を始めるのではなく、しっかりとした基礎を作るために、最初の数ステップ（画像の約5%）については、師匠が完璧に描き切るようにしました。これにより、プロセス全体が安定します。

結果：犠牲のないスピードアップ

これらのテクニックを組み合わせることで、システムは画像を2倍以上速く（設定によっては最大2.7倍）生成できます。

比喩： それは、5ステップ先までスケッチできる速い弟子がいるようなものです。弟子と師匠が「同じ道を歩む」ように調整され、さらに師匠がミスを即座に修正する方法を持っているため、弟子のスケッチのほとんどが受理されます。師匠は、線を修正したり、最初の数本の線を引いたりするときにだけ、介入すればよいのです。
品質： 極めて重要な点として、この論文は、最終的な画像は、遅い「師匠のみ」の手法を用いた場合と全く同じに見えると主張しています。品質の低下はなく、ただ大幅なスピード向上があるだけです。

要約すると： この論文は、遅くてステップバイステップの画像生成器を、速い弟子を使って先読みさせ、弟子と師匠がより多く合意できるように「同じダンスステップ」に従わせ、ミスを即座に修正する巧妙な数学的トリックを用いることで、2倍の速さで動作するようにしました。

技術要約：連続的な自己回帰型画像生成のための連続的投機的デコーディング

問題提起

連続的な視覚的自己回帰（AR）モデルは、離散的なトークンベースの手法に代わる有望な選択肢として台頭しており、優れた再構成品質を提供し、ベクトル量子化に伴う不安定性を回避します。しかし、離散的なARモデルや大規模言語モデル（LLM）と同様に、これらの連続的ARモデルも、その逐次的なデコーディングの性質に起因する本質的な推論速度の遅さに直面しています。

投機的デコーディング（Speculative Decoding）は、「ドラフトと検証」のメカニズムを用いることで、離散的な視覚的ARモデルやLLMを加速させることに成功してきましたが、連続的な分布への直接的な適用には、2つの根本的な理論的および実用的な障壁が存在します。

低い受理率（Acceptance Rate）: 連続領域では、ドラフトモデルとターゲットモデルが異なるデータ分布を学習することがよくあります。その結果、ドラフトモデルによって生成されたサンプルは、ターゲットモデルの高確率領域から外れることが頻繁に起こります。これにより、確率比が極端に低くなり、結果として受理率がほぼゼロとなり、加速効果が失われます。
非解析的な修正分布: 投機的デコーディングにおいて、ドラフトトークンが拒絶された場合、ターゲット分布とドラフト分布の正規化された差（ $p(x) - q(x)$ ）によって定義される「修正分布」から新しいトークンを再サンプリングする必要があります。離散空間では、この正規化定数は単純な総和ですが、連続空間では全空間にわたる複雑な積分が必要であり、解析的な表現が存在しないため、直接的なサンプリングが困難です。

手法

本論文は、これらの特定の問題を克服するために設計されたフレームワークである**連続的投機的デコーディング（Continuous Speculative Decoding）**を提案します。このアプローチは、以下の3つの相乗的な戦略を統合しています。

1. 近似された受理基準と軌跡の整合（Trajectory Alignment）

分布の不一致による低い受理率に対処するため、著者らは実用的な近似と新しい整合戦略を導入しています。

近似された基準: デノイジング・軌跡全体にわたる結合確率の比を計算することは計算コストが高く、発散しやすい（divergence）ため、代わりに、ドラフトとターゲットの軌跡が同じ初期潜在変数 $x_0$ を共有する場合の結合確率の比 $p(Y_p)/q(Y_q)$ を計算します。
デノイジング軌跡の整合: ドラフトとターゲットの出力を最小限の差異に抑えるため、著者らはデノイジング軌跡を整合させる手法を提案しています。**再パラメータ化の近接性（Reparameterization Proximity）**定理に基づき、再パラメータ化ステップ（ $x_{t-1} = \mu_\theta(x_t, t) + \Sigma_\theta(x_t, t)\epsilon_t$ ）において、ドラフトモデルとターゲットモデルの両方に同じノイズベクトル $\epsilon_t$ を設定することで、出力間の期待距離を大幅に減少させることができます。この整合により、ドラフトモデルの軌跡がターゲットモデルの高確率領域により近い状態に保たれ、受理率が向上します。

2. トークンのプリフィリング（Token Pre-filling）

著者らは、ドラフトモデルとターゲットモデルの間でプレフィックス埋め込み（prefix embeddings）の不一致があるため、初期の自己回帰ステップにおいて受理率が特に低くなることを観察しました。これを軽減するために、初期トークンの一部（例：5%）をドラフトモデルではなくターゲットモデルによって生成するトークン・プリフィリングを提案しています。これにより、大幅な推論レイテンシの増加なしに、初期段階での一貫したプレフィックスを確保し、受理率を安定させることができます。

3. 修正分布のための受理・棄却サンプリング

非解析的な修正分布（ $p'(x)$ ）を扱うために、本論文では**受理・棄却サンプリング（Acceptance-Rejection Sampling）**スキームを採用しています。

上界の導出: $M \cdot p(Y) \geq p'(Y)$ となる適切な上界 $M$ を導出します。 $M = 1/Z$ （ここで $Z$ は計算困難な正規化定数）と設定することで、積分を明示的に計算する必要を排除しています。
効率的な閾値計算: 決定的なことに、拒絶閾値 $\alpha_s$ は、前述のデノイジング軌跡の整合特性を用いて導出されます。これにより、修正分布からサンプリングするために必要となる、反復的で高コストな拡散モデルの推論を回避し、モデルのパラメータによって定義されるガウス分布のみを使用して閾値を計算することが可能になります。

主な貢献

本論文は以下の貢献を主張しています。

初の連続的投機的デコーディング: 投機的デコーディングを連続分布へと橋渡しした最初の研究であり、連続的な視覚的ARモデルに対して大幅な加速を可能にします。
低い受理率への解決策: 近似された基準、再パラメータ化の近接性に基づくデノイジング軌跡の整合、およびトークン・プリフィリングを通じて、低い受理率の問題に対処しています。
計算可能な再サンプリング: 適切な上界を用いたカスタマイズされた受理・棄重サンプリングスキームにより、修正分布からのサンプリングを可能にします。
プラグアンドプレイの統合: 本手法は、追加の学習やアーキテクチャの変更を必要とせずに、既存の3つの連続的視覚的ARモデル（MAR、xAR、Harmon）で検証されています。

実験結果

ImageNet（256×256および512×512解像度）およびMSCOCO/MJHQデータセットを用い、MAR、xAR、Harmonモデルに対して広範な実験が行われました。

スピードアップ: このアプローチは、さまざまなモデルと解像度において2倍以上のウォールタイム・スピードアップを達成しています。具体的な結果は以下の通りです。
- MAR: 最大2.33倍のスピードアップ。
- xAR: 最大2.72倍のスピードアップ。
- Harmon: 最大2.54倍のスピードアップ。
品質の維持: 定量的指標（FID、Inception Score、CLIPScore、Geneval）は、加速された生成が元のターゲットモデルと同等の画像品質を維持していることを示しています。指標の標準偏差は低く保たれており、安定性を示しています。
アブレーション研究:
- 軌跡の整合: ドラフトとターゲットのトークン間の平均距離を2.0超から~~1.0へと減少させ、受理率を~~7%から>30%へと向上させました。
- プリフィリング: 5%のプリフィリング比率が最適であることが判明し、0%のプリフィリングと比較して、初期段階の受理率を大幅に改善し、視覚的なアーティファクトを減少させました。

重要性と主張

本論文は、本研究を自己回帰型画像生成を加速させるための不可欠な進化として位置付けています。投機的デコーディングは離散領域では成功してきましたが、連続分布に対する類似の理論の欠如が、連続的ARモデルの効率化を妨げてきました。分布の不一致と非解析的な積分の理論的課題を解決することで、本研究は、より高速な連続的ARモデルの実用的な展開を可能にします。著者らは、本手法が既存のアーキテクチャにシームレスに統合できる、堅牢で（分布の観点で）ロスレスな加速戦略を提供し、視覚分野や、連続的自己回帰プロセスを利用するその他の分野におけるより効率的な推論への道を開くと主張しています。