💻 computer science

Multi-Scale Local Speculative Decoding for Image Generation

本論文は、低解像度ドラフティングと空間的に情報化された局所拒否・再サンプリングを組み合わせることで、高レベルのセマンティック整合性と知覚的品質を維持しつつ最大5倍の高速化を実現する、自己回帰型画像生成を加速する新規フレームワーク「マルチスケール局所推測デコーディング（MuLo-SD）」を導入する。

原著者： Elia Peruzzo, Guillaume Sautière, Amirhossein Habibian

公開日 2026-05-29

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Elia Peruzzo, Guillaume Sautière, Amirhossein Habibian

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

巨大で驚くほど詳細な壁画を壁に描こうとしていると想像してください。あなたは、厳格なルールに従って、1 つの小さな正方形を 1 つずつ完成させるアーティストです。そのルールとは、「次の正方形について考える前に、1 つの正方形を必ず完成させなければならない」というものです。これが現在の AI 画像生成器（自己回帰モデルと呼ばれる）の仕組みです。これらは、画家がグリッドを 1 点ずつ塗りつぶすように、トークンごとに画像を構築します。これにより美しい結果が得られる一方で、アーティストはスピードを上げられないため、移動する前にすべてのドットが乾くのを待たなければならないという、痛ましいほど遅いプロセスとなります。

この論文は、このアーティストが傑作を損なうことなく、はるかに速く描けるよう支援する新しい技術、MULO-SD（Multi-Scale Local Speculative Decoding：マルチスケール局所推測デコーディング）を紹介しています。その仕組みを、単純な比喩に分解して説明します。

1. 問題点：「遅くとも確実な」アーティスト

現在の AI モデルは、推測することを拒絶する完璧主義者のようなものです。これらは、最初のピクセルの正確な色を計算し、次に 2 番目、3 番目と、最後まで計算し続けます。高解像度の画像の場合、これは数千のステップを意味します。まるで、次の文字を印刷する前にプリンターがそれぞれの文字を完了するのを待って、1 文字ずつ本を読むようなものです。

2. 解決策：「スケッチと検証」のチーム

著者らは、スピードを上げるために 2 人のチームを提案します。

スケッチアーティスト（ドラフター）： 壁画の低解像度版（ラフスケッチのようなもの）に取り組む、小さく速いアーティスト。
巨匠画家（ターゲット）： 元の、遅く、高解像度のアーティスト。

彼らが協力する方法：
巨匠画家がすべてのステップを行う代わりに、スケッチアーティストが低解像度スケッチの 1 行全体を素早く描きます。その後、「拡大鏡」（アップサンプラー）がこのスケッチを実際の壁画のサイズに拡大します。巨匠画家はこの拡大されたスケッチを見て、「はい、それは正しい！」または「いいえ、それは間違っています」と言います。

巨匠画家が「はい」と言えば、彼らはその 1 行全体を即座に受け入れます。「いいえ」と言えば、その特定の箇所だけを修正します。これにより、チームは数千もの遅い個別の計算をスキップできるようになります。

3. 秘密の武器：「局所的な近隣」

古い手法では、巨匠画家が 1 行の中のたった 1 つの小さなドットさえも拒絶した場合、彼らはその行全体を捨てて最初からやり直す必要がありました。これは、タイポ 1 つのために作家が段落全体を消去するようなものです。

MULO-SD はルールを変更します。これは局所検証を使用します。

比喩： あなたが本の校正をしていると想像してください。文の途中でタイポを見つけた場合、ページ全体を捨てる必要はありません。その単語と、その直前の数語だけを修正すればよいのです。
技術： AI がトークン（ピクセルブロック）を拒絶した場合、その特定の箇所とその直近の「近隣」（周囲のピクセル）だけを再描画します。行の残りはそのままにします。スケッチの大部分が実際には正しかったため、これにより莫大な時間の節約になります。

4. 結果：5 倍速く描画

これらのトリックを組み合わせることで——低解像度のスケッチを使って未来を推測し、ページ全体ではなく小さな「島」のような誤りだけを修正する——AI は以前よりも最大 5 倍速く画像を生成できます。

この論文は、5,000 枚の画像（MS-COCO）のデータセットでこれをテストしました。その結果、以下がわかりました。

速度： 以前の「推測」手法（LANTERN や EAGLE-2 など）よりも著しく速く、「並列」手法（ZipAR など）よりもさえ速かったです。
品質： 画像は「急いでいる」ようには見えませんでした。テキストプロンプトとの一致（意味的整合性）は完璧なまま、人間の目にも遅い元の手法と同じように見えました（知覚的品質）。

まとめ

MULO-SD を、まず全体像をスケッチする速いインターンを雇い、その後、上司がそのスケッチを素早くチェックすると考えてください。上司が間違いを見つけた場合、インターンに全体を描き直すよう指示するのではなく、その小さな隅だけを修正するよう伝えます。このようにして、最終的な傑作は、同じ高い品質を保ちながら、時間の数分の一で完成します。

技術的概要：画像生成のためのマルチスケール局所仮説的デコーディング

問題定義

自己回帰（AR）モデルは、テキストから画像への整合性や意味理解に優れた統一マルチモーダル大規模言語モデル（MLLM）において、画像合成で大きな成功を収めています。しかし、AR デコーディングの逐次的な性質は、特に解像度が高くなるにつれてトークン系列が二次関数的に増加する高解像度出力において、深刻な遅延制約を課します。仮説的デコーディング（SD）は、軽量な「ドラフター」モデルを用いてトークンを提案し、「ターゲット」モデルによる並列検証を行うことで加速の有望な道筋を提供しますが、既存のアプローチは視覚分野において以下の重要な限界に直面しています：

トークンの曖昧性：視覚トークンの分布は、テキストに比べてより平坦で曖昧であることが多く、標準的な SD の受入率を低下させます。
空間認識の欠如：既存の方法はトークンレベルで動作し、画像に固有の空間構造とマルチスケール性を無視しています。
リサンプリングの非効率性：標準的な SD は、最初の拒否後にラスタースキャン順序でその後の系列全体を拒否しますが、画像では局所的な依存関係が強く遠隔の依存関係が弱い場合、これは非効率的です。

手法：MULO-SD

著者は、マルチ解像度ドラフティングと空間的情報に基づく検証を統合することで AR 画像生成を加速するフレームワークである**マルチスケール局所仮説的デコーディング（MULO-SD）**を提案します。この手法は以下の 3 つの中核メカニズムを通じて動作します：

1. マルチスケールドラフティング

ターゲット解像度でトークンをドラフトする代わりに、MULO-SD はアップサンプラー（ $U_r$ ）と組み合わされた低解像度ドラフター（ $M_q$ ）を採用します。

プロセス：ドラフターは低解像度（ $s_q$ ）でトークンの系列を生成します。これらのトークンは、ターゲット解像度（ $s_p$ ）に一致するように解像度比 $r$ の $r^2$ 倍で系列長を拡大するためにアップサンプリングされます。
根拠：これは画像解像度の自然な階層性を利用します。粗い構造を最初に生成することで、高解像度ターゲットモデル（ $M_p$ ）に必要な関数評価数（NFE）を削減します。
ドラフティング戦略：標準的な SD が $n$ 個のトークンをドラフトするのとは異なり、ここではドラフターは完全な行を生成し、アップサンプラーが一貫性のある高解像度パッチを生成できるようにします。

2. 局所検証と拡張

トークンの曖昧性による低い受入率と、ラスタースキャン拒否の非効率性を解決するため、MULO-SD は局所検証戦略を導入します。

緩和された受入：LANTERN に着想を得て、この手法はコードブック空間における $k$ 個の最隣接ノードにわたって確率質量をプールします。プールされた確率が閾値 $\tau$ を超える場合、ドラフトトークンは受入されます。
局所拒否とリサンプリング：決定的な点として、トークンが拒否された場合、この手法はその後の系列全体を破棄しません。代わりに、拒否されたトークンの周りに局所近傍を定義します。ターゲットモデルによってリサンプリングされるのは、この近傍内のトークン（および拒否されたトークン自身）のみです。
メカニズム：これは、トークン予測が即座の隣接トークンに強く影響され、遠隔領域には弱く影響される AR 視覚モデルの空間的局所性を活用します。この「拒否島」アプローチは、受入された遠隔トークンを保持し、効率を大幅に向上させます。

3. 並列デコーディングとの統合

MULO-SD は、並列デコーディング戦略に対して直交するように設計されています。

並列ドラフティング：低解像度ドラフティング段階では、逐次的ではなく同時にドラフト行を生成するために並列デコーディング（例：ZipAR）を利用します。
並列リサンプリング：拒否されたトークンのセット（局所近傍に拡張されたもの）は、「拒否島」（8 連結成分）にグループ化されます。これらの島はターゲットモデルによって並列にリサンプリングされ、逐次的依存関係がさらに削減されます。

主要な貢献

マルチスケールドラフティングフレームワーク：高解像度画像生成のための候補トークンを提案するために低解像度ドラフターとアップサンプリングを活用する、初の仮説的デコーディング手法です。ドラフティング戦略に粗から細へのバイアスを注入します。
局所検証メカニズム：完全なラスタースキャン系列ではなく、局所的な空間近傍で動作する新しい拒否とリサンプリング戦略であり、視覚分野における標準的な SD の非効率性を解決します。
直交的統合：MULO-SD が並列デコーディング技術と組み合わされることで、生成トークンの品質を損なうことなく大幅な高速化を達成できることを実証しました。

実験結果

この手法は、Tar-1.5B/7B（マルチモーダル LLM）および**LlamaGen (XL)**を使用して、MS-COCO 2017 5k 検証分割上で評価されました。指標には、デコーディング効率（高速化）、意味的整合性（GenEval、DPG-Bench）、および知覚的品質（FID、HPSv2）が含まれます。

高速化：MULO-SD は、標準的な逐次デコーディングと比較して最大5 倍（具体的には 1024p での Tar-7B で 5.33 倍）の高速化を達成します。
比較：これは、画像において受入率の低さによりしばしば負の高速化をもたらすEAGLE-2、LANTERN、およびZipARを含む強力なベースラインを上回ります。
- 1024p において、MULO-SD（4 倍アップスケーリング）は、GenEval（+0.2）および HPSv2（-0.8）でのベースラインに対する最小限の劣化を伴い、5.33 倍の高速化を達成しました。
- 意味的整合性を同等かそれ以上維持しながら、LANTERN よりも一貫して高い高速化を提供します。
アブレーション研究：
- アップサンプリング：トレーニングフリーのピクセル空間アップサンプラーは、モデル非依存性のために競争力があり、好まれました。
- 確率プーリング：コードブックの隣接ノードにわたって確率をプーリングすることは、パフォーマンスを安定させ、受入率を向上させます。
- 局所拡張：局所的な拒否と拡張メカニズムは決定的です。これを省略するとパフォーマンスが大幅に低下します。
- 並列デコーディング：ドラフティングとリサンプリングに対する並列デコーディングを有効にすると、一貫したエンドツーエンドの遅延改善が得られます。

意義と主張

この論文は、MULO-SD が画像合成における仮説的デコーディングの新しい最先端（SOTA）を設定し、推論効率と生成忠実度の間のギャップを成功裏に橋渡ししていると主張しています。

効率性対忠実度：このフレームワークは、既存の加速手法でしばしば問題となるトレードオフを犠牲にすることなく、意味的整合性や知覚的品質を犠牲にすることなく（最大 5 倍までの）大幅な加速を達成できることを示しています。
互換性：特定のサンプリングスケジュールを必要とする専用マルチスケールモデル（例：VAR）とは異なり、MULO-SD は次のトークン予測目的および統一 MLLM とシームレスに統合されるため、高解像度画像合成の実用的な解決策となります。
スケーラビリティ：この手法は、トークン系列の二次関数的な成長が関数評価数の削減を最も効果的にする高解像度（1024p）で特に効果的です。

著者は、主にドラフターと検証者の 2 つの異なるチェックポイントが必要となることによるメモリ使用量の増加、および 2 つのモデル間の分布整合性への依存という限界を指摘しています。彼らは、将来の解決策として自己仮説的デコーディングを提案しています。