💻 computer science

SSD: Spatially Speculative Decoding Accelerates Autoregressive Image Generation

本論文は、画像の固有の2次元空間相関を利用して複数のトークンを同時に予測することで、高い忠実度を維持しながら自己回帰的な画像生成を最大13.3倍加速させるフレームワークであるSpatially Speculative Decoding (SSD)を提案する。

原著者： Shilong Xiang, Zirui Zhang, Lijun Yu, Chengzhi Mao

公開日 2026-06-19

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Shilong Xiang, Zirui Zhang, Lijun Yu, Chengzhi Mao

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、巨大で高解像度の壁画を描こうとしている画家だと想像してください。しかし、あなたは非常に厳格で古めかしいルールに従わなければなりません。それは、一度にたった一つの点（ドット）しか描いてはいけず、完璧な「蛇行（スネーク）」パターンで動かなければならないというルールです。一行目の左から右まで描き終えたら、二行目の端までジャンプし、次は左へ進み、三行目の端までジャンプする……といった具合です。

これは、現在のAI画像生成器（「自己回帰モデル」と呼ばれます）の仕組みです。これらは画像を、単語の長く平坦なリストのように扱います。画像は本来、2Dのグリッド（上下・左右）ですが、AIはそれを1Dの直線へと押しつぶしてしまいます。このプロセスは非常に低速です。なぜなら、次のたった一つのドットの色を決めるためだけに、AIはその「脳」（数十億のパラメータ）全体をロードしなければならないからです。これは、リンゴを一つ買うために一度スーパーへ行き、家に帰り、また次のリンゴを買うために再びスーパーへ行くようなものです。

問題点：「メモリの壁」

論文では、これを**「メモリの壁（Memory Wall）」**と呼んでいます。AIは、些細な決定を下すために、思考することよりも、その「脳」をメモリにロードすることにほとんどの時間を費やしています。画像を一枚作るためにこれを何千回も繰り返さなければならないため、画像の生成には長い時間がかかります。

解決策：SSD（空間的投機的デコーディング）

著者らは、SSDと呼ばれる新しい手法を導入しました。彼らは、画像は実際には1Dのリストではなく、2Dのグリッドであることを理解していました。あるドットがどのような見た目であるかを知っていれば、そのドットの「右隣」がどうなるかを予想するのと同じくらい簡単に、「真下」にあるドットがどうなるかも予測できるはずです。

SSDがどのようにゲームを変えるのか、いくつかの比喩を使って説明します。

1. 「推測ゲーム」の比喩

従来の方法 (1D): AIが次のドットを推測し、それが正しいか確認し、それから次のドットを推測します。これは、一歩ずつ進む遅いリレーレースのようなものです。
SSDの方法 (2D): AIは推測チームのように振る舞います。一人が「右側」の次のドットを推測している間に、もう一人が「真下」のドットを同時に推測します。彼らは最初の推測が終わるのを待たずに、一塊のドットを一度に推測します。

2. 「下書き」の比喩
AIをライター（執筆者）として考えてみましょう。

標準的なAI: 一つの単語を書き、立ち止まり、辞書を調べ、次の単語を書く。
SSD: 一文（あるいは段落）を「下書き」として一度に書き上げます。その後、その下書きを素早く読み通して、意味が通じるかを確認します。もし単語が少し違っていたとしても、段落全体を書き直すのではなく、その単語だけを修正します。

3. 「オートコレクト（自動修正）」のひねり
論文では巧妙なトリックに触れています。通常、AIがブロック状のトークン（ドット）を推測し、その中に間違いがあった場合、そのブロック全体を破棄して最初からやり直します。SSDはより賢明です。彼らは「間違った」推測を、粗い下書きとして扱います。素早いチェック（検証）を実行し、ブロック全体を捨て去ることなく、エラーをその場で修正します。これは、ページ全体を書き直させるのではなく、タイポ（打ち間違い）を即座に修正するスペルチェッカーのようなものです。

結果：壁画の高速化

著者らは、この手法を3つの強力なAIモデルでテストしました。結果は劇的でした。

速度: 画像生成を最大13倍高速化しました。
- 例: 画像を作るのに339秒（約6分）かかっていたモデルが、今ではわずか25秒で完了します。
品質: これほど高速化したにもかかわらず、生成された画像は低速なバージョンと同等の品質を保っています。「推測」が十分に正確であったため、最終的な画像からディテールが失われることはありませんでした。
プラグアンドプレイ: この手法は、AIの「脳」を再構築する必要がありません。既存の車のエンジンにターボチャージャーを取り付けるようなものです。スピードが必要なときはオンにし、不要なときはオフにして、以前と全く同じように車を走らせることができます。

まとめ

論文は、画像の自然な2Dの形状（上下・左右）を尊重する代わりに、それを1Dの直線に押し込めるのではなく、そうすることで「メモリの壁」を打破できると主張しています。複数のドットを一度に推測し、その場で小さなミスを修正することで、SSDは、一歩ずつ進む遅いプロセスを、高速な並列プロセスへと変貌させ、高品質なAIアート生成をほぼ瞬時に行うことを可能にします。

技術要約：空間的投機的デコーディング (Spatially Speculative Decoding: SSD)

1. 問題提起

自己回帰モデルは、画像を離散的なトークンの1次元シーケンスとして扱うことで、言語モデリングと同様の手法を用い、視覚生成において大きな成功を収めてきました。しかし、このアプローチは幾何学的な妥協を強いています。つまり、画像の持つ本質的な2Dの空間的局所性を、ラスタースキャンによる線形なシーケンスへと平坦化してしまうのです。

この平坦化は、推論時における深刻な計算上のボトルネック、いわゆる「メモリの壁」を引き起こします。 $n \times n$ の画像を生成するには、 $n^2$ 回の逐次的なフォワードパスが必要です。各パスにおいて、単一のトークンを予測するために全トランスフォーマー・パラメータを再ロードしなければならないため、プロセスは計算量よりもメモリ帯域幅によって強く制約されます。

標準的な投機的デコーディング（Speculative Decoding）やヤコビ法に基づく反復（Jacobi-based iteration）といった既存の加速技術は、自然言語処理（NLP）の手法を視覚分野に導入しようと試みています。しかし、これらの手法は依然として1Dの逐次的な仮定に縛られています。視覚的なパッチは、厳格な文法を持たない高い局所的エントロピーを示すため、平坦化された1Dのホライゾンに沿って複数のトークンを予測しようとしても、ドラフトの採択率が低くなってしまいます。その結果、これらの手法はわずかな加速（1.8倍〜3.7倍）しか提供できないか、あるいは不自然な独立性の仮定を強制することで画像品質を低下させてしまいます。

2. 手法：空間的投機的デコーディング (SSD)

著者らは、予測の目的を画像の自然な2D幾何学に適合させるフレームワークである空間的投機的デコーディング (SSD) を提案しています。SSDは、1Dシーケンスにおける直後の次トークンのみを予測するのではなく、隣接する水平方向のトークンと、その真下にある垂直方向のトークンを同時に予測します。

コアメカニズム

2D空間的予見 (2D Spatial Anticipation):
- SSDは、2Dの予見を、水平方向（ラスタースキャンに沿った方向）と垂直方向（列に沿った方向）という2つの直交する1D予測ストリームに分解します。
- モデルは軽量なヘッドを使用して、水平方向に行全体をドラフトし、次に続く行を垂直方向に並列でドラフトします。
- このアプローチは、平坦化されたシーケンス内では大きなオフセットがあるにもかかわらず、あるトークンの直上のトークンに対する依存性は、直左のトークンに対する依存性と同程度に強いという観察に基づいています。
- 複雑度の削減: 空間ブロック全体を並列にドラフトすることで、SSDは $n \times n$ の画像に対する理論的な推論複雑度を $O(n^2)$ から $O(n)$ へと削減します。
連続潜在空間予測 (Continuous Latent Space Prediction):
- 大きなコードブックにおける確率分布は平坦であるため、離散的なトークンIDを直接予測することは困難であり、採択率が低くなります（5%未満）。
- 代わりに、SSDは（具体的には最終RMSNorm前の）最後のトランスフォーマー層の連続的な潜在特徴を予測します。
- 軽量な予測器 $f_\phi$ が、隠れ状態とトークン埋め込みを入力として受け取り、特定の空間オフセットにおける隠れ状態を予測します。
- 予測された隠れ状態は、その後、ベースモデルの既存の出力層を通じてデコードされ、トークン候補が得られます。
自己修正としての検証 (Verification as Auto-Correction):
- 標準的な投機的デコーディングとは異なり、最初の不一致でブロック全体を拒否するのではなく、SSDは検証を自己修正メカニズムとして扱います。
- ドラフトは凝集性のある空間ブロックを形成するため、軽微な表現の不一致は局所的に解決可能です。
- 拒否されたトークンは破棄されるのではなく、システムは残差分布 (residual distribution) からサンプリングして、同一のフォワードパス内でそれらを修復します。
- このプロセスは $r$ ラウンド繰り返され、拒否された位置が更新され、KVキャッシュが再評価のためにロールバックされます。これにより、ブロックごとに逐次的な再生成を行うのではなく、 $r+1$ 回のフォワードパスのみが必要となります。
モジュール性 (Modularity):
- SSDはプラグアンドプレイのモジュールです。学習済みのバックボーンモデルを変更する必要はありません。
- 自己蒸留（self-distillation）を通じて軽量なドラフトヘッドのみを訓練するため、FLOPsのオーバーヘッドは最小限に抑えられます。

3. 主な貢献

幾何学的再適合 (Geometric Realignment): 本論文は、視覚の根底にある2D幾何学を尊重することが、大規模な計算効率の向上をもたらし、「1D逐次的デコーディング」という計算コストの高いアーティファクトを超えられることを示しています。
潜在空間ドラフト (Latent Space Drafting): 連続的な潜在特徴の予測の導入は、視覚ドメインにおける離散的なトークン予測と比較して、ドラフトの精度を大幅に向上させます。
自己修正検証 (Auto-Correcting Verification): 拒否されたトークンを破棄するのではなく、並列に修復する新しい検証戦略により、空間的ドラフトの利点を維持します。
プラグアンドプレイ加速 (Plug-and-Play Acceleration): 大規模なバックボーンモデルを再学習することなく生成を加速させるフレームワークであり、離散的な視覚トークンを生成するあらゆる統合モデルに適用可能です。

4. 実験結果

著者らは、DPG-Bench および GenEval ベンチマークを用い、3つの最先端の自己回帰モデル（Janus-Pro-7B、Lumina-mGPT-7B、Emu3-8B）でSSDを評価しました。

加速: SSDは、標準的な自己回帰推論と比較して、最大13.3倍のウォークロック（実時間）加速を実現しました。
- Emu3-8B: 339秒 $\to$ 25.5秒 (13.27倍の加速)。
- Lumina-mGPT-7B: 91.6秒 $\to$ 7.5秒 (12.19倍の加速)。
- Janus-Pro-7B: 7.8秒 $\to$ 1.4秒 (5.74倍の加速)。
品質: 高い忠実度を維持しており、DPG-BenchおよびGenEvalにおける生成品質指標は、ベースラインの自己回帰モデルと同等であり、1D-MTPベースライン（品質が著しく低下したもの）を大きく上回っています。
比較:
- 1D-MTP: 約2.0〜2.4倍の加速を実現しましたが、深刻な品質低下を招きました（例：Emu3の総合スコアが78.69から53.11に低下）。
- SJD (ヤコビ法ベース): 品質は維持されましたが、1.5〜2.9倍の加速に限定されていました。
- SSD: 品質を維持しながら、最高の加速を実現しました。

5. 意義と主張

本論文は、現在の自己回帰的視覚生成の非効率性は、モデル自体の固有の限界ではなく、言語モデリングから継承された1D逐次的仮定の結果であると主張しています。この仮定を放棄し、デコーディングプロセスを画像の固有の2D幾何学に適合させることで、SSDはメモリの壁を克服します。

著者らは、この幾何学的な転換が、リアルタイムかつ高解像度な自己回帰的生成モデルへの道を開くと断言しています。実験結果は、視覚的な局所性を尊重することで、単一のバックボーンにおける視覚と言語の統合を損なうことなく、大規模な計算節約が可能であることを示唆しています。この手法は、既存の統合モデルに適用でき、推論速度の面でそれらを競争力のあるものにするための一般的なソリューションとして提示されています。