💻 computer science

Sparse-LaViDa: Sparse Multimodal Discrete Diffusion Language Models

Sparse-LaViDaは、推論時に冗長なマスク済みトークンを動的に切り詰めることでMasked Discrete Diffusion Modelを加速させ、特殊なレジスタートークンと一貫した学習アテンションマスクを通じて生成品質を維持し、多様なマルチモーダル・タスクにおいて最大2倍の高速化を実現する新しいフレームワークである。

原著者： Shufan Li, Jiuxiang Gu, Kangning Liu, Zhe Lin, Zijun Wei, Aditya Grover, Jason Kuen

公開日 2026-07-17

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Shufan Li, Jiuxiang Gu, Kangning Liu, Zhe Lin, Zijun Wei, Aditya Grover, Jason Kuen

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

巨大なジグソーパズルを解こうとしている場面を想像してみてください。ただし、箱に描かれた絵は見えず、すべてのピースの色や形をゼロから推測しなければならないとしたらどうでしょう。人工知能の世界では、コンピュータが画像を生成したり複雑なシーンを理解しようとしたりする際、まさにこのようなことが起こります。長い間、科学者たちは主に2つのツールを使用してきました。一つは、文章をタイピングするように、ピースを一つずつ組み立てていくもの（オートレグレッシブ・モデルと呼ばれます）、もう一つは、静止したノイズ混じりのぼやけた状態から始まり、画像が現れるまで徐々にノイズを取り除いていくもの（拡散モデルと呼ばれます）です。最近、「マスク付き離散拡散（Masked Discrete Diffusion）」と呼ばれる新しいハイブリッド・アプローチがスーパースターとして登場しました。これは、テキストと画像をどちらも一連のパズルのピース（トークン）の長い文字列として扱います。コンピュータは、すでに知っているピースを見ることによって、欠けているピースを予測することを学習します。これは、AIが単に「次のピース」を見るのではなく、「画像全体」を一度に見ることができるため、非常に強力であり、写真の編集や数学の問題を解くことに適しています。しかし、落とし穴があります。画像をきれいにするために、コンピュータは、すでに解決済みのピースやまだ隠されているピースも含め、ステップごとに「すべての」パズルのピースを再確認しなければなりません。それはまるで、シチューを作っているシェフが、味を完璧にするために、すでに完璧に味付けされた食材も含めて、毎分、鍋の中のすべての材料を味わっているようなものです。これにより、プロセスは遅くなり、コンピュータの計算資源を大量に消費します。

ここで、これらのAIモデルにとっての賢い副料理長のような役割を果たす新しい手法、Sparse-LaViDaが登場します。この研究の背後にいる研究者たちは、コンピュータが毎回パズル全体を凝視する必要はなく、現在解かれている最中のピースだけに集中すればよいということに気づきました。彼らは、調理過程において不要なマスク付きトークン（隠されているピースやすでに解決済みのピース）を動的に「切り詰める（truncate）」、つまり切り捨てるシステムを構築しました。しかし、ここが巧妙な点です。ただ単にそれらのピースを捨ててしまうと、AIが画像全体の文脈を忘れてしまう可能性があります。そのため、Sparse-LaViDaは特別な「レジスタ・トークン（register tokens）」を導入しています。これらは、欠けているピースの代わりを務める、小さな魔法のしおりのようなものです。これらはコンパクトな要約であり、AIに対して「ここにはまだ1,000個のピースがあるけれど、今はそれらを個別に見ておく必要はないよ。このしおりを信じて」と伝えます。これにより、AIは全体像を念頭に置きながら、冗長な作業をスキップできるのです。

論文では、このアプローチが素晴らしい成果を上げることを実証しています。これらのレジスタ・トークンと、コンピュータのメモリを整理する特別な方法（KVキャッシュと呼ばれます）を使用することで、新しいモデルであるSparse-LaViDaは、品質を損なうことなくプロセスを大幅に高速化しました。テストでは、テキストからの画像生成をほぼ2倍速く（具体的には1.96倍の高速化）、画像編集をほぼ3倍速く（2.84倍の高速化）、そして視覚的な数学的推論を2.80倍速くしました。決定的なのは、これが単純なタスクで機能する単なるトリックではなく、「インペインティング（画像の欠損部分を埋めること）」や「アウトペインティング（画像を拡張すること）」のような複雑な作業を行う能力を維持していることを著者らが示している点です。他の高速化手法は、こうした作業を壊してしまうことがよくあります。研究者たちは、この効率化は大きな利点である一方で、モデルにこれらの「しおり」を正しく使う方法を教えるための特定の学習プロセスが必要であると指摘しています。また、彼らは既存のモデルをファインチューニングすることでこれらの結果を得ましたが、この手法は将来的に巨大なモデルをゼロから学習させることも理論的に可能であると述べています。最終的に、Sparse-LaViDataは、私たちが「ケーキを食べて、かつ、そのケーキを保持する（両立させる）」ことができることを示唆しています。つまり、視覚的世界を理解し創造する上で不可欠な「双方向的な思考」を犠牲にすることなく、超高速な生成を実現できるのです。

技術要約: Sparse-LaViDa

問題提起

Masked Discrete Diffusion Models (MDMs) は、画像の理解、生成、編集を含むマルチモーダルなタスクのための強力な統一フレームワークとして台頭しています。自己回帰（AR）モデルとは異なり、MDMは双方向のコンテキストと並列デコーディングを利用するため、画像のインペインティング（塗りつぶし）やテキストのインフィリング（補完）といったタスクにおいて利点があります。しかし、既存のMDMは、以下のような重大な推論の非効率性に直面しています：

冗長な処理: 標準的なMDMは、サンプリングの各ステップにおいて、実質的な情報を持たない大量のマスクされたトークンを含む、フルシーケンスのトークンを処理しなければなりません。
KVキャッシュのサポート不足: 因果的アテンションではなくフルアテンションメカニズムに依存しているため、標準的なMDMは推論中にKVキャッシュによる加速を利用することができません。
既存のアクセラレータの限界: Block Diffusionのような従来のMDM加速の試みは、左から右へのブロック因果順序を課しています。これによりKVキャッシュは可能になりますが、画像生成や編集に不可能欠な双方向のコンテキストが犠牲となり、インペインティングのようなタスクが困難または不可能になります。

手法

著者らは、生成品質と双方向コンテキストを維持しながら、不要なマスクされたトークンを動的に切り詰めることでMDMのサンプリングを加速するように設計された新しいモデリングフレームワーク、Sparse-LaViDaを提案しています。この手法は、以下の3つの核心的なイノベーションを導入しています。

1. 疎なパラメータ化 (Sparse Parameterization)

入力シーケンス内のすべてのマスクされたトークンを実体化する代わりに、Sparse-LaViDaは、以下の要素のみを使用して部分的にマスクされたシーケンスを表現します：

プロンプト・トークンおよび以前にデコードされたトークン（KVキャッシュに保存）。
現在のステップでデコードするために選択されたマスクされたトークンのサブセット。
レジスタ・トークン (Register Tokens): 切り詰められた（削除された）マスクされたトークンのコンパクトな表現として機能するために導入された特殊なトークン。これらのレジマは、切り詰めによって失われたモデリング能力の回復を助けます。最終的な設計では、64個のレジスタ・トークンが使用され、シーケンスの末尾に配置されます。

2. ステップ因果アテンションマスク (Step-Causal Attention Mask)

訓練と推論の間の整合性を確保するために、著者らは、推論時に観察される逐次的なトークンキャッシュ挙動をシミュレートする特化したアテンションマスクを設計しました：

訓練時: シーケンスはブロックに分割されます。プロンプト・トークンはブロック0に割り当てられます。クリーンなトークンはブロック $1 \dots M$ に、マスクされたトークンはブロック $M+1 \dots M+N$ に割り当てられます。
アテンション規則: 特定のブロック内のトークンは、自身のブロックまたは前のブロックのトークンにアテンションを張ることができます。重要な点として、特定のブロック内のマスクされたトークンは、他のマスクされたブロック内のマスクされたトークンにはアテンションを張れませんが、すべてのプロンプトおよびクリーンなトークンにはアテンションを張ることができます。
レジスタの統合: レジスタ・トークンは各マスク・ブロックに付加され、同じアテンション規則に従います。
この設計により、モデルがトークンのサブセットのみを観察する推論プロセスを忠実に再現しながら、効率的な並列訓練が可能になります。

3. サンプリング戦略

このフレームワークは、タスクに応じて異なるアンマスキング戦略をサポートしています：

視覚生成 (Text-to-Image, 編集): 高い生成品質を維持するために、信頼度スコアに頼らず、事前に生成された2Dアンマスキング順序（例：層化ランダムサンプリング）を利用します。
テキスト生成/理解: ブロック内のトークンは動的にアンマスキングされますが、ブロック単位で左から右へとサンプリングされるセミ・オートレグレッシブ戦略を採用しています。Block Diffusionとは異なり、このアプローチはブロック間での双方向コンテキストを維持します。

主な貢献

効率的なパラメータ化: Sparse-LaViDaは、左から右へのデコーディング順序を仮定したり、双方向コンテキストを犠牲にしたりすることなく、KVキャッシュと任意のトークン切り詰めの両方をサポートする初めての手法です。
レジスタ・トークン: 切り詰められたトークンの圧縮表現としてレジスタ・トークンを導入することで、攻撃的なトークン削除によって生じる性能低下を効果的に軽減します。
訓練と推論の一貫性: ステップ因果アテンションマスクは、訓練と推論の間のギャップを埋め、蒸留やヒューリスティックな修正なしに、モデルが疎なパラメータ化を直接学習することを可能にします。
統一フレームワーク: このアプローチは、最先端の統一MDMであるLaViDa-Oに基づいて構築されており、単一の加速されたフレームワーク内で多様なタスク（生成、編集、推論）を扱うことができます。

実験結果

著者らは、広範なマルチモーダル・ベンチマークにおいて、ベースラインであるLaViDa-Oおよび他の最先端モデルと比較してSparse-LaViDaを評価しました。

Text-to-Image 生成: GenEvalベンチマークにおいて、Sparse-LaViDaはLaViDa-Oと同等の性能（総合スコア0.77に対し0.78）を達成しながら、推論レイテンシを21.27秒から10.86秒に短縮し、1.96倍の高速化を実現しました。DPG-benchおよびMJHQ-30kにおいて、知覚的指標（例：同じデータサブセットで訓練した場合、FIDは8.11から7.63へ改善）を維持またはわずかに向上させました。
画像編集: ImgEditベンチマークにおいて、Sparse-LaViDaは全体のスコアを3.71から3.79に向上させつつ、レイテンシを63.98秒から22.55秒に短縮し、2.83倍の高速化を達成しました。
視覚的数学推論: MathVistaベンチマークにおいて、モデルはベースラインと同等の精度（56.9 vs 56.7）を維持しながら、2.80倍の高速化（3.72秒 vs 10.41秒）を達成しました。
アブレーション研究:
- レジスタ・トークンを除去すると、微細なアライメント（DPG）や画像品質指標（FID, HPS v3）において性能低下が見られ、低レベルの視覚的詳細を保持する役割が確認されました。
- ステップ因果アテンションマスクを除去するか、ファインチューニングをスキップすると、大幅な性能低下が生じ、提案された訓練パイプラインの必要性が浮き彫りになりました。

意義と主張

本論文は、Sparse-LaViDaが、事後的な蒸留段階やヒューリスティックな、訓練フリーの修正を必要とせずに、標準的なMDMに対して根本的に効率的なパラメータ化を提供することを主張しています。

著者らは以下を強調しています：

Sparse-LaVi-Daは、高密度なベースラインと同等の生成品質を維持しながら、多様なタスクにおいて大幅な高速化（最大2.84倍）を達成します。
従来の加速手法（例：Block Diffusion）とは異なり、双方向コンテキストを保持するため、非因果的な依存関係に依存するインペインティング、アウトペインティング、制約付きキャプション生成などの複雑なタスクが可能です。
本手法は、訓練と推論の一貫性を持つアプローチを提供し、ヒューリスティックな加速技術でよく見られる予測不可能な性能低下を回避します。

本研究は、Sparse-LaViDaを、MDMの理論的な利点と、デプロイメントに必要な計算効率とのトレードオフをバランスさせた、リアルタイムアプリケーション向けに統合マルチモーダル拡散モデルを実用化するための有望な道筋として位置付けています。