💻 computer science

LaViDa: A Large Diffusion Language Model for Multimodal Understanding

LaViDaは、従来の自己回帰型モデルと比較して、競争力のある性能、より高速な推論、および強化された制御可能性を実現するために、並列デコーディングと双方向コンテキストを活用した離散拡散メカニズムに基づく新しいビジョン・ランゲージモデルのファミリーを導入する。

原著者： Shufan Li, Konstantinos Kallidromitis, Hritik Bansal, Akash Gokul, Yusuke Kato, Kazuki Kozuka, Jason Kuen, Zhe Lin, Kai-Wei Chang, Aditya Grover

公開日 2026-07-17

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Shufan Li, Konstantinos Kallidromitis, Hritik Bansal, Akash Gokul, Yusuke Kato, Kazuki Kozuka, Jason Kuen, Zhe Lin, Kai-Wei Chang, Aditya Grover

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

コンピュータが「見る」ことと「話す」ことを同時に行える世界を想像してみてください。これは、ビジョン・ランゲージ・モデル（VLM）の領域です。これらは、夕日の写真を見てそれについての詩を書いたり、複雑なチャートを調べてその傾向を説明したりできる、非常にスマートなAIアシスタントです。長年、これらのモデルの標準的な思考方法は、まるでテストを受けている学生のようです。彼らは左から右へと厳密に、一度に一単語ずつ答えていきます。「The」、「sky」、「is」と書き進め、前の単語を書き直すために振り返ることは決してありません。この方法はうまく機能しますが、並列で書くことができないため遅く、また、もし文の最初の単語を間違えてしまったら、最初からやり直さない限り簡単に修正できないという、融通の利かない性質を持っています。

しかし、もし別の方法があったらどうでしょう？文章を一単語ずつ書いていく代わりに、疑問符で埋め尽くされた白紙のページから始めて、どの単語がどこに入るかを一度に決定し、全体像が明確になるまで選択肢を絶えず洗練させていく様子を想像してみてください。これが「拡散モデル（diffusion models）」の背後にあるアイデアです。もともとはノイズから見事な画像を作り出すことで有名になりましたが、研究者たちは最近、この「穴埋め」のアプローチをテキストに応用しようと試みてきました。大きな疑問は、この柔軟で並列的な思考方法と、画像を見る能力を組み合わせることができるか？という点です。もし、この「穴埋め」方式による柔軟な思考法と、画像を理解する能力を組み合わせることができれば、私たちはよりスマートなAIを手に入れることができるかもしれません。例えば、すべての行が特定の文字で始まる詩を書くといった、厳格なルールに従う必要があるタスクにおいて優れた能力を発揮したり、一つの単語が終わるのを待たずに次の単語を開始できるため、はるかに高速になったりするのです。

そこで登場するのが、UCLA、パナソニック、Adobe、Salesforceの研究者によって導入された新しいAIモデルファミリー、「LaViDa」（Large Vision-Language Diffusion Model）です。LaViDaを、画像を用いて理解し、それについて記述することができる「マルチタスクを行うアーティスト」だと考えてください。従来のロボットのように物語を一単語ずつ書くのではなく、LaViDaは「マスク」（プレースホルダー）で構成された空白のキャンバスから始まり、文全体を一度に見ることができる方法で、空白を埋めながら徐々に答えを明らかにしていきます。

研究者たちは、このアプローチにはいくつかの「スーパーパワー」があることを発見しました。LaViDaは最終的な回答を確定させる前に文の構造全体を見ることができるため、すべての行が特定の文字で始まらなければならない詩を完成させるといった、厳格なルールを必要とするタスクにおいて驚異的な能力を発揮します。テストにおいて、LaViDaはこれらの「制約付き」タスクで既存の最高水準のモデルを圧倒し、性能を59%向上させました。また、ユーザーに対してユニークな「スピードダイヤル」を提供します。一度に埋める空白を少なくすることで超高速に設定することもできますし、より多くのステップを踏んで回答を洗練させることで超高品質に設定することも可能です。画像キャプション生成においては、競合モデルよりもほぼ2倍速く、かつ、CIDErと呼ばれる品質指標において4.1ポイント高いスコアを記録し、より優れた説明文を記述することに成功しました。

しかし、論文では、この新しい手法がすべてを即座に解決する魔法の杖ではないことも指摘しています。研究者たちは、これをうまく機能させるためにいくつかの巧妙なトリックを編み出す必要がありました。一つには、モデルに二つの異なるパズルのバージョンを同時に解かせることで、重要な手がかりを見逃さないようにする「補完的マスキング（complementary masking）」技術を開発しました。また、「Prefix-DLM」システムも構築しました。これはスマートなショートカットとして機能し、モデルが新しい単語を推測するたびに画像と質問を読み直すことなく、それらを記憶できるようにするものです。

こうした成功にもかかわらず、論文はLaViDaがまだ成長の余地を残していることも慎重に指摘しています。推論や一般知識のテストでは他のモデルに打ち勝っていますが、メモリに収まるように画像の詳細を圧縮しなければならないため、画像内の小さなテキスト（OCR）の読み取りには苦戦することがあります。著者らは、拡散モデルは標準的な「一単語ずつ」のアプローチに対する強力で有望な代替案ではあるものの、現在存在する非常に大規模でデータ集約型のAIモデルに匹敵する規模へとスケールアップする方法については、まだ学習の過程にあると示唆しています。結局のところ、LaViDaは「穴埋め」方式が単に画像を作るためのものではなく、コンピュータが私たちの視覚的世界を理解するための、強力で柔軟、かつ高速な方法になり得ることを証明しています。

技術要約: LaViDa - マルチモーダル理解のための大規模拡散言語モデル

問題提起

現代の視覚言語モデル（VLM）は、主に自己回帰（AR）アーキテクチャ（例：LLaVA、Qwen-VL）に依存しており、テキストを左から右へのシーケンスとして逐次的に生成します。この手法は効果的ではあるものの、以下のような固有の限界を抱えています：

推論速度: 逐次的な生成は並列化が困難であり、推論速度の低下を招きます。
制御可能性: ARモデルは、双方向のコンテキストや厳格な構造的制約（例：特定の音節の開始を指定して詩を完成させるテキスト・インフィリングや、コンテンツをシーケンス全体で調整する必要があるJSONなどの構造化出力の生成）を必要とするタスクにおいて苦戦します。

離散拡散モデル（DM）は、生成をトークンの段階的なアンマスキング（復元）プロセスとして扱うことで、理論的な代替案を提示します。これらは並列デコーディングと双方向コンテキスト・モデリングを可能にします。しかし、マルチモーダル・タスクへの適用は未開拓であり、ナイーブな適応は学習効率と推論速度において大きな課題に直面します。

手法

著者らは、離散拡散モデルに基づいた初のVLMファミリーであるLaViDa（Large Vision-Language Diffusion Model with Masking）を導入します。このアーキテクチャは、LLaVAのようなARベースのVLMと同様に、MLPプロジェクタを介して視覚エンコーダと拡散言語モデル（DLM）を統合しています。

コア・アーキテクチャ

視覚エンコーダ: 入力画像を処理するためにSigLIP-400Mを使用します。解像度とシーケンス長のバランスを取るため、画像はリサイズされ、複数のビュー（ $384^2$ のビュー4つと、 $384^2$ にリサイズされた $768^2$ のビュー1つ）に分割されます。これらはエンコードされ、画像あたり980個のトークンに削減するために $2\times2$ の平均プーリングが行われます。
拡散言語モデル: 因果的アテンションマスクを非因果的（双方向）マスクに置き換えたTransformerベースのDLM（LLaDA-8BまたはDream-7Bバックボーンを使用）です。これは、部分的にマスクされたシーケンス $X_t$ と視覚的/プロンプト・コンテキストが与えられたときに、クリーンなトークン $X_0$ を予測するように訓練されます。

主要な技術的革新

視覚言語タスクにDMを適用する際の特定の問題に対処するため、LaViDaは3つの新しい手法を取り入れています。

補完的マスキング（学習効率）:
- 問題: 標準的なDMの学習では、トークンを確率的にマスクします。マルチモーダル・タスクでは、重要な回答トークン（多くの場合、短く疎である）が単一のサンプル内でマスクされないまま残り、視覚エンコーダに対する勾配の不整合を引き起こす可能性があります。
- 解決策: 各学習サンプルに対して、モデルは互いに素な破損スパンを持つ2つのマスクされたバージョン（ $X_t$ と $X^C_t$ ）を生成します。これにより、出力シーケンス内のすべてのトークンが損失計算に寄与することを保証します。効率を最大化するため、視覚埋め込みは両方のバージョンにコピーされます。
Prefix-DLM（推論速度）:
- 問題: DMは完全な双方向アテンションを必要とするため、通常KVキャッシュを利用できず、デコーディングの各ステップでプロンプト全体（数百の視覚トークンを含む）のキーと値を再計算する必要があります。
- 解決策: 特殊なアテンションマスクが導入されました。ここでは、視覚およびプロンプト・トークン（「プレフィックス」）は他のプレフィックス・トークンのみにアテンションを向けることができますが、回答トークンはすべてのトークンにアテンションを向けることができます。これにより、視覚およびプロンプトの埋め込みのキーと値をキャッシュすることが可能になり、レイテンシが大幅に削減されます。
タイムステップ・シフティング（速度と品質のトレードオフ）:
- 問題: 線形なマスキング・スケジュール（ステップごとに一定数のトークンをアンマスクする）は、ステップ数が少ない場合に性能が悪化し、サンプルの品質を低下させます。
- 解決策: 画像拡散モデル（SD3）に着想を得て、著者らは凸型のタイムステップ・シフティング・スケジュール（ $\alpha = 1/3$ ）を採用しました。これにより、逆過程の初期段階でより多くのトークンを適応的にアンマスクすることができ、品質の大幅な低下なしに、積極的なステップ数の削減（高速な推論）が可能になります。

実験結果

LaViDaは、一般的な理解（MMMU, MME）、推論（MathVista, ScienceQA）、OCR（ChartQA, TextVQA）、および制約付き生成タスクを含む幅広いベンチマークで評価されました。

競争力のある性能: LaViDaは、ほとんどのベンチマークにおいて、ARベースライン（LLaVA-1.6-7B, Open-LLaVA-Next-Llama3-8B）と同等または優れた性能を達成しています。特に、LaViDa-8BはMMMUにおいて、同等のモデルの中で最高スコア（43.3）を記録しました。
制約付き生成: 「制約付き詩完成」のような双方向タスクにおいて、LaViDaはARベースラインを大幅に上回り、制約遵守において59%の改善を達成しました。
速度と品質のトレードオフ:
- COCOキャプション生成において、LaViDaはOpen-LLaVA-Next-Llama3-8Bを**+4.1 CIDEr**上回りつつ、1.92倍の高速化を実現しました。
- 拡散ステップ数（NFE）を調整することで、LaViDaは柔軟なトレードオフを提供します：50% NFEでは、ARベースラインよりも高速でありながら、より高い品質を維持します。25% NFEでは、性能の低下はあるものの、大幅に高速化されます。
アブレーション研究: 補完的マスキングは、標準的なマスキングと比較してScienceQAの性能を67%向上させることが示されました。Prefix-DLMキャッシュは、性能への影響を最小限に抑えつつ、推論レイテンシを最大3.9倍高速化しました。

意義と主張

本論文は、LaViDaが、視覚言語タスクにおいて自己回帰モデルと競争可能なレベルでスケールできるだけでなく、ARモデルでは容易に再現できない独自の利点を提供できることを示していると主張しています。

初の試み: LaViDaは、離散拡散モデルに基づいた初のVLMファミリーとして提示されています。
パラダイムシフト: 本研究は、拡散モデルが単なる理論的な代替案ではなく、柔軟な速度-品質のトレードオフと、構造化生成やテキスト・インフィリングに対する優れた制御可能性を提供する実用的なソリューションであることを証明しています。
スケーラビリティ: この研究は、言語ドメイン（例：LLaDA, Dream）における拡散モデルの成功を視覚空間へと拡張し、適切なトレーニングおよび推論技術（補完的マスキング、プレフィックス・キャッシュ、タイムステップ・シフティング）を用いることで、DMが複雑なマルチモーダル指示に従うことができることを検証しました。

著者らは、特にOCRの性能に関する制限（平均プーリングによるトークン圧縮に起因）と、大幅に大きなデータセットで訓練された最先端のARモデルとの現在のギャップについても言及しています。彼らは、より大きなモデルとデータを用いてDMをスケールアップすることを探求すべきであると示唆しています。