Analyzing Diffusion and Autoregressive Vision Language Models in Multimodal Embedding Space
本論文は、埋め込みツールとしてのマルチモーダル拡散言語モデルと自己回帰型視覚言語モデルを比較した初の体系的な研究を提示しており、前者は画像とテキストの整合性が不十分であるために一般的に性能が劣るものの、その性能差は特定のモデル間で大きく異なることを明らかにしている。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あらゆる本、写真、動画が棚に並べられるのではなく、それぞれ独自の「雰囲気」や「指紋」として保存されている巨大な図書館を想像してみてください。AIの世界では、これらの指紋は**エンベディング（埋め込み）**と呼ばれています。これにより、コンピュータは、たとえ一方が画像で、もう一方がテキストであっても、犬の画像と「犬」という言葉が関連していることを理解できるようになります。
長い間、これらの指紋を作成する最良の方法は、**自己回帰モデル（Autoregressive Models）**でした。これらは、物語を左から右へと一単語ずつ読み進める人のようなものです。彼らはステップバイステップで意味を構築するため、文脈を理解することに非常に長けています。
最近、**拡散モデル（Diffusion Models）**と呼ばれる新しいタイプのAIが人気を集めています。これは、ノイズに覆われた大理石の塊から、少しずつノイズを削り取って彫像を浮かび上がらせる彫刻家のようなものです。あるいは、文章全体を一度に見渡し、一つずつ推測するのではなく、欠落している言葉を同時に埋めていく人のようでもあります。これらのモデルは、全体像を一度に見ることができる（双方向のアテンション）ため、非常に優れています。
大きな問い
この論文の研究者たちは、シンプルな問いを投げかけました。「これら新しい『彫刻家（拡散）』モデルは、従来の『読書家（自己回帰）』モデルと同じくらい、優れた『雰囲気』の指紋を作成できるのだろうか？」
実験
その真相を確かめるため、チームは2つの最高の「彫刻家」モデル（LaViDaとMMaDA）と、2つの最高の「読書家」モデル（LLaVA-1.6とQwen2.5-VL）を取り上げました。彼らは、これらすべてに、標準的な学習方法（例えば、画像と正しい説明を一致させるように教える方法）を用いて、指紋を作成する方法を教え込みました。
その後、彼らを3つのシナリオでテストしました。
- 分類（Classification）: 「これは何の画像ですか？」（例：これは猫ですか、それとも犬ですか？）
- 視覚的質問応答（VQA）: 「このチャートを見て、最も高い値は何ですか？」
- 検索（Retrieval）: 「この特定の記述に一致する画像を見つけてください。」
結果：「彫刻家」は苦戦した
結果は驚くべきものでした。「彫刻家」モデル（拡散モデル）は、すべてを一度に見ることができるというスーパーパワーを持っているにもかかわらず、一般的に「読書家」モデルに劣っていました。
- 「優秀な」彫刻家（LaViDa）: このモデルはかなり良い成績を収めました。最高の「読書家」モデルにわずかに遅れる程度でした（100点満点中、約3〜4ポイントの差）。このモデルは、未知の種類のデータ（アウトオブドメイン）を扱うことに特に優れており、より柔軟であることを示唆しています。
- 「苦戦した」彫刻家（MMaDA）: このモデルには大きな開きがありました。全般的に「読書家」モデルよりも20ポイント以上低スコアでした。到底、太刀打ちできていませんでした。
なぜこのようなことが起きたのか？
研究者たちは、「彫刻家」がなぜ負けているのかを理解するために、さらに深く調査しました。彼らは主に2つの理由を発見しました。
- 指紋の不一致: 「読書家」モデルでは、画像とテキストの指紋が非常に近く、完璧に一致します。しかし、「彫刻家」モデルでは、画像の指紋とテキストの指紋がしばしば離れたままになり、まるで手をつなごうとしている二人が、部屋の両側に立っているような状態になります。モデルは、画像とテキストをしっかりと結びつけることを十分に学習できていませんでした。
- 誤った学習目標: 「苦戦した」モデル（MMaDA）は、画像を理解することと、ゼロから新しい画像を生成することの2つを同時に行うよう訓練されていました。研究者たちは、「画家（画像を生成する）」になろうとすることが、「優れた司書（精密な指紋を作成する）」になることへの妨げになったのではないかと考えています。
まとめ
拡散モデルは刺激的で、全体を一度に見ることができるといったクールな特徴を持っていますが、検索に適した指紋を作成するという点では、従来の「読書家」モデルに取って代わる準備がまだ整っていません。「読書家」モデルは、見たものと読んだものを密接に結びつける能力において勝っているため、依然としてその座を守っています。
論文は、拡散モデルにはポテンシャルがある（特にLaViDaのように）ものの、検索タスクにおける主流となるためには、画像とテキストを一致させる能力を大幅に向上させる必要があると結論付けています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。