🤖 AI

Seeing is Understanding: Unlocking Causal Attention into Modality-Mutual Attention for Multimodal LLMs

本論文は、マルチモーダル大規模言語モデルにおける因果的注意を置き換えて画像トークンがテキストトークンに注意を向けることを可能にするパラメータフリーのアーキテクチャ変更であるモダリティ相互注意（MMA）を提案し、これにより視覚と言語の不一致を解消し、12 のベンチマークで最先端の性能を達成する。

原著者： Wei-Yao Wang, Zhao Wang, Helen Suzuki, Yoshiyuki Kobayashi

公開日 2026-05-18

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Wei-Yao Wang, Zhao Wang, Helen Suzuki, Yoshiyuki Kobayashi

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

以下は、論文「Seeing is Understanding: Unlocking Causal Attention into Modality-Mutual Attention for Multimodal LLMs」について、平易な言葉と日常的な比喩を用いて解説したものです。

問題：AI の脳における「一方通行」

マルチモーダル大規模言語モデル（MLLM）を、写真を見たり文章を読んだりできる非常に賢いアシスタントだと想像してください。現在、これらのアシスタントのほとんどは、一方通行の道路のように構築されています。

写真について質問を投げかけると、標準的なプロセスは以下の通りです：

まず写真が表示される。
次に質問が読み取られる。
最後に回答が生成される。

この論文は、この仕組みに重大な欠陥があると指摘しています。AI の「脳」（特にアテンション機構）の設計上、写真は自分より前に現れたものしか見ることができません。写真が最初に出てくるため、後から現れる「質問」を振り返って見ることができないのです。これは、ビルに入ってくる人しか見ることが許されず、「立入禁止」と書かれた壁の看板を見ることを禁じられている警備員のようなものです。

AI の「写真」部分が「質問」部分を読めないため、誤った推測をすることがよくあります。例えば、写真に車があるのを見て「それは赤いフェラーリだ」と言ってしまうことがあります。実際にはユーザーが「あれは赤いフェラーリですか？」と質問しており、車は青い場合でもです。画像部分がテキストの具体的な指示に対して「盲目」であるため、AI は幻覚（事実ではないことを作り出すこと）を起こしてしまいます。

従来の対策：後退運転

この論文以前、研究者たちはこの問題を解決するために、AI を 2 つの異なる方法で訓練しようと試みました：

標準的な方法：写真を見せ、その後質問を見せる。
逆順の方法：質問を見せ、その後写真を見せる。

これは、ドライバーに前進の仕方を教え、その後道路を理解しているか確認するために後退の仕方を教えるようなものです。これはいくらかの助けにはなりますが、非常にコストが高く、時間がかかります。実質的に、AI の訓練に必要な時間と費用が倍増してしまうのです。

新しい解決策：「双方向道路」（MMA）

著者たちは、**モダリティ相互アテンション（MMA）**と呼ばれる、巧妙でシンプルな解決策を提案しています。

AI に後退運転をさせるのではなく、AI の脳内の信号機を解除するだけです。

従来の方法（因果アテンション）：「画像」トークンは前列に座る生徒です。彼は教壇の黒板（前のトークン）しか見ることができません。後列に座る生徒（「テキスト」トークン）が何を書いているかを見るために振り返ることは許されていません。
新しい方法（MMA）：著者たちはルールを変更し、前列の生徒が振り返って後列の生徒が何を書いているか読むことを許可しました。

この特定の経路を解除することで、AI の「画像」部分は「質問」部分を読むことができるようになります。写真の説明を試みる前に、自分が何について尋ねられているかを正確に把握できるようになるのです。

これが画期的な理由

追加コストなし：AI に新しい部品を追加したり、大きくしたりはしていません。「情報」を遮断する小さな設定（マスク）を変更しただけです。新しい家を建てるのではなく、部屋の家具を配置し直すようなものです。
精度の向上：画像が「質問」を見られるようになったため、AI は推測しなくなりました。テストでは、AI は特定の物体に関する質問への回答、物の数え方、空間的な関係性の理解（「猫は左側か右側か？」など）において、はるかに優れた性能を示しました。
幻覚の減少：存在しない詳細を捏造する誤りが減りました。

結果

研究者たちは、画像とテキストに関する 12 種類の異なるテストで、この新しい「双方向道路」設計を検証しました。汎用性を証明するために、3 種類の異なる AI の脳（バックボーン）を使用しました。

結果：新しい手法は、従来の標準的な手法を凌駕し、複雑な最先端の手法さえも上回りました。
向上度：すべてのテストにおいて、AI は画像とテキストの理解において平均して約**6.2%**向上しました。
効率性：これは、追加の「脳力」（パラメータ）を追加したり、訓練時間を倍にしたりすることなく達成されました。

要約の比喩

古い AI を、写真を受け取ってからそれを描くように指示される目隠しをした芸術家だと考えてください。芸術家は描いている間、写真を見ることはできません。まずそれを記憶しておく必要があります。もしその後に「青い車ではなく赤い車を描いて」とささやいても、芸術家はすでに描き始めているため、その指示を聞くことができません。

新しい AI（MMA）は、目隠しを外して、指示を聞きながら写真を眺めることができる芸術家のようなものです。彼らは、あなたが何を求めているかに合わせて、描画をリアルタイムで調整でき、結果としてはるかに正確な絵を描くことができます。

この論文は、AI の画像部分が「テキスト」部分を見ることを単に許可するだけで、モデルをより複雑にしたり訓練コストを高めたりすることなく、これらのモデルが世界を理解する能力を大幅に向上させることができると結論付けています。

技術サマリー：Seeing is Understanding：マルチモーダル LLM における因果的アテンションをモダリティ相互アテンションへ解き放つ

1. 問題提起

最近のマルチモーダル大規模言語モデル（MLLM）は、知覚や推論において大きな進歩を遂げていますが、依然として重要な課題が残っています。それはビジョンと言語の不一致です。これは主にオブジェクトの幻覚として現れ、生成されたテキスト応答が提供された画像・テキスト入力に事実的に根ざしていないという現象です。この問題は、画像内の正確なオブジェクト数え上げ、空間的関係の説明、または画像内のテキスト認識を必要とするビジョン中心のタスクに特に有害です。

本論文は、この不一致の根本原因をデータの不足やコネクタ設計ではなく、現在の MLLM の基盤となるアーキテクチャに特定しています。ほとんどの MLLM は、因果的アテンション機構を利用するデコーダのみの LLM を基盤として構築されています。標準的なマルチモーダルパイプラインでは、入力シーケンスにおいて画像トークンがテキストトークンの前に配置されます。因果的アテンションにより、以前のトークン（画像）は後のトークン（テキスト）にアテンションを向けることができません。その結果、画像トークンはユーザーのクエリや文脈からの情報を取り込むことができず、特定のテキスト指示に適応できない静的な視覚表現となってしまいます。

2. 手法

2.1. 直感的なベースライン：双順序トレーニング（DOT）

著者らはまず、直感的な解決策として、**画像→テキスト（I&T）とテキスト→画像（T&I）**の両方の入力順序でモデルをトレーニングすることを検討しました。モデルを両方のシーケンスに曝すことで、トークンの順序に関係なくクロスモーダルな相互作用を処理することを学習させます。

限界： パフォーマンスは向上しますが、ステージごとのトレーニング時間が倍増し、モダリティの数が増えるにつれてコストが指数関数的に増加します。

2.2. 提案手法：モダリティ相互アテンション（MMA）

DOT の限界を、追加の計算コストを伴わずに解決するため、著者らは**モダリティ相互アテンション（MMA）**を提案します。この手法は、特定のアテンションパスを解き放つことで、LLM 内の因果的アテンション機構を再定義します。

機構： 標準的な因果的アテンションマスク $M$ （ $j > i$ の場合 $M_{ij} = -\infty$ となり、将来のトークンへのアクセスを防止する）において、MMA はマスクを $M'$ に変更します。
変更点： マスクを変更し、教師ありファインチューニング（SFT）段階において、画像トークン（以前のモダリティ）がテキストトークン（後のモダリティ）にアテンションを向けることを許可します。
- 形式的には、 $i$ が画像トークンで $j$ がテキストトークンであり $j > i$ である場合、アテンションスコアをマスクアウトするのではなく許可（0 に設定）します。
- これにより、画像トークンはユーザーのクエリを「見る」ことができ、モデルは特定のテキスト指示に関連する画像領域に動的に焦点を当てることが可能になります。
制約：
- この変更は SFT 段階でのみ適用されます。事前学習（PT）段階では、情報漏洩（テキストトークンが画像トークンを通じて将来のテキストに間接的にアクセスすること）を防ぐため、標準的な因果的マスクを維持します。
- このアプローチは追加のパラメータを導入せず、アテンション計算の総数が変わらないため計算複雑性も増加しません。
- この設計は、トークンが位置に関係なく異なるモダリティのトークンにアテンションを向けることを許可することで、インターリーブされたマルチモーダルデータをサポートするように一般化されています。

3. 主な貢献

問題の新規性： 本論文は、MLLM においてこれまで探求されていなかったアーキテクチャ上の限界を特定しました。それは、標準的な因果的アテンション設計により、以前のモダリティ（画像）が後のモダリティ（テキスト）からの情報にアクセスできないという点です。
手法の新規性： 著者らは、アテンションマスクを解き放ってテキストから画像へのクロスモーダルな情報フローを可能にする、シンプルかつ効果的な機構である**モダリティ相互アテンション（MMA）**を提案しました。これは、高コストな双順序トレーニング（DOT）や他のコネクタベースのアプローチと比較されます。
実験的新規性： 3 つの異なる LLM バックボーン（LLaMA-3.2-3B、Phi-3.5-Mini、Qwen2.5-3B）を用いた12 のマルチモーダル理解ベンチマークにおける広範な評価を通じて、MMA が因果的アテンションパイプライン、Concentric Causal Attention（CCA）、Mixed Attention（MA）を含む最先端のベースラインを一貫して上回ることを実証しました。

4. 実験結果

著者らは、MMA を標準的な因果的アテンションパイプライン、DOT、CCA、Mixed Attention（MA）と比較評価しました。これらは同一のトレーニングデータと設定で行われました。

性能向上： MMA は 12 のベンチマークで最先端のパフォーマンスを達成し、3 つの LLM バックボーン全体で平均**+6.2%**の改善を示しました。
具体的な改善：
- ビジョン中心タスク： オブジェクト数え上げ、空間的推論、幻覚の削減を必要とするタスク（例：POPE、CV-Bench、MM-Vet）で顕著な改善が観察されました。
- 一般・知識タスク： MMA は一般的な VQA や知識ベースの推論（例：MMMU、MMBench）のパフォーマンスも向上させ、クロスモーダルなアテンションの恩恵が純粋な視覚タスクを超えて拡張することを示しています。
ベースラインとの比較：
- MMA は、トレーニング時間を倍増させる必要があるDOTや、特定のアテンションパターンや画像間アテンションに焦点を当てるCCA/MAを、ほぼすべてのベンチマークで上回りました。
- AKI-4Bモデル（MMA の大規模実装）は、はるかに大きなパラメータ数とトレーニングデータを持つプロプライエタリおよびオープンソースのモデルと比較しても、より小さな事前学習データセットと低い画像解像度でありながら、競争力のある、あるいは優れた性能を示しました。
アテンション分析： アテンションスコアの可視化により、ビジョン中心タスクにおいて画像トークンがテキストクエリ内の特定の言語的カテゴリ（名詞、関係）にアテンションを集中させていることが明らかになりました。これは、MMA が視覚モダリティがテキスト文脈に根ざすことを成功裏に可能にしていることを確認しました。

5. 意義と主張

本論文は、MMA が MLLM に対する根本的なアーキテクチャの改善を提供すると主張しており、以下のものを必要とせずにビジョンと言語の不一致に対処します。

追加のパラメータ。
増加したトレーニングデータ。
専門的なビジョン・言語コネクタ。
トレーニング計算量の指数関数的な増加。

著者らは、このアプローチが汎用的でスケーラブルであり、オーディオ、テキスト、画像などのさまざまなモダリティや階層的な入力に適用可能であることを強調しています。コードベース（AKI）をオープンソース化することで、著者らは研究者に、データのスケーリングからアーキテクチャの効率性へと焦点を移し、基礎的な設計の観点から現実世界のマルチモーダル課題に取り組むためのツールを提供することを目指しています。

認められた限界：
本論文は、提案された MMA 設計が現在、**教師ありファインチューニング（SFT）段階でのみ適用されていることを指摘しています。これを事前学習（PT）**段階で直接適用すると、PT データセットには SFT におけるアテンションを制限する特定のユーザークエリが存在しないため、情報漏洩（以前のテキストトークンが画像トークンを通じて将来のテキストにアクセスすること）につながる可能性があります。著者らは、この問題の解決を将来の課題として残しています。