🤖 AI

Large Vision-Language Models Get Lost in Attention

本論文は、学習された注意重みを定義済みの値に置き換えることで同等または優れた性能が得られることを示すことで、大規模視覚言語モデルにおける注意機構が機能的に冗長であり、かつしばしば誤って割り当てられていることを明らかにするための、統一的な情報理論的および幾何学的枠組みを提案する。

原著者： Gongli Xi, Ye Tian, Mengyu Yang, Huahui Yi, Liang Lin, Xiaoshuai Hao, Kun Wang, Wendong Wang

公開日 2026-05-08

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Gongli Xi, Ye Tian, Mengyu Yang, Huahui Yi, Liang Lin, Xiaoshuai Hao, Kun Wang, Wendong Wang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

大規模視覚言語モデル（LVLM）を、来館者に絵画を説明しようとする非常に洗練された美術館の学芸員と想像してみてください。この学芸員には、説明の準備を手伝うために裏部屋で働く 2 人の主要な助手がいます。

「再配置係」（アテンション）： この助手は、絵画のあらゆる部分と来館者の質問を確認し、今最も重要な部分は何かを特定するためにメモをシャッフルします。
「発明係」（FFN）： この助手は、そのシャッフルされたメモを受け取り、実際に新しいアイデアを記述し、説明に新しい語彙や概念を追加します。

この論文は、長らく「再配置係」が絵画を常にスキャンして最も重要な詳細を見つけ出すという、重労働を担っていると考えられてきたと主張しています。しかし、この論文の著者たちは、これらの助手が実際に何をしているかを正確に観察するための新しいメガネ（数学的枠組み）を構築し、驚くべき事実を発見しました。「再配置係」は実際にはシャッフルに迷い込んでいるのです。

以下に、彼らの発見をシンプルな比喩を用いて解説します。

1. 2 人の助手は非常に異なる役割を担っている

研究者たちは、これら 2 人の助手がまるで異なる言語を話しているかのように、全く異なることをしていることを発見しました。

「再配置係」（アテンション）は「シャッフル係」です： その主な役割は、すでにテーブルの上にある情報を取り出し、混ぜ合わせることです。情報の整理方法（再構成）は変えますが、ほとんど新しいものを追加しません。まるで DJ が同じプレイリストを回転させているようなもので、順序は変わりますが、曲は同じです。
「発明係」（FFN）は「創造者」です： この助手こそが、実際に新しいアイデアをテーブルに持ち込む存在です。会話の「部分空間」を拡張し、新しい意味論的な方向性を追加します。まるで実際に新しいプロットポイントを生み出す作家のようです。

2. 「アテンションに迷い込む」問題

この論文の最大のトピックは、これらのモデルが**「アテンションに迷い込んでいる」**という点です。

「再配置係」の助手が、学芸員が質問に答えるのを助けるために、絵画の最も重要な部分（例えば、野原にいる牛など）を指し示そうとすると想像してみてください。研究者たちは、この助手がしばしば気が散ってしまうことを発見しました。牛に焦点を当てる代わりに、ランダムな背景の詳細についてのメモをシャッフルしたり、単に空回りしたりすることに多くのエネルギーを費やしています。

彼らは、助手が実際にシステムに注入した「新しい情報」の量を調べることでこれを測定しました。その結果、「シャッフル」はしばしば冗長であることがわかりました。まるで新しいカードを引くことなく、同じトランプのデッキを何度も並べ替えているようなものです。

3. 「ランダムノイズ」実験（決定的証拠）

「再配置係」が時間を無駄にしていることを証明するために、研究者たちは奇抜な実験を行いました。「再配置係」の慎重な計算をランダムノイズに置き換えたのです。

助手に絵画を見て何に焦点を当てるかを決めさせる代わりに、古いテレビのノイズのようなランダムなパターン、または事前に設定されたルールを選ぶように指示しました。

結果はどうだったでしょうか？ モデルはクラッシュしませんでした。実際、多くのテストにおいて、モデルは独自の「賢い」アテンションスコアを使用していたときと同じか、場合によってはより良いパフォーマンスを発揮しました。

これは、料理人に「スープに何のスパイスを加えるか決めるために味見をするのをやめて、単にランダムに塩を振りかけなさい」と言うようなものです。驚いたことに、スープは依然として美味しくできました。これは、モデルが「注意を払う」ために実行していた複雑で高価な数学的処理は、ほとんど不要であったことを示唆しています。モデルはシャッフルについて過剰に考えすぎており、実際には「発明係」の助手が重労働を担っていたのです。

まとめ

この論文は、現在の AI モデルは非効率的であると結論付けています。これらは、しばしば空回りしたり、細部に迷い込んだりするだけの「再配置係」助手に莫大な計算資源を費やしており、実際に知性を牽引しているのは「発明係」助手の方です。

このことに気づくことで、著者たちは、タスクを遂行するためにそれほど凝ったことをする必要がないため、「注意を払う」方法を単純化することで、より高速で安価な AI モデルを構築できる可能性を提案しています。

技術的サマリー：大規模視覚言語モデルはアテンションの中で迷子になる

1. 問題提起

トレーニングパラダイムの急速な進展にもかかわらず、大規模視覚言語モデル（LVLM）のデコーダバックボーンは、本質的に残差接続トランスフォーマーアーキテクチャに根ざしたままです。以前の解釈可能性研究は、モジュール機能に関する統計的洞察（例えば、文脈依存推論としてのアテンションや、キー・バリューメモリとしてのフィードフォワードネットワーク（FFN））を提供してきましたが、これらのアプローチは、マルチモーダル設定において異なるサブモジュールが表現構造にどのように寄与するかを明示的に対比するための統一的な理論的基盤を欠いていることが多いです。

具体的には、実証的分析により「視覚的アテンションシンク」や「アテンションドリフト」といった現象が明らかになっており、LVLM はしばしば情報豊富な視覚的証拠に対してアテンションを過少配分していることを示唆しています。しかし、残差更新の幾何学的およびエントロピー的性質を定量化し、モジュールが意味的革新を推進しているのか、それとも既存情報の再構成に過ぎないかを決定する、原理的な枠組みという視点が見落としています。このギャップが、現在の LVLM が視覚的文脈を効率的に活用しているのか、それともアテンションメカニズムにおいて深刻な配分ミスや冗長性に悩まされているのかという問いを動機づけています。

2. 手法

著者は、LVLM 残差ストリーム内のモジュールレベルの機能的寄与を定量化し対比するための、情報理論と微分幾何学に基づく統一的な枠組みを提案します。

理論的枠組み

多様体仮説を採用し、表現行列 $X \in \mathbb{R}^{S \times H}$ （ここで $S$ はトークン長、 $H$ は隠れ層サイズ）に含まれる情報をペア $\mathcal{I}(X) = (\mathcal{S}_X, \mathcal{D}_X)$ として形式化します：

情報複雑性（ $\mathcal{S}_X$ ）： 表現のスケールを表す特異スペクトルの有効ランク（eRank）によって定量化されます。
情報サポート（ $\mathcal{D}_X$ ）： 左および右特異部分空間（グラスマン点）によって定義され、意味的方向性とトークン依存性を表します。

残差更新 $\Delta X$ （ここで $X' = X + \Delta X$ ）の寄与を測定するために、この枠組みは 2 つの補完的な指標を導入します：

表現情報不一致（RID）： 革新を測定します。スペクトル複雑性の変化（ $\Delta \mathcal{S}$ ）と部分空間サポートの新規性（ $\Delta \mathcal{D}$ ）を合計することで、外部情報の注入を定量化します。高い RID は、更新が意味部分空間を拡張するか、スペクトル複雑性を変化させることを示します。
混合情報利得（MixIG）： 再構成を測定します。既存のサポート内でトークンがどの程度広く相互作用し、情報を再分配するかを捉えるトークン混合エントロピー（TME）の変化を定量化します。高い MixIG は、必ずしも新しい意味的方向性を導入することなく、顕著な内部再編成が行われていることを示します。

実験プロトコル

この枠組みは、3 つの主要アーキテクチャ（Qwen ファミリー、LLaVA-1.5 ファミリー、LLaVA-NeXT ファミリー）にまたがる 15 の最先端 LVLM に適用され、POPE、3DSRBench、MMMU、HallusionBench などを含む広範なマルチモーダルベンチマークで評価されました。

本研究では、3 つの比較設定を採用しました：

確率的ベースライン： 経験的モーメントに一致するガウスノイズでアテンション更新を置換するか、QKV 重みをランダム化して、構造化されていない摂動に対する指標の感度を検証します。
モジュール帰属： 層全体における RID と MixIG の進化を追跡し、アテンションと FFN モジュールの特定の寄与を分離します。
介入（共有アテンション事前分布 - SAP）： 選択された層における学習済みアテンションスコアを、事前定義された事前分布（視覚エンコーダアテンションマップ、パッチ複雑性事前分布、またはガウスノイズ）に置換し、学習済みアテンション重みの機能的必要性をテストします。

3. 主要な貢献

理論的枠組み： 本論文は、表現情報を定義するために多様体仮説に基づく厳密な形式論を確立します。残差更新の幾何学的（革新）およびエントロピー的（再構成）影響を定量化するための二重指標として RID と MixIG を導入し、単純な帰属を超えた表現ダイナミクスを調査するための汎用ツールを提供します。
モジュールレベルの解釈可能性： 本研究は、トランスフォーマーブロック内の異なる役割の定量的説明を提供します。アテンションと FFN が直交する領域で動作することを示しています：
- アテンションは部分空間保存演算子として機能し、高い再構成（高い MixIG）を実行しますが、革新は低いです（低い RID）。主に既存情報を再編成します。
- FFNは部分空間拡張演算子として機能し、弱い再構成（低い MixIG）を伴って意味的革新（高い RID）を推進します。
実証的診断： 本研究は、LVLM 設計における重要な非効率性を明らかにしました。デコーダ視覚アテンションは、質問に関連する視覚的証拠に対して意味のある混合を実行できず、実質的な冗長性を示していることが判明しました。

4. 結果

機能の脱結合： 15 の LVLM 変種全体で、一貫した分離が現れました。アテンション更新は、許容誤差 $\epsilon_{RoPE}$ のオーダーの無視できる革新を示しましたが、強い再構成を示しました。逆に、FFN 更新は、弱い再構成を伴う実質的な革新を示しました。これは、アテンションが既存情報を文脈化し、FFN が新しい意味的特徴を計算するという、明確な分業を裏付けています。
視覚アテンションにおける配分ミス： 層ごとの分析により、クロストークン相互作用がほとんどの層で疎であることが示されました。視覚アテンションは、質問に関連する領域に相互作用を配分することに失敗することが多いです。誤ったサンプルでは、「キー領域度比率」（関連する視覚的証拠にルーティングされた相互作用の質量）は、正しいサンプル（13.1%）と比較して有意に低く（4.2%）、観測されました。
学習済みアテンションの冗長性： SAP 介入実験において、選択された層で学習済みアテンションスコアを事前定義された値（例えば、ガウスノイズ、視覚エンコーダマップ、またはパッチ複雑性事前分布）に置換すると、vanilla モデルと比較して、大多数のデータセットで同等またはそれ以上の性能が得られました。例えば、Qwen-2.5-VL や LLaVA-1.5 変種では、特定の層範囲でアテンションをノイズに置換しても性能が低下せず、場合によっては向上しました。

5. 意義と主張

本論文は、現在の最先端 LVLM が実質的に「アテンションの中で迷子になっている」と主張しています。これらの知見は、視覚トークンの統合が計算コストが高くても情報量は希薄であり、視覚アテンションスコアリングの大部分は機能的に不要であることを示唆しています。

この研究の意義は以下の点にあります：

診断的視点の転換： どのような機能（例えば、特定のヘッド機能）が存在するかを特定することから、残差更新自体において何が不足または過剰か（革新対再構成）を診断することへの移行。
アーキテクチャ仮定への挑戦： 結果は深刻な配分ミスと冗長性を露呈しており、LVLM デコーダにおける標準的な自己アテンションの二次計算コストが、それが提供する情報フローによって完全に正当化されていない可能性を示唆しています。
将来の最適化： 有用な混合を維持しつつ不要なスコアリングを削減する、より効率的なアテンションメカニズムや正則化器の設計など、ターゲットを絞ったアテンション中心の最適化を動機づけます。これにより、より効率的な LVLM アーキテクチャにつながる可能性があります。

著者は、自らの枠組みが LVLM 残差更新を測定可能な革新 - 再構成ダイナミクスに変換し、視覚的文脈統合に対する学習済みアテンションスコアへの現在の依存がしばしば冗長であるという証拠を提供すると結論付けています。