技術要約：CoRe Headsを通じたマルチモーダルLLMにおける機能的スパース性のメカニズム的洞察

1. 問題提起

マルチモーダル大規模言語モデル（MLLM）は、複雑な視覚・言語タスクにおいて顕著な能力を示しているが、ノイズが多く混雑したコンテキストからどのようにクエリに関連する視覚的特徴を抽出しているかという内部メカニズムは依然として不透明である。MLLMは高次元の視覚信号を意味空間へとマッピングするが、現実世界の入力には冗長な情報が含まれることが多い。堅牢なマルチモーダル推論には、モデルが疎（スパース）でタスクに関連する視覚的キューを選択的に分離する能力が不可欠である。しかし、既存の解釈可能性フレームワークは、主に静止画に対して評価される粗い統計的ヒューリスティック（例：空間エントロピー、アテンション集約）に依存している。これらの手法は、高密度または動的な時空間シーンにおける、クエリに条件付けられたトークンレベルのアテンションを詳細に捉えることができず、MLLMの失敗モードや内部効率の理解における重大なギャップを残している。

2. 手法

著者らは、クロスモーダルな検索を担う専門化されたアテンションヘッドのサブセットを特定し、特性を定義するための体系的なフレームワークを提案しており、これをContext-aware Retrieval (CoRe) headsと呼ぶ。

2.1 Retrieval Attention Mass (RAM)

これらのヘッドを特定するために、著者らは**Retrieval Attention Mass (RAM)**と呼ばれるトークンレベルの指標を導入した。一般的なアテンション指標とは異なり、RAMは特定のヘッド $h$ が指示クエリトークン ($q$) から正解の視覚的エンティティ ($V^*$) に対して割り当てるアテンション質量を定量化する。
ヘッドのRAMスコアは以下のように定義される：
$$M(h)_{RAM}(q \to V^*) = \mathbb{E}_{x \in q} \left[ \sum_{y \in \Omega(V^*)} A(h)_{x \to y} \right]$$
ここで、$\Omega(V^*)$ はトークン化された空間的または時間的な範囲（span）を表し、$A(h)_{x \to y}$ はアテンションの重みである。高いRAM値は、一般的なアテンションの蓄積や「アテンション・シンク（attention sinks）」ではなく、標的を絞った検索が行われていることを示す。

2.2 統一評価プロトコル

本研究では、異なるモダリティと複雑さをカバーする4つの多様なデータセットを用いて、統一されたプロトコルを採用している：

• RefCOCOg: 静止画像の視覚的グラウンディング（バウンディングボックス）。
• VidSTG: ビデオの時空間的グラウンディング（テンポラル・チューブ）。
• MMLongBench: 長文脈のマルチエビデンス推論（エビデンス領域）。
• MMDocIR: ドキュメントに基づいた検索（ページ/図の領域）。

著者らは、精密なアテンション測定を保証するために、アーキテクチャ固有の戦略（例：アダプターベースのモデルにおける境界タグ付け、固定拡張モデルにおける均一なスライシング）を用いて、連続的なアノテーション（空間ボックス、テンポラル・チューブ）を離散的なトークンインデックス $\Omega(V^*)$ にマッピングしている。

2.3 因果的介入と加速

CoRe headsの機能的な必要性を検証するため、著者らは推論時におけるアテンション・マスキングによる因果的介入を行う。彼らは、RAMによってランク付けされた上位-$k$個のCoRe headsをアブレーション（除去）し、その性能を下位ランクまたはランダムなヘッドのアブレーションと比較する。
さらに、システムレベルの加速のために、CoRe-guided Hybrid Attentionメカニズムを提案している。この戦略は、上位-$k$個のCoRe headsには完全なグローバル・アテンションを保持する一方で、残りの非必須なヘッドに対しては、プリフィル（prefill）段階においてローカルなスライディングウィンドウ（Stream Sparse Attention）を適用することで、二次関数的な計算複雑性を削減することを目指している。

3. 主な貢献と結果

3.1 機能的スパース性の発見

分析の結果、深刻な構造的特性が明らかになった。それは機能的スパース性である。少数の専門化されたアテンションヘッド（CoRe heads）が専用の情報抽出器として機能する一方で、大多数のヘッドは拡散したグローバルなアテンションパターンを示す。

• 局在化: CoRe headsは、コンテキストに関連する視覚的エンティティ（例：ビデオ内の特定のオブジェクトやドキュメント内のテキスト領域）を正確に特定し、背景ノイズをフィルタリングする。
• 差別化: 下位ランクのヘッド（Bottom Heads）は、無関係な領域にアテンションを散漫に分散させ、指示へのグラウンディングに失敗する。

3.2 構造的進化とスケーリング

• スケーリング・パターン: モデルの容量が増大するにつれ（例：4Bから32Bパラメータへ）、CoRe headsは、深い層（例：32Bモデルにおけるレイヤー44–56）において、分散した分布から高度に集中した「ボトルネック」へと遷移する。
• アーキテクチャの分岐: モデルファミリーによって異なるトポロジーを示す。Qwen3-VLは疎な局在化を示し、LLaVA-OneVisionは中程度の分散を示し、InternVL3.5は密な活性化を示す。これは、構造的スパース性が、ベースとなるLLMの固有の性質というよりも、視覚的表現の密度に応じた動的な割り当て戦略であることを示唆している。

3.3 クロスドメインの安定性

CoRe headsは「グローバルに一貫し、ローカルに可変」というパラダイムを示す。約30個の特定のヘッドが、多様なタスク（RefCOCOg, VidSTG, MMLongBench, MMDocIR）にわたって普遍的に活性化されており、活性化パターンにおいて高いスペアマン順位相関係数（0.79–0.92）を示している。これらのヘッドは、中間から後半のレイヤーに安定して集中している。

3.4 因果的必要性

因果的介入により、CoRe headsの非冗長な必要性が確認された：

• 性能低下: 上位5%のCoRe headsのみをアブレーションすると、マルチモーダル推論の性能が壊滅的に低下する（例：Qwen3-VL-4Bにおいて、精度が約45%から約27%へと急落）。
• 冗長性: 下位ランクのヘッドのアブレーションは最小限の影響しか与えず、これは非専門的なヘッドにおける顕著な機能的冗長性を示している。

3.5 加速と効率性

このスパース性を活用することで、提案されたハイブリッド・アテンション・メカニズムは、堅牢な性能を維持しながら、長文脈タスク（例：MLVU, Video-MME）において最大2.3倍のプリフィル速度向上を実現する。

• 性能の保持: 一部の構成（例：LLaVA-OneVisionにおいて19.1%のヘッドを保持する場合）では、ハイブリッドモデルは完全なデンス（密）モデルのベースラインをわずかに上回る。これは、クロスモーダル・ノイズをフィルタリングする暗黙的な正則化効果によるものと考えられる。
• スケーラビリティ: より大規模なモデル（例：Qwen3-VL-32B）は、性能の損失をほとんど伴わずに、より高いレベルのスパース化（4.9%のヘッドまで）を維持できる。これは、スケールに応じて機能的冗長性が増大していることを示唆している。

4. 意義と主張

本論文は、MLLM内における機能的スパース性の構造的原理を明らかにすると主張しており、現在のメカニズム的解釈可能性の理解を洗練させるものである。主な含意は以下の通りである：

1. メカニズム的洞察: マルチモーダル推論は、他のヘッドが行うグローバルな特徴集約とは明確に区別される、クロスモーダルな抽出のためのクリティカルなボトルネックとして機能する、疎で一貫したサブセットのヘッドによって制御されている。
2. 非冗長性: これらの専門化されたヘッドは因果的に不可欠であり、ネットワークの他の部分で補完することはできない。
3. 最適化の可能性: この発見は、効率的なモデル最適化のための理論的基礎を提供する。クリティカルなヘッドのわずかな割合に基づいて動作することで、意味的な選択やタスク性能を損なうことなく、推論（特に長文脈シナリオにおいて）を大幅に加速させることが可能である。

著者らは、RAMの計算における明示的なグランドトゥルース・アノテーションへの依存や、加速における現在の静的なヘッド構成の使用といった限界についても言及しており、将来の研究では、より動的で入力適応的なルーティング戦略を探索できる可能性を示唆している。