技術的概要：モダリティ仲裁のメカニズム的ダイナミクスの解明

問題提起

マルチモーダル大規模言語モデル（MLLM）は、マルチモーダル指示追従（MIF）の能力を有しており、これは特にモダリティが矛盾する情報を提供する際に、ユーザーの指示に基づいて特定のモダリティ（例えば、視覚対テキスト）を選択的に活用することを要求する。MIF は GUI ナビゲーションや具身ロボット工学などの実世界応用において基礎的であるが、この「モダリティ仲裁」を支配する内部意思決定メカニズムは依然として「ブラックボックス」である。既存の解釈可能性研究の多くは、知覚中心の側面（視覚情報のエンコードと検索）や出力形式の準拠に焦点を当てており、指示の下でのクロスモーダル矛盾の解決に関する具体的なダイナミクスは largely 未探索のままである。このメカニズム的理解の欠如は、モデルの失敗の診断と行動の信頼性の保証を妨げている。

手法

著者らは、視覚的およびテキスト的コンテキストが矛盾する答えを支持する制御された診断設定を利用し、情報フローの観点からモダリティ追従の内部メカニズムを調査する。手法は 3 つの主要な分析段階から構成される：

1. INSSD を用いたアテンションノックアウト分析：

   • 著者らはアテンションノックアウト分析を採用し、トークンセット（視覚トークン $X_{vision}$、テキストコンテキスト $X_{ctx}$、指示トークン $X_{inst}$、生成トークン $X_g$）間のアテンション経路を選択的に遮断する。
   • タスク無関係な変動からのノイズを抑制しながらこれらの介入の影響を定量化するため、**正規化符号付き構造的発散（INSSD）**を提案する。この指標は、指示準拠および競合するモダリティによって張られる決定部分空間内の確率シフトを測定する。負の INSSD シフトは、遮断された経路が指示準拠を維持するために重要であったことを示す。

2. 潜在意思決定の追跡：

   • Logit Lens技術を用いて、著者らは層全体にわたる内部信念の進化を追跡する。
   • 指示トークンの内部状態と最終出力との間の同期を測定するために、**潜在意思決定アライメント率（LDAR）**を導入する。これにより、モダリティの決定が生成トークンへ伝播する前に指示トークン内で結晶化されるかどうかを判断する。

3. コンポーネントおよびヘッドレベルの帰属：

   • 本研究は、モダリティ仲裁マージン（$\Delta S$）の変調を、ログイト差帰属を用いてアテンション層とMLP層からの寄与に分解する。
   • さらに、仲裁プロセスを駆動する疎な部分集合を特定するために、個々のアテンションヘッドを分析することで詳細化を図る。
   • 標的介入： 著者らは、特定のアテンションヘッドの出力を**ゼロ化（ブロック）およびスケーリング（増幅）**することにより因果介入を実行し、それらの機能的特異性を検証する。

主要な貢献

1. 構造的アンカーとしての指示トークンの同定： この研究は、指示トークンがクロスモーダルの手がかりの主要な集約サイトであることを確立する。情報ルーティング分析により、モダリティの手がかりから指示トークンへの経路がモダリティ追従にとって最も敏感なコンポーネントであり、意思決定の結晶化のための中心的な局所として機能することが明らかになった。
2. 層間遷移のメカニズム： 本論文は、Transformer アーキテクチャ内の機能的階層化を特徴づける：
   • 浅い層： 「潜在バッファ」として機能し、選択を強制することなくマルチモーダルな手がかりを集約する、未分化な情報転送を行う。
   • 深い層： 「決定的な仲裁者」として機能し、指示準拠の部分空間を選択的に強化してモダリティの矛盾を解決する。
3. 疎なアテンションヘッドの専門化： 仲裁プロセスは、驚くほど疎なアテンションヘッドの部分集合によって駆動される。ほとんどのヘッドがモダリティ特異的である一方、少数の「共有」ヘッドが存在する。
4. 因果介入による検証： この研究は、同定された重要なヘッドの約 5% だけを遮断することが、一般的な視覚および言語能力を維持しつつモダリティ追従を著しく劣化させることを示す。逆に、これらのヘッドを標的に増幅することで、失敗したサンプルにおけるモダリティ追従のパフォーマンスを最大約 60% 回復させることができる。

結果

• 情報ルーティング： モダリティの手がかりから生成トークンへのアテンション経路（$X_{vision} \to X_g$）を切断しても、影響は限定的である。対照的に、指示トークンへの経路（$X_{vision} \to X_{inst}$）を切断すると、INSSD に顕著な負のシフトが生じ、指示トークンが収束サイトであることを確認する。
• 意思決定の結晶化： LDAR 分析により、浅い層では偶然レベルのアライメントを示すのに対し、深い層では指示トークンの状態と最終出力との間で 95% 以上のアライメントが示され、仲裁が指示トークン内で解決されていることが示される。
• アテンション対 MLP： アテンション層は、指示の意図に向かって仲裁マージンに一貫して正のシフトを示すのに対し、MLP 層はこの一貫した挙動を示さない。これは、アテンションが指示整合変調の主要な駆動力であることを示唆している。
• 介入の有効性：
  • ブロック： 上位 40 の特定されたヘッド（合計の約 5%）を除去すると、モダリティ追従率（MFR）は約 60% 低下するが、一般的なベンチマーク（VQA、MMLU、IFEval）はほとんど影響を受けない。
  • 増幅： 失敗事例においてこれらのヘッドを増幅すると、失われたパフォーマンスの約 60% が回復する。過度の増幅（例えば、係数 > 18）は最終的にモデルを不安定化させ、パフォーマンスを崩壊させる。

意義

本論文は、MLLM の意思決定の「ブラックボックス」を超えた、モダリティ追従のメカニズム的説明を提供する。指示トークンを構造的アンカーとして同定し、疎なアテンションヘッドによって駆動されるバッファリングから仲裁への遷移を明らかにすることで、この研究はマルチモーダル情報の利用を理解するための新たな視点を提供する。

著者らは、これらの知見が以下の将来の取り組みを情報提供すると主張している：

1. マルチモーダル証拠の活用改善： 特定の経路を理解することで、MLLM が矛盾する証拠を統合する方法を強化するためのより標的化された介入が可能になる。
2. 効率的なアーキテクチャの設計： 指示アンカーを介したコンテキスト統合に関する知見は、オムニモーダルモデルにおける冗長な計算を削減するコンテキスト圧縮戦略やアーキテクチャ設計につながる可能性がある。
3. 安全性と信頼性の向上： 仲裁の構造的基盤を解明することで、モダリティの干渉や幻覚に対するより堅牢な AI 防護策を開発するための基盤が確立される。

本研究は、これらの知見がメカニズム的解明と因果介入から導き出されたものであり、即座の応用固有の解決策ではなく、構造的基盤を提供することを強調している。