論文「Structural Graph Probing of Vision–Language Models」の技術的サマリー

この論文は、視覚言語モデル（VLM）の内部動作を理解するための新しいアプローチとして、ニューラルトポロジー（Neural Topology）、すなわちニューロン間の相関関係に基づくグラフ構造に焦点を当てた研究です。従来の局所的なアトリビューション（注目度や勾配）に依存する解釈手法の限界を克服し、ニューロン集団の組織化された相互作用を通じて、VLM がどのようにマルチモーダル推論を実行するかを解明することを目指しています。

以下に、問題設定、手法、主要な貢献、結果、および意義について詳細にまとめます。

1. 問題設定 (Problem)

視覚言語モデル（VLM）は多様なタスクで高い性能を示していますが、その内部で視覚情報と言語情報がどのように統合され、計算がニューロン集団間でどのように組織化されているかは依然として不明確です。

• 既存手法の限界: 従来の解釈手法（アテンションパターン、セリビリティマップ、パッチアトリビューションなど）は、特定のトークンやコンポーネントに焦点を当てる「局所的」な分析に留まっており、トランスフォーマーのような大規模な相互作用ユニット集団における大規模な計算の組織化を記述するには不十分です。
• 核心的な問い: ニューロン集団のレベルでの構造（トポロジー）は、モデルの振る舞い（推論、幻覚、タスク実行）と意味的に結びついているのか？また、その構造を操作することでモデルの出力を因果的に変化させることができるのか？

2. 手法 (Methodology)

著者らは、VLM の各レイヤーを「ニューロン - ニューロン相関グラフ」として表現するニューラルトポロジーの枠組みを提案しました。

2.1 ニューラルトポロジーの構築

1. 隠れ状態の取得: 画像とテキストのペアを入力し、各トランスフォーマーレイヤー $\ell$ における隠れ表現 $H^{(\ell)}$ を取得します。
2. 相関グラフの構築: 各レイヤーを重み付きグラフ $G^{(\ell)} = (V, E, W^{(\ell)})$ として表現します。
   • ノード: 隠れ次元の各ニューロンに対応します（$|V|=d$）。
   • エッジ重み: 同一推論パス内でのニューロン $i$ と $j$ の活性化プロファイル間のピアソン相関を計算し、機能的な結合強度 $W^{(\ell)}_{ij}$ として定義します。
   • これにより、単なる配線図ではなく、推論中の「共活性化構造の組織化」を捉えます。
3. モダリティ別分析: 画像トークン、テキストトークン、およびマルチモーダル（統合）状態のそれぞれに対して、同じフォワードパスから部分集合を抽出し、対応するグラフ（$G_{vis}, G_{text}, G_{multimodal}$）を構築します。

2.2 グラフ表現と解析

• グラフ畳み込みネットワーク (GCN): 隠れ状態の値そのものではなく、ニューロンのアイデンティティ（学習可能なワンホット埋め込み）とグラフ構造のみを入力として GCN を使用し、トポロジーに依存したノード表現 $Z^{(\ell)}$ を生成します。
• レイヤーレベルのシグネチャ: 平均プーリングと最大プーリングを組み合わせ、各レイヤーの構造的特徴ベクトル $h^{(\ell)}$ を抽出します。

2.3 評価タスク

• 予測可能性: グラフ表現からモデルの出力（物体数え上げ、色認識、幻覚検出など）を予測できるか検証。
• 構造分析: 深度（レイヤー）に伴うクロスモーダル相関の進化や、ハブニューロンの安定性を調査。
• 因果的介入: 構造上重要なハブニューロンやエッジを操作（ゼロ化、スケーリング、置換）し、モデル性能への影響を測定。

3. 主要な貢献と結果 (Key Contributions & Results)

3.1 行動予測可能性の確立

• グラフプローブの優位性: 線形プローブと比較して、GCN ベースのグラフプローブは、CLEVR（数値推論）や TDIUC（意味認識）などのタスクで高い精度を達成しました（例：LLaVA-1.5-7B において CLEVR 数え上げで 7.7% の改善）。
• スパース性の頑健性: 相関グラフのスパース度（上位 1%〜20% のエッジのみ保持）を調整しても予測精度は安定しており、密なグラフ全体をモデル化しなくても、強力な構造シグナルが抽出可能であることを示しました。
• 幻覚検出: 単なるテキスト統計（Word2Vec 平均など）よりも、ニューロン相関グラフに基づく分類器の方が、モデルの幻覚（Hallucination）をより正確に検出できます。

3.2 マルチモーダル構造の進化

• 深度に伴う統合: 深度が深くなるにつれて、視覚トークンとテキストトークンの間の相関（Vision-Text）が徐々に増加し、後段のレイヤーでマルチモーダル統合が強化されていることが確認されました。
• ハブの安定性: グラフ構造に基づいて定義された「ハブニューロン（次数の高いニューロン）」は、入力サンプルが変わっても非常に安定して再発現します。特に中間レイヤーでこの安定性がピークに達し、マルチモーダル処理が特定の構造的中心点の周りに組織化されていることを示唆しました。
• モダリティ間の整合性: 画像とテキストの単一モダリティグラフは、マルチモーダルモデル内で部分的に整合していますが、単一モダリティモデル（LLaMA など）のテキストグラフとは明確に異なる構造を持ち、マルチモーダル微調整がトポロジーを大きく変化させていることが示されました。

3.3 因果的介入による検証

• ハブニューロンの重要性: 活性化の大きさではなく、グラフ次数（構造的中心性）で選定された上位 1% のニューロンをゼロ化（アブレーション）すると、ランダム選択や活性化ベースの選択よりも性能が大幅に低下しました。
• エッジレベルの介入: 強いエッジの一方のノードを、相手の活性化（Identical）やその負（Opposite）に置換する実験において、Opposite 置換が最も大きな性能低下を引き起こしました。これは、エッジの重要性が単なるノードのアイデンティティだけでなく、協調的な活動の符号（Sign）や整合性にも依存することを示しています。
• ハブの感度: 特定の高次数ハブニューロンをわずかに増幅または抑制しても、モデルの性能は対称的に低下しました。これはこれらのハブが機能的に狭い範囲で動作していることを示唆します。

4. 意義と結論 (Significance)

この研究は、VLM の解釈可能性において以下の重要な転換点を提示しています。

1. 中間スケールの解釈: 局所的なアトリビューション（個々のニューロンやトークン）と完全な回路復元（全体的なメカニズムの解明）の中間にある「ニューラルトポロジー」が、モデルの振る舞いを理解するための意味のあるスケールであることを実証しました。
2. 集団レベルの組織化: VLM の推論能力は、個々のコンポーネントの単純な合計ではなく、構造化されたニューロン集団の相互作用とハブを中心とした組織化から生じる創発的な性質である可能性が高いことを示唆しています。
3. 実用的な介入ターゲット: 構造的中心性に基づくハブニューロンは、モデルの出力を因果的に変化させるための効果的な介入ターゲットとなり得ます。これは、モデルの制御や安全性向上（幻覚の抑制など）に応用可能な指針となります。

総じて、本論文は「ニューロン間の相関構造」を分析対象とすることで、VLM のブラックボックス化された内部計算を、より解釈可能で操作可能なトポロジーの観点から理解する新たな道筋を開拓しました。