技術要約：部分情報分解によるマルチモーダル言語モデルにおけるモダリティ相互作用の理解に向けて

1. 問題提起

マルチモーダル大規模言語モデル（MLLM）は、科学、医療、身体化されたコンテキストにおける意思決定エージェントとして、ますます活用されている。しかし、現在の評価パラダイムは主に結果の正確性を評価するものであり、モデルがどのように感覚的入力（視覚、音声）と言語的入力を利用してそれらの決定に至るかというプロセスについては、限られた洞察しか提供できない。表現の整列、アテンション分析、モダリティ・アブレーションといった既存の解釈可能性手法は、モダリティがどのようにエンコードされているか、あるいは摂動によって予測がどのように変化するかを明らかにする。しかし、これらはモダリティ利用の決定レベルの分解を提供することはできない。具体的には、あるモダリティが固有（unique）の情報を提供しているのか、他のモダリティと冗長（redundant）であるのか、あるいは相乗的（synergistic）（両方の同時観察を通じてのみ得られる）であるのかを区別できない。その結果、異なる形態のマルチモーダルな相互作用が、同じ精度やアブレーションの信号の下で混同されてしまうことが多い。

2. 手法

著者らは、**部分情報分解（Partial Information Decomposition: PID）**を用いて、マルチモーダルな推論を決定レベルの情報分解問題として定式化する。

2.1. 決定レベルのPIDフレームワーク

潜在表現を分析する先行研究とは異なり、このフレームワークはモデルによって誘導された予測分布に対して情報指標を計算する。

• 二モーダル定式化: 視覚言語モデルの場合、予測 $Y$ と入力（視覚 $X_v$、テキスト $X_t$）の間の相互情報量は、以下の4つの非負成分に分解される：
  • $U_{vis}$: 視覚に固有の情報。
  • $U_{txt}$: テキストに固有の情報。
  • $R_{vl}$: 両者によって共有される冗長な情報。
  • $S_{vl}$: 共同観察によってのみ生じる相乗的な情報。
• 感覚的PID（三モーダル）: オムニモーダルモデル（ビデオ $V$、オーディオ $A$、テキスト $T$）のために、著者らは言語を指示的な制御信号として扱う条件付き定式化を導入する。これにより、感覚情報の利得 $I(Y; V, A | T)$ を、固有の視覚的情報（$U_{vis}$）、固有の音声的情報（$U_{aud}$）、冗長な感覚情報（$R_{sens}$）、および感覚的シナジー（$S_{av}$）へと分解する。これにより、組み合わせ爆発を避けつつ、タスク指定（言語）と感覚的証拠（感覚）の機能的な区別を維持する。

2.2. 推定パイプライン

高次元の連続的な隠れ状態からPIDを推定するために、MLLMの再学習を行うことなく、著者らは以下の手法を用いる：

1. 較正済み埋め込みマスキング（Calibrated Embedding Masking）: 単一モダルの条件付き分布（例：$P(Y|X_v)$）を近似するために、マスクされたモダリティのトークン埋め込みを較正済みのガウスノイズに置き換え、インスタンス固有の情報を取り除きつつ、分布の統計量を保持する。
2. BATCH推定量: ソースとターゲットの周辺分布を保持するSinkhorn正規化された結合 $\tilde{Q}$ を学習するBATCH推定量（Liang et al., 2023）を利用し、連続変数に対するPID項の扱いやすい最適化を可能にする。
3. ローカル診断スコア: 本フレームワークは、サンプルごとの加算的寄与へと拡張されており、「シナジー・ギャップ」サンプル（高い融合ポテンシャルを持つが、現在のシナジーは低いもの）や「ショートカット」サンプル（テキスト固有の依存度が高いもの）の特定を可能にする。

3. 主な貢献

1. MLLMのための決定レベルPID: モダリティの相互作用を情報分解問題として定式化し、表現の類似性やアブレーションだけでは識別できない、固有、冗長、および相乗的な寄与を分離した。
2. オムニモーダルモデルのための感覚的PID: 言語を制御信号として扱い、ビデオとオーディオの情報利得を分解する条件付きPID定式化を提示し、三モーダルな意思決定の原理的な分析を可能にした。
3. 診断的、予測的、かつ実行可能な知見:
   • モダリティ利用プロファイル: 推論やグラウンディングのタスクでは高いシナジーが生じ、専門知識や知識タスクでは強いテキスト固有の依存が見られるという、繰り返されるパターンを特定した。
   • 予測的妥当性: PID項が、モダリティレベルの介入（例：画像の除去）に対する感度を予測することを示した。
   • 感覚的シナジーのボトルネック: オムニモーダルモデルは、明示的にオーディオ・ビジュアルの融合を必要とするタスクであっても、依然として視覚情報に支配されていることを発見した。
   • 層ごとのダイナミクス: クロスモーダルな融合は後半の段階で起こる現象であり、シナジーはネットワークの最終層付近で主に現れるという証拠を示した。
4. PID誘導型リウェイト（PID-Guided Reweighting）: ローカル診断スコアを用いて、LoRAファインチューニング中のサンプルへの重み付けを変更する概念実証を行い、シナジーが不足しているサンプルを増重し、言語ショートカット・サンプルを減重する。

4. 実験結果

4.1. 視覚言語分析

20のモデルと6つのベンチマークにわたり、PIDは2つの明確なレジームを明らかにした：

• シナジー主導型: MMBench、MMStar、POPE（グラウンディング）などのベンチマークは、高い $S_{vl}$ と視覚入力への強い依存を示す。
• テキスト・プライア主導型: MMMU、PMC-VQA、Reefknotなどのベンチマークは、高い $U_{txt}$ を示し、視覚の除去に対してほとんど無反応である。
• モデルファミリー: Qwen、InternVL3、LLaVA-OVファミリーは、共同モダリティ依存の傾向がある一方、Gemma3やCambrianは言語プライア（事前知識）依存の傾向がある。スケーリングは、これらの既存のプロファイルを消去するのではなく、増幅させる。
• 予測: シナジー駆動型タスクにおいては、$S_{vl}$ は精度および視覚除去への感度と強く相関する（$\rho \geq 0.798$）。一方で、プライア主導型のタスクでは $U_{txt}$ がより情報量を持つ。

4.2. オムニモーダル分析

MUSIC-AVQAベンチマーク（特にAV-Fusionサブセット）において：

• 感覚的シナジーのボトルネック: 共同推論のために設計されたタスクであるにもかかわらず、$S_{av}$ はマイナーな成分にとどまっている。決定は単一モダルの情報、特に視覚情報（$U_{vis} > U_{aud}$）によって支配されている。
• 視覚の覇権: サンプルのシャッフルを用いた機能的検証により、モデルはオーディオの不整合よりも視覚の不整合に対してより大きな性能低下を被ることが確認された。
• インストラクション・ゲーティング: 層ごとの分析により、言語プロンプトが制御信号として機能していることが示された。融合を要求する指示を弱めると、後半層の感覚的シナジーが著しく減衰する。

4.3. PID誘導型リウェイト

Qwen2.5-VL-7Bに対するLoRAファインチューニングにおいて、PID由来のローカルスコアを適用した結果：

• 性能向上: PID誘導型リウェイトは、一様ファインチューニングやベースライン（ランダム、精度ベース、アブレーションベース）と比較して、推論およびグラウンディングの性能を向上させた（例：MMStarで+2.3、POPEで+1.3）。
• プロファイルのシフト: チューニング後の診断により、シナジー（$S_{vl}$ の割合）が増加（67.5%から73.9%へ）し、テキスト固有の依存が減少したことが示され、手法がモデルの挙動を制御できることが確認された。

5. 意義と主張

本論文は、PIDを単なる事後的な解釈可能性ツールとしてではなく、マルチモーダルな融合を診断し導くための実用的な信号として位置づけている。

• 精度を超えて: 著者らは、全相互情報量は全体的なパフォーマンスを追跡するものの、介入に対する感度は捉えられないと主張している。情報の「どのように」使われているかを理解するには、PIDによる分解が必要である。
• メカニズム的洞察: 現在のオムニモーダルモデルは、「視覚第一」の計算パターンに苦しんでおり、クロスセンサリな統合は、中間表現における持続的な特徴としてではなく、言語指示によってゲートされた遅延した現象であることを示唆している。
• 実行可能性: 本研究は、ローカル診断スコアがマルチモーダルな融合を強化するための実行可能な信号となり得るという初期の証拠を提供しており、モデル全体の再学習を行うことなく、推論やグラウンディングを改善する経路を提示している。

著者らは、自身のリウェイト手法は概念実証であること、およびPIDは統計的な依存関係を測定するものであり因果メカニズムを測定するものではないことを指摘し、謙虚な姿勢を保っている。また、離散的な決定空間（多肢選択式）や、マスキングによる単一モダル条件付き分布の近似に関する限界も認めている。