技術要約：マルチモーダルLLMのための反事実的モダリティ属性付け（Counterfactual Modality Attribution）

問題提起

マルチモーダル大規模言語モデル（MLLM）は、画像とテキストから補完的な情報を統合する臨床意思決定支援などの高リスクな領域で、ますます導入が進んでいます。既存の説明可能性手法（例：サリエンシーマップ、アテンション重み）は、個別のモダリティ内における影響力のある「特徴量」（例：特定の画像領域やテキストトークン）を特定することには成功していますが、**「実際にどのモダリティが予測を駆動しているのか？」**という根本的な問いには答えることができません。

現在の手法は単一のチャネル内で局所的に動作しており、モダリティ全体の相対的な寄与度やその相互作用を定量化することはできません。その結果、モデルは一方のモダリティからの「ショートカット」に依存して正しい出力を生成し、もう一方の重要な証拠を無視してしまう可能性があります（例：肺炎のX線写真から正しく診断を下しているが、ペニシリンアレルギーに関するテキストの記述を無視している場合）。このような隠れたモダリティへの依存は、標準的な予測精度指標では可視化できない、不安全な推論パターンを覆い隠してしまいます。本論文は、**モダリティ属性付け（Modality Attribution）**は、特徴量属性付けとは異なる、かつ補完的な説明可能性の目的であり、マルチモーダル基盤モデルを監査するために必要であると主張しています。

手法：反事実的モダリティ属性付け（CMA）

著者らは、結合された拡散事前分布（Coupled Diffusion Priors）と協力ゲーム理論を組み合わせることで、モダリティレベルの寄与を定量化する、モデルに依存しないフレームワークである**反事実的モダリティ属性付け（CMA）**を提案しています。このフレームワークは3つのステージで動作します。

1. 結合拡散および誘導型反事実生成

単一のモダリティに介入する従来の反事実手法とは異なり、CMAは統一された最適化フレームワーク内で、同期された画像のみ、テキストのみ、および共同マルチモーダル反事実を生成します。

• 事前分布（Priors）: この手法は、画像用のデノイジング拡散確率モデル（DDPM）とテキスト用のリーマン拡散言語モデル（RDLM）という、独立して事前学習された拡散モデルを利用します。
• 同期（Synchronization）: 逆拡散プロセスにおいて、画像モデルとテキストモデルは同じタイムステップで同期されます。これらは、Carlini–Wagnerマージン損失（$L_{CW}$）を最小化するように、学習済みMLLM分類器からの勾配によって共同で誘導されます。これにより、反事実が現実的（データ多様体上に存在）であり、かつ予測を反転させるための最小限の介入を表現することを保証します。
• モード:
  • 画像のみのCF（Image-only CF）: テキストは固定され、予測を反転させるように画像が最適化されます。
  • テキストのみのCF（Text-only CF）: 画像は固定され、予測を反転させるようにテキストが最適化されます。
  • 共同CF（Joint CF）: 両方のモダリティが同時に最適化され、クロスモーダルな依存関係を捉えます。

2. コリション値の定義

生成された反事実は、**画像（$I$）とテキスト（$T$）**のモダリティがプレイヤーとして振る舞う、2プレイヤー協力ゲームを定義します。集合 $S \subseteq \{I, T\}$ に対する値関数 $v(S)$ は、集合 $S$ に含まれるモダリティが変更されず、集合に含まれないモダリティがそれに対応する反事実（Counterfactual）に置き換えられた際の、元の予測クラス $\hat{y}$ に対するロジットスコアとして定義されます。
必要な4つのコリション値は以下の通りです：

• $v(\{I, T\})$: 元のサンプル $(x_I, x_T)$。
• $v(\{I\})$: 元の画像、反事実テキスト $(x_I, x'_T)$。
• $v(\{T\})$: 反事実画像、元のテキスト $(x'_I, x_T)$。
• $v(\emptyset)$: 両方の反事実 $(x'_I, x'_T)$。

3. シャプレー値による属性付け

フレームワークは、各モダリティの限界的な寄与を定量化するためにシャプレー値（Shapley values）（$\theta_I, \theta_T$）を計算します。2プレイヤーゲームの場合、これらは以下の閉形式解を持ちます：
$$\theta_I = \frac{1}{2} [v(\{I\}) - v(\emptyset) + v(\{I, T\}) - v(\{T\})]$$
$$\theta_T = \frac{1}{2} [v(\{T\}) - v(\emptyset) + v(\{I, T\}) - v(\{I\})]$$
最終的な属性付けスコアは、どちらのモダリティが主に決定を駆動しているかを示すために、パーセンテージ（Image% および Text%）に正規化されます。

主な貢献

1. 補完的な説明可能性の目的: 本論文は、モダリティ属性付けを、特徴量属性付けを補完するために不可欠なものとして定式化し、「どの」モダリティが決定を駆動しているのかという理解のギャップに対処しています。
2. 新しい反事実フレームワーク: CMAは、結合拡散事前分布を用いて、学習済みMLLMのための同期された、現実的な画像のみ、テキストのみ、および共同の反事実を生成する初のフレームワークです。
3. 原理に基づいた属性付けの定式化: シャプレー値を用いたゲーム理論的アプローチを導入し、マルチモーダルな反事実を、個々の寄与と非線形なクロスモーダル相互作用を定量化する解釈可能なスコアへと変換します。
4. 広範な検証: 制御された合成ベンチマークおよび実世界の臨床データセットにおいて、手法を検証し、決定を駆動するモダリティを特定する上で既存のベースラインよりも優れた性能を示すことを実証しました。

実験結果

著者らは、CMAを2つのベンチマークで評価しました：

1. 合成マルチモーダルMNIST: 正解となるモダリティ依存関係（画像バイアス、テキストバイアス、およびバランス型）を持つ制御されたベンチマーク。
2. マルチクラスOpenI: 胸部X線写真と放射線科レポートがペアになった実世界のデータセット。

パフォーマンス:

• 精度: 合成MNISTベンチマークにおいて、CMAは制御されたケースの**98%**で正解の決定駆動モダリティを正しく特定しました。
• ベースラインとの比較: CMAは、Input $\times$ Gradient、Perturbation SHAP、EAGLE、MM-SHAP、MultiVizを含むベースラインを大幅に上回りました。特に、MM-SHAPとMultiVizは、画像バイアスのあるサンプルに対してそれぞれ0%および3%の精度しか達成できず、既知のモデルバイアスを回収できませんでした。
• 定性的知見: OpenIデータセットにおいて、CMAは「結節（Nodule）」と予測しているモデルが、臨床的な証拠ではなく、ECGリード（画像内に見える）との偽相関に依存していることを明らかにしました。テキストのみの反事実では、画像側のショートカットが残っているため、予測を反転させることができませんでした。これは、共同反事実分析の必要性を示しています。
• アブレーション研究: 段階的な破損実験により、CMAの属性付けスコアが利用可能な証拠に対して連続的に適応することが示されました。一方のモダリティが破損されるにつれ、その属性付けは0%に低下し、完全に健全な方のモダリティへとシフトします。これは、精度指標が見逃してしまう「単一モダリティへの崩壊（unimodal collapse）」を明らかにしています。

意義と主張

本論文は、モダリティ属性付けが、マルチモーダルAIの説明可能性における、これまで未着手であった重要な次元であると主張しています。特徴量レベルの説明を超えて、CMAは、モデルが補完的な証拠に依存しているのか、あるいは不安全なショートカットに依存しているのかを監査するための原理的なフレームワークを提供します。

著者らは、CMAが以下を可能にすると断言しています：

• 隠れた失敗の検出: 正しい予測が、誤ったモダリティ（例：テキスト内のアレルギー警告を無視している場合）に基づいているケースを特定すること。
• クロスモーダル推論の監査: 独立した単一モダリティの介入では捉えられない、モダリティ間の非加法的な相互作用を定量化すること。
• 信頼できる展開: 高リスクな決定（医療など）が、適切な証拠源の組み合わせによって駆動されていることを検証するメカニズムを提供すること。

本研究は、CMAが現在はモダリティレベルで動作し、拡散生成による計算コストが発生するものの、安全性に敏感なアプリケーションにおけるマルチモーダル基盤モデルを体系的に監査するための基礎的なアプローチを確立するものであると結論付けています。