技術要約: GridVQA-X

問題提起

大規模視覚言語モデル（LVLM）の急速な進歩は、信頼性の高いマルチモーダル説明可能AI（MxAI）の評価プロトコルの開発を追い越してしまった。既存のMxAI手法は、決定をクロスモーダルな相互作用に帰属させると主張しているが、現在のベンチマークには、真のクロスモーダル推論（例：空間的構成）と、浅いクロスモーダル・ショートカット（例：Bag-of-Wordsによる属性マッチング）を区別するために必要な**グラウンドトゥルース（正解）**が欠如している。

現在の評価は、特徴分布がノイズに満ちており因果関係が定義されていない自然なデータセット、あるいは視覚的要素と偽相関を持つ可能性のある人間によるアノテーションに依存している。その結果、MxAI手法が真の相乗的な相互作用を捉えているのか、それとも単なる特徴検出器として機能しているモデルに対して推論を幻視しているだけなのかを厳密に評価する手段が不明である。説明手法が、モデルが真の空間推論を用いているのか、それとも統計的なショートカットを利用しているのかを区別できる能力があるかを検証するための、厳格な評価における決定的なギャップが存在する。

手法: GridVQA-X フレームワーク

これに対処するため、著者らは、数学的に保証された説明を生成するために閉鎖世界合成ロジックを利用した診断フレームワーク、GridVQA-Xを導入する。このフレームワークは、4段階のパイプラインで動作する。

1. グラウンドトゥルース・マスクを用いたデータセット生成

著者らは、4つのパラメータ（深さ $D$、質問タイプ $Q$、形式 $F$、密度 $\rho$）によってパラメータ化された2つの合成データセット、$D_{pure}$ と $D_{spur}$ を生成する。

• $D_{pure}$ (Pure): 列挙されたすべてのヒューリスティックなショートカットを系統的に排除する。これは「コンフューザー領域（混乱を招く領域）」に、ターゲット属性には一致するが空間的制約には違反する敵対的ディストラクター（妨害要素）を配置することで、空間的独立性を強制する。これにより、クエリに対する唯一の有効な因果的説明が、ターゲットとアンカーオブジェクトの特定の交差部分であることを数学的に保証する。
• $D_{spur}$ (Spurious): 最も蔓延しているクロスモーダル・ショートカット（ケース1：Bag-of-Wordsによるアライメント）を意図的に保持する。ジェネレーターは、有効な空間領域の外側にターゲットに一致するオブジェクトが存在しないように設計されており、これによりショートカットが完全に予測可能となる（$P(Y_{ans} | \text{Target Attrs}) = 1.0$）。

2. ペア化されたモデル訓練

同一のアーキテクチャ（MDETR）を用いながら、それぞれのデータセットに対して訓練された2つの参照モデル、$M_{pure}$ と $M_{spur}$ を用いる。

• $M_{pure}$: $D_{pure}$ において高い精度を達成するために、堅牢な空間的関係推論を学習する。
• $M_{spur}$: 構造的にクロスモーダル・ショートカットに依存するように強制される。$D_{pure}$ で評価された際、その性能は崩壊し（全体で約49%、マルチホップクエリでは約8%まで低下）、これは同モデルが真の推論ではなく、単一モーダルのショートカットを通じて動作していることを裏付けている。

3. アトリビューション生成

事後的なMxAI手法を両方のモデルに適用する。フレームワークは、説明手法が $M_{pure}$（真の推論）と $M_{spur}$（ショートカットへの依存）に対して、異なる推論経路を生成するかどうかを評価する。

4. 評価指標

既存の指標を適応させ、新たな指標を導入する。

• 関連度質量精度 (Relevance Mass Accuracy: RMA): グラウンドトゥルース・マスクに対して割り当てられた関連度質量と、ディストラクター・マスクに対して割り当てられた関連度質量を測定する。忠実な説明手法は、$M_{pure}$ に対してはディストラクターへの質量をほぼゼロにし、$M_{spur}$ に対しては高い質量を割り当てるべきである。
• 加法的誤謬チェック (Additive Fallacy Check): グローバルな手法において、シナジー・スコア（$S_{score}$）は、クエリの複雑さ（深さ）とともに $M_{pure}$ に対して単調に増加しなければならず、$M_{spur}$ に対しては不変である必要がある。

主な貢献

1. GridVQA-X データセット: 数学的に保証された一意のグラウンドトゥルース・特徴量を提供し、多様な現実世界の相互作用の程度を分離するタクソノミーを備えた $D_{pure}$ および $D_{spur}$ の導入。これらは、既知の偽相関の不在（$D_{pure}$）または存在（$D_{spur}$）を明示的に証明するものである。
2. 参照モデル ($M_{pure}$ および $M_{spur}$): 説明ガイド型のダイナミクスを通じて訓練された2つのモデルの公開。これらの検証可能な推論メカニズム（真の空間推論 vs クロスモーダル・ショートカット）により、期待されるグラウンドトゥルースのアトリビューションに関する曖昧さを排除した説明手法の評価が可能となる。
3. 新しい評価プロトコル: マルチモーダル領域へのMxAI指標の適応、および構成的な複雑性に対するクロスモデル相互作用のスカラーを評価するための Additive Fallacy チェック の導入。

結果と分析

最先端のMxAI手法（DIME, MultiSHAP, MultiViz, EM-AP, InterSHAPを含む）の評価により、重大な失敗が明らかになった。

• モデルの区別不能性: ほとんどのローカルな説明手法は、$M_{pure}$ と $M_{spur}$ の区別に失敗している。
  • MultiViz は「絶対的なモデル盲目」を示し、$M_{pure}$ と $M_{spur}$ の両方に対して統計的に同一の関連度質量精度（RMA）を提示しており、両者の異なる因果経路を認識できていない。
  • DIME は「偶発的な忠実性」に苦しんでいる。その拡散したヒートマップが偶然 $M_{spur}$ の真のターゲットと交差することで、ショートカットを隠蔽してしまっている。
  • MultiSHAP は構造的に偽のモデル（$M_{spur}$）を優先する傾向があり、$M_{faithful}$ よりも $M_{spur}$ に対して高いRMAを提示する。これは、ゲーム理論的な限界値が、絡み合った交差（真の推論）よりも、独立した特徴検出器（ショートカット）とより良く一致するためと考えられる。
• 空間的制約の捕捉不能: ローカルな手法は、しばしば浅い特徴検出に陥る。MultiSHAPは、ターゲット属性に一致するすべてのオブジェクト（敵対的ディストラクターを含む）を強調し、バイナリの空間的制約を適用できていない。
• シナジーの幻視: グローバルな手法は、Additive Fallacy チェックに失敗する。EMAP と InterSHAP は、ショートカット・モデル（$M_{spur}$）に対して高いクロスモーダル・シナジーを幻視し、逆に、忠実なモデル（$M_{pure}$）に対しては複雑さがスケールするにつれて推定される相互作用が減少することを示した。これは、彼らのエスティメータが因果グラフと整合していないことを証明している。

意義と主張

本論文は、現在のMxAI研究における決定的な盲点、すなわち 「最先端の説明手法は、真のクロスモーダル・シナジーを捉えることに根本的に失敗している」 という事実を露呈させている。

著者らは、現在の手法が、偏ったモデルの振る舞いを隠蔽する「解釈可能性のイリュージョン」を作り出していると主張する。数学的に検証可能なグラウンドトゥルースを備えた厳格に制御された環境を提供することで、GridVQA-Xは、曖昧さのない決定的なテストベッドを提供する。本フレームワークは、表面的な妥当性指標から、関係的なクロスモーダル・グラウンディングを検証可能に診断できる説明手法の開発へと、分野をシフトさせることを目的としている。著者らは、説明可能性の問題を解決したと主張しているのではなく、現在の手法がどこで失敗しているかを特定するための、必要な診断ツールを提供したのである。