Rethinking Visual Attribution for Chest X-ray Reasoning in Large Vision Language Models

技術的概要：大規模視覚言語モデルにおける胸部 X 線画像の推論に対する視覚的帰属の再考

問題提起
大規模視覚言語モデル（LVLM）は、放射線レポートの生成や診断支援といった高リスクの医療シナリオにおいて、ますます展開されるようになっている。しかし、臨床的な信頼性を阻害する決定的な障壁は、モデルの出力を入力内の特定の視覚的証拠に忠実に帰属させることができない点にある。勾配ベース、アテンションベース、摂動ベース、プロンプトベースなど、さまざまな視覚的帰属手法が存在するが、医療環境におけるそれらの信頼性は未検証のままである。核心的な課題は、モデル内部の推論に対する客観的な正解（グラウンドトゥルース）の欠如にある。人間の注釈は、しばしば黒箱モデルが実際に意思決定に使用した特定の視覚的手がかりではなく、臨床的な関連性を反映している。その結果、既存の帰属手法は、臨床的に妥当だがモデルの予測とは因果的に無関係な領域を強調したり、逆に真の証拠を完全に見逃したりする可能性がある。

手法
著者らは、厳密な因果評価フレームワークと、新しい帰属手法であるMedFocusという二つのアプローチを提案する。

1. 因果評価フレームワーク（MedGround-Bench）：
   帰属の忠実性を客観的に評価するために、著者らは専門家が注釈をつけた空間領域を含む 3 つの胸部 X 線（CXR）データセット（ImaGenome、VinDR-CXR、PadChest-GR）に由来するMedGround-Benchを構築した。このフレームワークは、専門家が注釈をつけた領域がモデルの予測に対して因果的に責任があることが確認されたサンプルのみを保持する 3 段階の因果フィルタリングプロセスを採用している。

   • 正しさフィルタリング： LVLM がバイナリ VQA 質問（「[属性] の証拠は存在するか？」）を正しく回答したサンプルのみを保持する。
   • 前景の反事実的編集： RadEditモデルを用いて、注釈をつけた領域をインペイントし、対象となる属性を除去する。モデルの回答が反転した場合（例：「はい」から「いいえ」へ）のみサンプルを保持し、その領域の因果的必要性を確認する。
   • 背景の反事実的編集： 注釈をつけた領域の外側である背景を編集する。モデルの回答が変化しない場合のみサンプルを保持し、前景ステップでの回答変化が画像全体の感度によるアーティファクトではないことを保証する。
     このプロセスにより、6 つの LVLM（Qwen2.5-VL、Gemma3、MedGemma などを含む）と 2 つの出力モード（直接回答と段階的推論）にわたる 3,940 件のキュレーションされたサンプルセットが生成される。

2. MedFocus 帰属手法：
   既存手法の失敗に対処するため、著者らは概念ベースの因果帰属手法であるMedFocusを提案する。ピクセルレベルのサリエンシー手法とは異なり、MedFocus は左肺や心影など、臨床的に意味のある解剖学的概念で動作する。

   • 概念セグメンテーション： 既知の注釈を持つ参照正常 CXR を対象画像にマッピングし、病的な塊のばらつきに対応するために、Unbalanced Optimal Transport (UOT) を用いて解剖学的領域を局所化する。これらの初期マスクは、きれいな境界を得るためにMedSAMを用いて精緻化される。
   • 因果介入： 各概念について、MedFocus はピクセルマスクではなく概念のバウンディングボックスをゼロ・マスクすることで反事実を生成し、元の出力シーケンスのトークンレベルの対数確率の累積的な低下を測定する。
   • 出力： 空間的帰属（バウンディングボックス）、概念レベルの説明（解剖学的名称）、および介入によって最も影響を受ける推論トークンを特定するトークンレベルの帰属を生成する。

主要な結果

• 既存手法の失敗： MedGround-Bench での評価により、GradCAM、Integrated Gradients、Attention Rollout、プロンプトベースのアプローチを含む 11 の既存の帰属手法は、LVLM の予測を駆動する視覚的証拠を忠実に特定することに一貫して失敗することが明らかになった。モデルのアーキテクチャや出力モードに関わらず、これらはしばしば精度の低い拡散的なマップ、または真の証拠を見逃す焦点の絞られたマップを生成する。
• MedFocus の性能： MedFocus は、すべてのデータセットとモデルにおいてすべてのベースラインを大幅に上回る性能を発揮する。直接回答モードにおいて、ImaGenome 上で IoU 54.24% を達成し、次点の手法（Gradient-weighted Attention、39.24%）を大きく引き離した。また、他の手法が顕著な劣化を示す推論モードにおいても、堅牢な性能を維持している。
• モデルの挙動に関する知見： 医学的に訓練されたモデル（MedGemma）は、一般モデルに比べて帰属の忠実度が高く、失敗率が低いことが判明した。さらに、段階的推論を生成するモデルは、直接回答を提供するモデルに比べて、解剖学的に意味のある証拠とより一貫して関与する傾向がある。
• アブレーション研究： 2 段階のセグメンテーションパイプライン（UOT + MedSAM）と、介入のためのバウンディングボックス・ゼロ・マスクの使用は、エンドツーエンドのセグメンテーションやピクセルレベルのマスクを上回る重要な設計選択であることが特定された。

意義と主張
本論文は、モデルが実際に使用する視覚的証拠と整合しないことが頻繁にあるため、現在の帰属手法は医療 LVLM の信頼性を確保するには不十分であると主張している。因果的に検証されたベンチマークと概念ベースの帰属手法を導入することで、著者らは以下の点を提供する。

1. ギャップの証拠： モデルが正しく回答している場合でも、既存の手法は医療 LVLM の予測を視覚的証拠に確実に関連付けることができないことを示す実証。
2. 解決策： 解釈可能な解剖学的概念に基づいて説明を根ざすことで、低レベルの視覚的証拠と高レベルの臨床的理解を橋渡しする MedFocus。より忠実で臨床的に解釈可能な空間的、概念レベル、およびトークンレベルの帰属を提供する。
3. リソース： 将来の医療 AI 研究における帰属手法の厳密で因果的に根ざした評価を支援するための MedGround-Bench の公開。

著者らは、この研究をより信頼性の高い医療 LVLM への一歩として位置づけ、信頼できる帰属が臨床医の信頼、エラー検出、患者の安全に不可欠であることを強調している。同時に、データの入手可能性の制約により、現在のフレームワークは CXR に特化していることを認めている。