ConceptSMILE: Auditing the Trustworthiness of Concept-Based Explainable AI

技術要約：ConceptSMILE – 概念ベースの説明可能なAIにおける信頼性の監査

問題提起
概念ベースの説明可能なAI（C-XAI）は、モデルの推論を高レベルの概念（例：臨床的なバイオマーカー、物体、あるいは意味的な属性）を通じて表現することで、人間にとって理解しやすいものにすることを目指している。しかし、そのような概念が存在することは、必ずしも説明の信頼性を保証するものではない。モデルは、一見すると妥当に見える概念レベルの出力を生成しながらも、実際には偽相関、不安定な特徴量、ラベルリーケージ、あるいは非因果的なショートカットに依存している可能性がある。医療画像のような高リスクな領域において、概念による説明は人間にとって読みやすくても、モデルの実際の挙動に対して忠実ではない場合がある。既存の評価手法は、制御された摂動下において、概念ベースの説明が正確性、忠実性、安定性、および一貫性を維持しているかどうかを独立して監査するための統一されたフレームワークを欠いていることが多い。

手法：ConceptSMILE フレームワーク
本論文では、概念ベースの説明の信頼性を評価するために設計された、モデルに依存しない摂動ベースの監査フレームワークである ConceptSMILE（Concept-level Statistical Model-agnostic Interpretability with Local Explanations）を導入する。ConceptSMILEは、既存の説明手法を置き換えるのではなく、特徴量や領域レベルの属性付けから、人間が理解可能な概念の説明の監査へと、SMILE（Statistical Model-agnostic Interpretability with Local Explanations）の摂動ベースのロジックを拡張したものである。

本フレームワークは、以下のパイプラインを通じて動作する：

1. 概念抽出（Concept Extraction）： ターゲットとなるモデルまたは説明経路から、概念レベルの出力を抽出する。本研究では、2つの異なる経路を監査した：
   • MedSAMベースの視覚的経路： Medical Segment Anything Modelを使用して、セグメンテーションに導かれた視覚的概念（病変、血管、視神経乳頭）を生成する。
   • VLMベースの意味的経路： 構造化されたプロンプトを用いた視覚言語モデル（Qwen2.5-VL）を使用して、同一の網膜概念に対する意味的な概念応答を生成する。
2. 制御された摂動（Controlled Perturbation）： 入力画像をスーパーピクセルに分割する。特定のスーパーピクセル領域をマスク（黒色に設定）することで、制御された摂動を生成し、局所的な近傍の摂動サンプルを作成する。
3. 応答変化の測定（Response Shift Measurement）： 元の入力と摂動を加えた入力との間での概念応答の変化（$\Delta y$）を測定する。
4. 局所性の重み付け（Locality Weighting）： 埋め込み空間（DINOv2を使用）における元の入力からの距離（コサイン類似度またはワッサースタイン距離）に基づき、摂動サンプルに局所性の重みを割り当てる。より近い摂幅には高い重みが与えられる。
5. サロゲートモデリング（Surrogate Modeling）： 摂動パターンと概念応答の変化との関係を近似するために、局所的な XGBoost サロゲートモデルを適合させる。このサロゲートモデルは、入力の修正と概念の確信度の間の非線形な関係を捉える。
6. 多次元的な信頼性評価（Multi-Dimensional Reliability Evaluation）： フレームワークは、以下の5つの次元で信頼性を評価する：
   • 属性の正確性（Attribution Accuracy）： 特定された重要な領域が、臨床的に意味のある証拠と一致しているか（ACC、F1、AUROCにより測定）。
   • 忠実性（Fidelity）： サロゲートモデルが観測された概念応答の変化をどの程度近似できているか（WMSE、WMAE、$R^2$、$R^2_w$により測定）。
   • 忠実性/誠実性（Faithfulness）： 概念に関連する領域を摂動させた際に、概念の応答が有意に変化するか（ピアソンの相関係数により測定）。
   • 安定性（Stability）： 非臨床的なアーティファクト（日付やロゴの追加など）に対する堅牢性（Jaccard指数による重複により測定）。
   • 一貫性（Consistency）： 同一の設定下での繰り返し実行における再現性（分散および標準偏差により測定）。

主な貢献

• 概念レベルの監査： 概念ベースの説明の信頼性を監査するために特別に設計された、摂動ベースのフレームワークとしてのConceptSMILEの導入。これは、単なる視覚的な妥当性を超え、測定可能な信頼性へと踏み込むものである。
• SMILEの拡張： スーパーピクセルレベルの属性付けから、制御された摂動、局所性の重み付け、およびサロゲートモデリングを用いた概念レベルの信頼性テストへと、SMILEのロジックを再定式化した。
• モデルに依存しない検証： 2つの異なる概念抽出経路（MedSAMおよびVLM）を用いて、網膜眼底画像上で本フレームワークを検証し、視覚的概念と意味的概念の信頼性の比較分析を行った。

実験結果
フレームワークは、3つの概念（病変、血管、視神経乳頭）に焦点を当て、4つの公開データセット（HRF, APTOS, ODIR, IDRiD）の網膜眼底画像を用いて評価された。

• サロゲートの忠実性（Surrogate Fidelity）： MedSAM経路は、VLM経路と比較して、有意に強いサロゲート忠実性（Wasserstein重み付きXGBoostにおいて $R^2 = 0.8503$, $R^2_w = 0.8465$）を達成した。これは、セグメンテーションに導かれた視覚的概念の方が、スーパーピクセル摂動下において局所的に予測可能な応答を提供することを示唆している。
• 属性の正確性（Attribution Accuracy）： MedSAMは、血管や視神経乳頭のような明確な構造に対して、より強力な空間的属性の正確性を示した。VLMベースの意味的説明は、より変動が大きく、空間的な精度に劣っていた。
• 忠実性/誠実性（Faithfulness）： VLM経路は、すべてのデータセットにおいて血管概念に対してより強く統計的に有意な忠実性（$r \approx 0.58-0.71$）を示したが、MedSAMはいくつかのデータセットにおいて病変概念に対してより強い忠実性を示した。これは、信頼性が経路ではなく概念に依存していることを示している。
• 安定性（Stability）： 安定性は概念とアーティファクトの種類によって異なった。MedSAMの視神経乳頭の説明は、日付追加アーティファクトに対して非常に高い安定性を示した（$J_D \approx 0.96-0.98$）。一方で、VLMの病変説明は、日付およびロゴの両方のアーティファクトに対して高い安定性を示した。
• 一貫性（Consistency）： 再現性は経路間で一様ではなかった。MedSAMの視神経乳頭の説明はHRFおよびODIRにおいて非常に高い一貫性を示したが、VLMの病変説明はODIRおよびIDRiDにおいて最も高い一貫性を示した。
• 堅牢性（Robustness）： 取得時のアーティファクト（コントラストの変化や模擬的な瞬目による遮蔽）の下では、血管および病変の説明は一般に正のサロゲート忠実性を維持したが、視神経乳頭の説明は高い変動性を示し、時として負のテスト $R^2$ 値を示した。

意義と主張
本論文は、ConceptSMILEが概念ベースのXAIの信頼性を評価するための独立した監査レイヤーを提供すると主張している。その主な意義は、以下のことを実証した点にある：

1. 解釈可能性 $\neq$ 信頼性： 人間に理解可能な概念が、本質的に信頼できるとは限らない。それらは正確性、忠実性、安定性、および一貫性の観点から監査される必要がある。
2. 信頼性は文脈依存的である： 単一の経路や概念が普遍的に優れているということはない。MedSAMは構造化された解剖学的構造に対して空間的属性とサロゲート忠実性に優れ、VLMは特定の意味的概念（血管など）に対して強い忠実性と、特定のアーティファクトに対する安定性を示すことができる。
3. 監査の必要性： 高リスクな環境において、概念ベースの説明は「テスト可能な主張」として扱うべきである。ConceptSMILEは、重要な意思決定において信頼される前に、脆弱で根拠が乏しい、あるいは一貫性のない説明を特定するためのプロトコルを提供する。

著者らは、ConceptSMILEが臨床的な認証や因果関係の証明を提供するものではなく、研究者や臨床医が「見かけ上の解釈可能性」と「根拠に基づいた信頼性」を区別するための定量的な監査証拠を提供するものであると明言している。