論文「Measuring the (Un)Faithfulness of Concept-Based Explanations」の技術的サマリー

この論文は、深層学習モデルの解釈可能性を高めるための「概念ベースの説明手法（CBEMs）」、特に教師なしの手法（U-CBEMs）が、モデルの内部計算をどの程度忠実に反映しているか（Faithfulness）を評価する際の問題点を指摘し、新しい評価基準「SURF（Surrogate Faithfulness）」を提案する研究です。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

1. 問題定義 (Problem)

深層学習モデル（特にビジョンモデル）は高性能ですが、その内部計算はブラックボックス化しており、解釈が困難です。これを解決するため、人間が理解できる「概念（エッジ、色、物体の一部など）」を用いてモデルの予測を説明する**概念ベースの説明手法（CBEMs）**が開発されています。

しかし、CBEMs の品質を評価する際、以下の重要な課題が存在していました。

• 忠実性（Faithfulness）と解釈可能性のトレードオフ: 説明はモデルの計算を単純化するため、必ず情報損失が発生します。この損失を定量化するために「代理モデル（Surrogate）」が必要ですが、既存の手法ではこの評価が不十分でした。
• 既存の評価手法の限界:
  1. 複雑すぎる代理モデル: 既存の U-CBEMs は、高い忠実性スコアを報告するために、複雑で非線形な代理モデル（例：多層パーセプトロンによる埋め込みの再構成）を使用しています。これにより、人間が説明を理解するための認知的負荷が増大し、解釈可能性の利点が損なわれています。
  2. 削除ベースのプロキシの欠陥: 重要な概念を削除してモデルの性能低下を測る手法（Deletion-based proxies）が広く使われていますが、これらは「データ多様体（Manifold）から外れた入力」を生成したり、概念の削除方法が不明確だったりするため、忠実性を正しく測定できないことが示唆されています。
  3. 評価基準の不一致: 各手法が独自の評価指標を使用しており、手法間の公平な比較や、説明のランダム化に対する感度（Sanity Check）がなされていませんでした。

その結果、現在の SOTA（State-of-the-Art）である U-CBEMs が「忠実である」という認識は、評価手法の欠陥による誤解である可能性が高いと著者は主張しています。

2. 提案手法：SURF (Methodology)

著者は、既存の手法の欠点を克服し、以下の要件（Desiderata）を満たす新しい評価基準 SURF (Surrogate Faithfulness) を提案しました。

SURF の要件:

1. 単純さ: 代理モデルは単純であるべき（人間が説明から予測を導き出す際のコストを反映）。
2. 完全性: 説明のすべての構成要素（概念ベクトル $V$ と概念の重要度 $A$）を代理モデルに含めるべき。
3. 全出力への評価: 予測クラスだけでなく、すべての出力クラス（分布全体）の誤差を評価すべき。

SURF の具体的な構成:

• 単純な線形代理モデル:
  既存の手法が「埋め込みの再構成」を行っていたのに対し、SURF はモデルの最終的な線形層（Linear Layer）の構造をそのまま利用します。
  具体的には、概念表現 $P(h)$ と概念重要度 $A$ を用いて、クラスごとのロジット（Logit）を以下のように線形結合で予測します。
  $$\hat{y}_i = \sum_{j} \sum_{k} \alpha_{i,k} P(h_j; V_i)_k$$
  ここで、$\alpha$ は学習された方向のノルム（重要度）であり、追加の学習パラメータは不要です。これにより、解釈可能性を損なわずにモデルの計算を直接近似します。

• 新しい評価指標:
  予測ロジットと真のロジットの差を、以下の 2 つの指標で測定します。

  1. SURFMAE: ロジット空間における平均絶対誤差（Mean Absolute Error）。
  2. SURFEMD: 確率空間（Softmax 後）における地球移動距離（Earth Mover's Distance）。
     これにより、予測クラスだけでなく、確率分布全体の忠実性を包括的に評価できます。

3. 主要な貢献 (Key Contributions)

1. 評価枠組みの統一: 既存の U-CBEMs の忠実性評価手法を整理し、その限界（複雑な代理モデル、削除ベース手法の欠陥など）を体系的に指摘しました。
2. SURF の提案と検証: 上記の要件を満たす SURF を提案し、「説明をランダム化した場合、忠実性スコアが低下すべき」という基本的な健全性チェック（Sanity Check）を唯一通過する評価手法であることを実証しました。
3. 包括的なベンチマーク: 多様なタスク（物体分類、属性予測、年齢推定）とモデルアーキテクチャ（ResNet, MobileNet, ViT など）において、既存の SOTA U-CBEMs を評価しました。その結果、多くの手法が「忠実ではない」ことが判明しました。
4. 概念数の最適化: SURF を用いて、説明に使用する概念の数と忠実性のトレードオフを分析し、既存の手法が任意に設定していたハイパーパラメータ（概念数）をデータ駆動で決定する基準を提供しました。

4. 実験結果 (Results)

• 健全性チェック（Measure-over-Measure）:

  • Perfect 設定（理想的な説明）: SURF は完全な忠実性を示しました。
  • Rand Imp 設定（概念重要度をランダム化）: 既存手法（ICE-Eval, C-SHAP-Eval）は重要度を無視しているため、スコアが変化しませんでした。一方、SURF は忠実性の低下を正しく検知しました。
  • Full Rand 設定（概念ベクトルもランダム化）: 既存手法の一部は、ランダム化してもスコアが向上したり、不自然な結果を示したりしました。SURF は一貫して低いスコア（低い忠実性）を報告しました。

• U-CBEMs のベンチマーク:

  • 7 つの既存手法（CDISCO, ICE, CRAFT, C-SHAP, MCD, HU-MCD, SAE）を評価した結果、SAE（Sparse Autoencoder）を除き、ほとんどの手法はモデルの最終出力層を忠実に説明できていませんでした。
  • 特に、クラス固有の概念ベクトル（CAV）を使用する手法は、異なるクラスの画像を再構成する際に分布外（Out-of-Distribution）の問題が発生し、大きな誤差を生んでいました。
  • MCD や HU-MCD は部分空間を使用することで多少の改善が見られましたが、それでも完全な忠実性には達していませんでした。

• 概念数と忠実性のトレードオフ:

  • 概念数を増やしても、CDISCO や CRAFT などの手法は忠実性が向上しない、あるいは悪化するケースがありました。
  • MCD と HU-MCD は概念数が増えるにつれて忠実性が向上し、ある点で飽和（Plateau）することが確認されました。これにより、最適な概念数を選択する根拠が得られました。

5. 意義と結論 (Significance)

この論文は、概念ベースの説明手法の分野において、「忠実性」の評価基準を根本から見直す必要性を訴えています。

• 既存の認識の是正: 以前は「視覚的に魅力的で複雑な代理モデルを使う手法」が忠実であると信じられていましたが、実際にはモデルの計算を正しく反映していない可能性が高いことが示されました。
• 標準化の提唱: 今後の研究において、SURF を標準的な忠実性評価指標として採用し、解釈可能性の主張と併せて SURF スコアを報告するよう促しています。
• 実用的な指針: 概念の数を増やすことが常に良いとは限らず、手法によって最適な概念数が異なることを示し、実装におけるハイパーパラメータ設定の指針を提供しました。

結論として、SURF はシンプルで原理に基づいた評価手法であり、U-CBEMs が本当にモデルを説明できているかを判断するための信頼できるベンチマークを提供します。今後の研究では、中間層の解釈などへの SURF の拡張が期待されています。