Comparing Four Explanation Methods for Melanoma Classification: Fidelity, Utility and Trust

技術要約：メラノーマ分類における4つの説明手法の比較

問題提起
サリエンシーマップのような事後的な説明手法（post-hoc explanation methods）は、皮膚病変診断のためのディープラーニング分類器を解釈するために広く用いられている。しかし、これらの手法は、視覚的な妥当性（ヒートマップが病変を強調しているように「見える」かどうか）という単一の基準で評価されることが多く、これは不十分である。なぜなら、視覚的な妥当性は、その説明がモデルの実際の意思決定プロセスを反映していること（忠実性：faithfulness）を保証するものではなく、また、臨床的な有用性や適切な信頼校正（trust calibration）を保証するものでもないからである。単一の再現可能なフレームワーク内で、技術的忠実性、臨床的有用性、および信頼校正という3つの異なる軸を同時に評価する比較研究は不足している。

手法
本研究では、HAM10000データセット（10,015枚のダーモスコピー画像）を用いて訓練されたバイナリ・メラノーマ分類器を用いた、統一された評価パイプラインを採用している。

• モデルとデータ: データ漏洩を防ぐため、病変レベルの分割（7,470個の異なる病変）を用いてEfficientNet-B0アーキテクチャを微調整した。モデルはテストAUC-ROC 0.9295を達成した。
• 説明手法: 800枚のテスト画像の層化サブセットに対して、以下の4つの代表的な事後的手法を適用した：
  1. Grad-CAM: 勾配ベースの手法。
  2. Integrated Gradients (IG): 平均画像ベースラインを用いた勾配ベースの手法。
  3. LIME: スーパーピクセルを用いた摂動ベースの手法。
  4. Occlusion Sensitivity: スライディングウィンドウを用いた摂動ベースの手法。
• 評価軸:
  1. 技術的忠実性: 複数の二値化ルール（固定閾値および質量ベース）の下でのIntersection-over-Union (IoU)、Pointing Gameの精度、およびDeletion/Insertion Area Under the Curve (DAUC/IAUC)、ならびに連鎖的なパラメータ無作為化サニティチェック（Adebayoらによる）を用いて測定。
  2. 臨床的有用性のプロキシ: 病変内のヒット率（病変内部の質量）、重心距離（病変中心からの距離）、およびアーチファクト帰属（毛髪、インク、または定規への集中）によって測定。
  3. 信頼校正: 正しく分類された画像と誤って分類された画像間の「忠実度ギャップ」を測定。著者らは、予測クラス（真陽性 vs 偽陽性）による層化分析を行い、モデルの信頼度スコアとの相関を確認することで、交絡因子を制御した。

主な結果
本研究により、3つの評価軸は手法のランキングにおいて著しく異なる結果をもたらし、単一の軸のみを考慮した場合、しばしば矛盾した結論を導くことが明らかになった。

• 忠実性とサニティチェック:
  • LIMEとOcclusionは、局在化指標（IoUおよびPointing Game）において最も優れた性能を示し、IoUにおいて統計的に区別がつかなかった（$p=0.465$）。
  • Integrated Gradientsは、Pointing Gameと重心距離において第2位となったが、サニティチェックに失敗した。7段階の9つのランダム化ステージを経た後でも元のマップとのスペアマン順位相関係数が約0.33を維持しており、これは当該手法が訓練されたモデルの重みではなく、入力構造（例：エッジ）に大きく依存していることを示している。
  • Grad-CAMは、局在化指標において低い性能を示したが、サニティチェックには合格した。
• 有用性:
  • LIMEは最も高い病変ヒット率（0.4465）を達成し、最も多くの説明質量を病変内に配置した。
  • Occlusionは最も低い重心距離（病変の中心に最も近い）を示したが、ヒット率は低く、拡散しているが目的を絞ったマップであることを示唆した。
  • Grad-CAMは、最も低いヒット率と最も高い重心距離を示した。これは、その粗い7×7の機能グリッドに起因する。
• 信頼校正:
  • 非層化された信頼スコアはすべての手法で負の値を示し、説明が誤った予測に対して「より忠実」であることを示唆した。これは、エラーが主に高信頼度の予測（偽陽性）であったことに起因する交絡因子として特定された。つまり、エラーはIAUCにおいてモデルの信頼度と強く相関していた（$\rho > 0.90$）。
  • 予測クラスによって層化した場合、Grad-CAMのみが真陽性と偽陽性の間で有意な忠実度の差を示した。しかし、著者らはこれが依然として信頼度の影響を部分的に反映している可能性があると指摘している。
• 一致性とコスト:
  • 手法間のペアワイズの一致度は低かった（最大ランク相関係数 0.22）。
  • LIMEは計算コストが高かった（6.55秒/画像）一方、Grad-CAMが最も高速であった（0.021秒/画像）。Occlusionは、品質と速度の優れたバランスを提供した（0.24秒/画像）。

主な貢献

1. マルチ軸プロトコル: 忠実性、有用性、および信頼性を同時に評価する完全な計算プロトコルを提示し、単一軸の評価では不十分であることを示した。
2. 乖離の証明: 評価軸が手法の選択を変えるほど一致しないことを証明した。具体的には、局在化において優れた性能を示す手法（Integrated Gradients）が、基本的な忠実性テストに失敗するという事実である。
3. メトリックの脆弱性: 固定の二値化閾値がランキングを逆転させ得ることを示した（例：Integrated Gradientsは$\tau=0.5$では局在化に失敗しているように見えたが、質量ベースのルール下では回復した）。
4. 信頼校正の交絡因子の特定: 非層化された信頼校正の測定値は、予測クラスによって層化されない限り、正しさではなくモデルの信頼度を追跡することを示す証拠。
5. 実践的なガイダンス: パフォーマンスとともに計算コストを考慮した、重み付けされた推奨フレームワーク。

意義と主張
本論文は、評価軸間の不一致は、実務者が説明手法を選択する際に変更を迫るほど重大であると主張している。著者は、説明を臨床現場に導入する前に、忠実性のゲート（faithfulness gate）を備えたマルチ軸評価を標準的な慣行とすべきであると論じている。

具体的に、著者らは以下のように結論付けている：

• Integrated Gradients（平均画像ベースライン）は、サニティチェックにおける失敗のため、このアーキテクチャには推奨されない。
• Occlusionは、品質と計算コストのバランスを考慮した際、最も防御可能なデフォルトとして浮上する。
• LIMEは、レイテンシよりも品質を優先する場合に適している。
• Grad-CAMは、レイテンシが極めて重要であり、粗い局在化が許容される場合に適している。
• 信頼校正: ヒートマップの明瞭さは、正しさではなくモデルの信頼度を示している。マップの品質を正しさのプロキシとして信頼することは、特にエラーが高信頼度の偽陽性である場合に、オートメーション・バイアス（自動化バイアス）を招く恐れがある。

本研究は、単一の手法がすべての軸でトップになることはなく、現在の視覚的な妥当性や単一の指標に依存する慣行は、モデルに対して不誠実であるか、あるいは臨床医を誤導する手法を選択するリスクがあることを強調している。