Comparing Four Explanation Methods for Melanoma Classification: Fidelity, Utility and Trust

기술 요약: 흑색종 분류를 위한 네 가지 설명 방법 비교

문제 정의
Saliency map과 같은 사후 설명(post-hoc explanation) 방법들은 피부 병변 진단을 위한 딥러닝 분류기를 해석하는 데 널리 사용된다. 그러나 이러한 방법들은 흔-히 시각적 타당성(heatmap이 병변을 강조하는 것처럼 "보이는지" 여부)이라는 단일 기준에 의해서만 평가되는 경우가 많다. 저자들은 이러한 접근 방식이 불충분하다고 주장하는데, 그 이유는 시각적 타당성이 모델의 실제 의사결정 과정을 반영한다는 충실도(faithfulness)를 보장하지 않으며, 임상적 유용성이나 적절한 신뢰도 보정(trust calibration)을 보장하지도 않기 때문이다. 특히 하나의 재현 가능한 프레임워크 내에서 기술적 충실도, 임상적 유용성, 신뢰도 보정이라는 세 가지 뚜렷한 축을 통해 설명 방법을 동시에 평가하는 비교 연구가 부족한 실정이다.

방법론
본 연구는 HAM10000 데이터셋(10,015장의 더모스코피 이미지)으로 학습된 이진 흑색종 분류기를 사용하여 통합 평가 파이프라인을 적용한다.

• 모델 및 데이터: 데이터 누수를 방지하기 위해 병변 수준 분할(7,470개의 고유 병변)을 통해 미세 조정된 EfficientNet-B0 아키텍처를 사용하였다. 모델의 테스트 AUC-ROC는 0.9295를 달성했다.
• 설명 방법: 800장의 테스트 이미지로 구성된 층화된 하위 집합에 네 가지 대표적인 사후 설명 방법을 적용하였다:
  1. Grad-CAM: 그래디언트 기반 방법.
  2. Integrated Gradients (IG): 평균 이미지 베이스라인을 사용하는 그래디언트 기반 방법.
  3. LIME: 슈퍼픽셀을 사용하는 섭동(perturbation) 기반 방법.
  4. Occlusion Sensitivity: 슬라이딩 윈도우를 사용하는 섭동 기반 방법.
• 평가 축:
  1. 기술적 충실도(Technical Fidelity): 다양한 이진화 규칙(고정 임계값 및 질량 기반) 하에서의 IoU(Intersection-over-Union), Pointing Game 정확도, Deletion/Insertion Area Under the Curve (DAUC/IAUC), 그리고 연쇄적 파라미터 무작위화 산티티 체크(Adebayo 등의 방식)를 통해 측정되었다.
  2. 임상적 유용성 대리 지표(Clinical Utility Proxy): 병변 히트율(병변 내부의 질량), 중심점 거리(병변 중심으로부터의 거리), 그리고 아티팩트 귀속(털, 잉크, 또는 자에 대한 집중도)을 통해 측정되었다.
  3. 신뢰도 보정(Trust Calibration): 올바르게 분류된 이미지와 잘못 분류된 이미지 사이의 "충실도 격차(fidelity gap)"를 통해 측정되었다. 저자들은 예측 클래스(True Positives vs. False Positives)별로 분석을 층화하고 모델 확신도 점수와의 상관관계를 확인함으로써 혼란 변수를 통제하였다.

주요 결과
연구 결과, 세 가지 평가 축은 방법론들에 대해 유의미하게 다른 순위를 생성하였으며, 하나의 축만 고려할 경우 종종 상충되는 결론에 도달함을 발견하였다.

• 충실도 및 산티티 체크:
  • LIME과 Occlusion은 국소화 지표(IoU 및 Pointing Game)에서 가장 우수한 성능을 보였으며, IoU 측면에서 통계적으로 구별되지 않았다 ($p=0.465$).
  • Integrated Gradients는 Pointing Game에서 2위를 차지하고 중심점 거리에서도 우수했으나, 산티티 체크를 통과하지 못했다. 이는 7단계의 9가지 무작위화 단계 이후에도 원래의 맵과 약 0.33의 Spearman 순위 상관관계를 유지했음을 나타내며, 이는 해당 방법이 학습된 모델 가중치보다는 입력 구조(예: 에지)에 크게 의존하고 있음을 의미한다.
  • Grad-CAM은 국소화 지표에서 낮은 성능을 보였으나 산티티 체크는 통과했다.
• 유용성:
  • LIME은 가장 높은 병변 히트율(0.4465)을 기록하여, 설명 질량의 가장 많은 부분을 병변 내부에 위치시켰다.
  • Occlusion은 가장 낮은 중심점 거리를 보였으나(병변 중심에 가장 가까움), 히트율은 더 낮았다. 이는 맵이 확산되어 있으나 목표를 잘 겨냥하고 있음을 시사한다.
  • Grad-CAM은 가장 낮은 히트율과 가장 높은 중심점 거리를 보였는데, 이는 7×7 피처 그리드로 인한 거친 특성 때문이다.
• 신뢰도 보정:
  • 비층화된 신뢰도 점수는 모든 방법에서 음수 값을 나타냈는데, 이는 설명이 잘못된 예측에서 "더 충실함"을 시사한다. 이는 혼란 변수로 식별되었다: 오류는 주로 높은 확신도를 가진 허위 양성(False Positives)이었으며, 충실도 지표는 모델 확신도와 강한 상관관계($\rho > 0.90$ for IAUC)를 보였다.
  • 예측 클래스별로 층화했을 때, 오직 Grad-CAM만이 True Positives와 False Positives 사이에서 충실도의 유의미한 양의 차이를 보였다. 그러나 저자들은 이것 역시 부분적으로 확신도 효과를 반영할 수 있다고 언급했다.
• 일치성 및 비용:
  • 방법론 간의 쌍별 일치도는 낮았다 (최대 순위 상관계수 0.22).
  • LIME은 계산 비용이 높았으나(이미지당 6.55초), Grad-CAM은 가장 빨랐다(이미지당 0.021초). Occlusion은 품질과 속도 사이에서 강력한 균형을 제공했다(이미지당 0.24초).

주요 기여

1. 다중 축 프로토콜: 충실도, 유용성, 신뢰도를 동시에 평가하는 완전한 계산 프로토콜을 제시하여, 단일 축 평가의 불충분함을 입증하였다.
2. 발산의 증거: 평가 축들이 방법론 선택을 바꿀 정도로 서로 상충된다는 것을 증명하였다. 구체적으로, 국소화 성능이 좋은 방법(Integrated Gradients)이 근본적인 충실도 테스트에서 실패함을 보여주었다.
3. 메트릭의 취약성: 고정된 이진화 임계값이 순위를 역전시킬 수 있음을 입증하였다 (예: Integrated Gradients는 $\tau=0.5$에서 국소화에 실패하는 것처럼 보였으나, 질량 기반 규칙 하에서는 회복됨).
4. 신뢰도 혼란 변수 식별: 층화되지 않은 신뢰도 보정 측정치가 예측의 정확성보다는 모델의 확신도를 추적한다는 증거를 제시하였다.
5. 실무적 가이드라인: 성능과 함께 계산 비용을 고려한 가중 권고 프레임워크를 제공한다.

의의 및 주장
본 논문은 평가 축 간의 불일치가 실무자가 설명 방법을 선택하는 데 있어 매우 상당한 영향을 미친다고 주장한다. 저자들은 임상 현장에 설명을 배포하기 전, 충실도 게이트(faithfulness gate)를 포함한 다중 축 평가가 표준 관행이 되어야 한다고 주장한다.

구체적으로 저자들은 다음과 같이 결론짓는다:

• Integrated Gradients(평균 이미지 베이스라인 사용 시)는 산티티 체크에서의 실패로 인해 이 아키텍처에 권장되지 않는다.
• Occlusion은 품질과 계산 비용 사이의 균형을 고려할 때 가장 방어적인 기본 방법으로 부상한다.
• LIME은 지연 시간보다 품질을 우선시할 때 적합하다.
• Grad-CAM은 지연 시간이 매우 중요하고 거친 국소화가 허용될 때 적합하다.
• 신뢰도 보정: 히트맵의 명확성은 모델의 정확성이 아니라 확신도를 나타낸다. 맵의 품질을 정확성의 대리 지표로 신뢰하는 것은, 특히 오류가 높은 확신도를 가질 때 자동화 편향(automation bias)을 초래할 수 있다.

본 연구는 단일 방법이 세 가지 축 모두에서 우위를 점하지 못했다는 점을 강조하며, 시각적 타당성이나 단일 메트릭에 의존하는 현재의 관행이 모델에 불충실하거나 임상의에게 오도될 수 있는 방법을 선택하게 할 위험이 있다고 경고한다.