TTE-CAM: Built-in Class Activation Maps for Test-Time Explainability in Pretrained Black-Box CNNs

논문 요약: TTE-CAM (테스트 타임 설명 가능성을 위한 내장형 클래스 활성화 맵)

1. 문제 정의 (Problem)

• 배경: 합성곱 신경망 (CNN) 은 의료 영상 분석을 포함한 다양한 분야에서 최첨단 성능을 보이지만, 그 의사결정 과정이 불투명 (Black-box) 하여 고위험 임상 환경에서의 도입을 제한합니다.
• 기존 방법의 한계:
  • 사후 (Post-hoc) 해석 방법: 모델의 출력을 기반으로 설명을 생성하지만, 설명 자체가 예측을 직접 주도하지 않으므로 본질적으로 '부정확 (unfaithful)'할 수 있습니다.
  • 본질적으로 해석 가능한 (Inherently interpretable) 아키텍처: 예측이 설명에서 직접 계산되므로 '정확 (faithful)'하지만, 복잡한 학습 과정이 필요하거나 예측 성능이 희생되는 경우가 많습니다.
• 핵심 과제: 재학습 (Retraining) 이나 정확도 저하 없이, 고성능 블랙박스 CNN 을 자체적으로 설명 가능한 (Self-explainable) 모델로 변환하는 것은 여전히 해결되지 않은 과제로 남아 있습니다.

2. 방법론 (Methodology)

저자들은 TTE-CAM이라는 새로운 프레임워크를 제안하여 사전 학습된 블랙박스 CNN 을 변환합니다.

• 아키텍처 개조 (Architectural Reformulation):
  • 기존 CNN 의 분류 헤드를 수정합니다.
  • **전체 연결층 (Fully Connected Layer, FCL)**을 제거하고, 1x1 합성곱 레이어로 교체합니다.
  • 초기화 전략: 기존에 사전 학습된 분류 가중치 (Weights) 를 그대로 1x1 합성곱 필터로 직접 전달합니다. (FCL 은 1x1 합성곱과 수학적으로 동등하므로 재학습이 불필요합니다.)
• 작동 원리:
  • 이 구조 변경을 통해 최종 예측을 위한 입력이 **내장형 클래스 활성화 맵 (Built-in CAMs)**이 됩니다.
  • 생성된 CAM 은 공간적으로 평균화되어 클래스 점수를 계산하고, Softmax 를 거쳐 최종 예측을 도출합니다.
  • 이는 Zou et al. (2016) 의 원본 CAM 아키텍처와 유사하지만, 사후 처리 없이 모델 구조 자체에 통합된다는 점이 다릅니다.
• 비교 대상: CAM, ScoreCAM(그라디언트 프리), GradCAM, LayerCAM(그라디언트 기반), Integrated Gradients(IG, 백프로파게이션 기반) 등 5 가지 주요 사후 해석 방법과 비교했습니다.

3. 주요 기여 (Key Contributions)

1. 재학습 없는 변환: 사전 학습된 가중치를 활용하여 CNN 의 분류 헤드를 1x1 합성곱으로 교체함으로써, 재학습 없이 블랙박스 모델을 설명 가능한 모델로 변환합니다.
2. 성능 보존: 모델의 예측 정확도 (Predictive Performance) 를 전혀 저하시키지 않으면서 내장형 설명을 제공합니다.
3. 효율성: 사후 해석 방법들이 클래스당 여러 번의 순전파 (Forward pass) 를 필요로 하는 것과 달리, TTE-CAM 은 단일 순전파로 설명을 생성합니다.
4. 정확성 (Faithfulness): 생성된 설명이 모델의 실제 의사결정 과정을 직접 반영하므로, 사후 방법론보다 더 신뢰할 수 있는 (Faithful) 설명을 제공합니다.

4. 실험 결과 (Results)

• 데이터셋:
  • Fundus (Kaggle): 당뇨망막병증 (DR) 유무 이진 분류.
  • Chest X-Ray (RSNA): 폐렴 탐지.
• 예측 성능:
  • 분류 헤드를 1x1 합성곱으로 교체한 후에도 정확도와 AUC 가 완전히 유지되었습니다.
    • DR: 정확도 0.899, AUC 0.923
    • 폐렴: 정확도 0.953, AUC 0.988
• 해석 품질 (Qualitative & Quantitative):
  • 정성적 평가 (Fig 1): TTE-CAM 이 생성한 히트맵은 임상적 주석 (Fundus) 및 정답 바운딩 박스 (CXR) 와 잘 일치하며, 기존 사후 방법 (GradCAM, IG 등) 과 유사하거나 경쟁력 있는 결과를 보입니다.
  • 정량적 평가 (Table 1): Top-k 민감도 (Sensitivity), Top-k 국소화 (Localization), 활성화 정밀도 (Activation Precision) 지표에서 TTE-CAM 은 CAM 과 유사한 성능을 보이며, 다른 사후 방법들과 경쟁 가능한 수치를 기록했습니다.
  • 특히 TTE-CAM 은 추가적인 계산 오버헤드 없이 이러한 성능을 달성했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 임상적 가치: 의료 AI 의 '블랙박스' 문제를 해결하여 고위험 임상 환경에서의 신뢰성과 채택 가능성을 높입니다.
• 기술적 혁신: 재학습 없이 기존 모델을 '설명 가능한 AI(XAI)'로 즉시 전환할 수 있는 경량화된 방법을 제시했습니다.
• 한계 및 향후 과제:
  • CAM 기반 방법의 공통된 한계인 저해상도 특징 맵으로 인한 세밀한 국소화 (Fine-grained localization) 의 어려움이 존재합니다.
  • 최종 특징 맵 채널 수와 분류기 입력 크기가 일치해야 하는 구조적 제약 (예: ResNet, DenseNet 은 지원하나 VGG 는 제한적) 이 있습니다.
  • 향후 비전 트랜스포머 (Vision Transformers) 로의 확장 및 이러한 제약 조건을 해결하는 연구가 필요하다고 언급했습니다.

결론적으로, TTE-CAM 은 예측 성능을 희생하지 않으면서도 모델의 내부 작동 원리를 투명하게 보여주는 '내장형 (Built-in)' 해석 가능성을 실현한 획기적인 접근법입니다.