Explaining Digital Pathology Models via Clustering Activations

기술 요약: 클러스터링 활성화를 통한 디지털 병리학 모델 설명

문제 제기
임상 디지털 병리학 분야에서 딥러닝 모델의 도입은 '신뢰 격차'로 인해 방해받고 있습니다. 합성곱 신경망 (CNN) 은 조직 슬라이드를 정확하게 분류할 수 있지만 (예: 전립선암 탐지), 불투명한 '블랙박스'로 작동합니다. 병리학자들은 오클루전 (occlusion), GradCAM, 또는 관련성 전파와 같은 표준 설명 기법들이 단일 예측에 기여하는 영역만 강조하는 1 차원적 국소 중요도 맵 (saliency maps) 만 제공하기 때문에 이러한 모델을 신뢰하는 것을 주저합니다. 이러한 맵들은 단일 예측에 기여하는 영역을 강조하지만, 결정 뒤의 '추론'이나 모델의 전역적 행동을 설명하지는 못합니다. 다양한 형태학적 특징과 조직 유형을 종합하는 인간 병리학자와 달리, 현재 방법론들은 모델이 건강한 조직과 암성 조직을 구별하는 데 사용하는 내부 의미론적 표현을 드러내지 못합니다.

방법론
저자들은 유사한 특징 활성화를 그룹화하여 CNN 모델의 전역적 행동을 시각화하는 클러스터링 기반 설명 기법을 제안합니다. 이 방법은 다음과 같이 작동합니다:

1. 특징 추출: 주어진 CNN 모델에 대해 입력 이미지 타일의 모든 공간 위치 $(i, j)$에 대해 특정 합성곱 레이어 $\ell$에서 특징 벡터를 추출합니다. 이러한 벡터는 모든 채널 $C$에 걸친 활성화 값을 나타냅니다.
2. 비음수 행렬 분해 (NMF): 의미론적 해석 가능성을 보장하기 위해 저자들은 특징 벡터에 NMF 를 적용합니다. NMF 는 비음수 입력을 필요로 하므로, ReLU 활성화 함수 이후의 레이어 출력을 활용합니다.
3. 클러스터링 과정:
   • 학습: 특징 벡터의 학습 행렬 $V$를 프로베니우스 노름 $\|V - WH\|_F^2$을 최소화하여 비음수 행렬 $W$와 $H$로 분해합니다. 행렬 $H$는 $K$개의 클래스 벡터 (클러스터 중심) 를 나타내고, 행렬 $W$는 각 특징 벡터에 대한 각 클래스의 강도 (가중치) 를 나타냅니다.
   • 추론: 새로운 데이터의 경우, $H$는 고정된 채로 유지되고 $W$가 최적화됩니다. 각 공간 위치는 가장 높은 강도 가중치를 가진 클러스터에 할당됩니다.
4. 전체 슬라이드 이미지 (WSI) 적응: 거대한 규모의 WSI(수십만 픽셀) 와 타일 겹침 문제를 처리하기 위해:
   • 각 타일의 특징 벡터에서 2 픽셀 경계를 폐기하여 경계 아티팩트를 완화합니다.
   • 동일한 공간 위치에서 겹치는 타일의 특징 벡터를 평균화하여 픽셀당 단일 일관된 표현을 생성합니다.
   • 조직 겹침이 없는 타일 (배경) 은 폐기하여 관련 영역에 계산을 집중합니다.

주요 기여

• 전역적 대 국소적 설명: 단일 결정을 위한 특정 영역을 강조하는 중요도 맵과 달리, 이 방법은 내부 표현을 고유한 의미 범주로 클러스터링함으로써 모델의 전역적 행동을 드러냅니다.
• 지도 학습 없는 의미론적 분할: 이 기법은 기반 모델이 분할이 아닌 이진 분류 (암 대 비암) 만으로 훈련되었음에도 불구하고 학습된 클러스터를 기반으로 입력 이미지의 의미론적 분할을 생성합니다.
• WSI 문제 처리: 이 접근법은 디지털 병리학 슬라이드의 특징인 고차원성과 희소한 조직 분포를 관리하도록 특별히 설계되었습니다.
• 전문가 지식에 대한 검증: 이 방법은 전립선암 탐지 모델에서 평가되었으며, 결과 클러스터가 병리학자가 인식하는 관찰 가능한 형태학적 특징에 해당함을 입증했습니다.

결과
이 기법은 마사리크 기념 암 연구소에서 87 개의 WSI 로 훈련된 전립선암 탐지 모델 (VGG-16 백본) 을 사용하여 평가되었습니다. 저자들은 $K=4, 6, 8$개의 클래스를 가진 클러스터링 모델을 훈련시켰습니다.

• 병리학자 평가: 한 레지던트 병리학자가 $K=6$ 클러스터링 출력을 분석하여 클러스터가 특정 형태학적 구조에 해당함을 확인했습니다:
  • 클래스 2, 4, 5는 암성 영역 (예: 밀집된 핵의 사슬, 작은 루멘) 에 해당한다고 확인되었습니다.
  • 클래스 1, 3, 6은 희소한 조직 구조, 가장자리, 또는 정상 상피에 해당했습니다.
• 정량적 분석:
  • 클러스터 가중치만으로 훈련된 로지스틱 회귀 모델은 암 양성 예측에서 높은 성능을 보였습니다 (정확도: 0.984, AUC: 0.998).
  • 회귀 계수는 클래스 2, 4, 5 가 양성 암 레이블과 강하게 상관관계가 있음을 확인했으며, 클래스 1, 3, 6 은 음성 레이블과 상관관계가 있어 병리학자의 정성적 평가와 일치했습니다.
• GradCAM 과의 비교:
  • 클래스 2, 4, 5 는 GradCAM 히트맵과 높은 상관관계를 보였지만, 클러스터와 GradCAM 마스크 간의 교집합 합집합 비율 (IoU) 은 낮았습니다.
  • 이는 클러스터가 GradCAM 이 중요하다고 판단하는 영역과 겹치지만, 클러스터링 방법이 해당 영역 내에서 모델이 활용하는 어떤 구체적인 특징에 대한 더 세밀하고 정교한 정보를 제공함을 시사합니다.

의의 및 주장
이 논문은 클러스터링 기반 접근법이 디지털 병리학에서 CNN 의 내부 작동 원리를 이해하기 위한 강력한 도구를 제공한다고 주장합니다. 단순한 중요도 맵을 넘어 모델의 전역적 의미론적 행동을 드러냄으로써, 이 방법은 AI 의 '블랙박스' 성격을 신비화에서 벗어나게 하는 데 도움이 됩니다. 저자들은 모델이 우선시하는 특정 형태학적 특징에 대한 해석 가능한 통찰력을 제공함으로써 병리학자의 신뢰를 크게 높일 수 있으며, 이는 임상 실무에서 AI 모델의 더 빠르고 안전한 도입을 촉진할 것이라고 주장합니다. 이 방법은 공간 특징 벡터를 활용하는 모든 모델 아키텍처에 적용 가능하게 제시되었으며, 향후 기초적인 트랜스포머 모델을 검사하기 위한 작업이 제안되었습니다.