Class Visualizations and Activation Atlases for Enhancing Interpretability in Deep Learning-Based Computational Pathology

이 논문은 트랜스포머 기반 계산 병리학 모델의 해석 가능성을 높이기 위해 클래스 시각화와 활성화 지도를 체계적으로 평가하여, 조직 분류에서는 일관된 형태학적 개념을 포착하지만 세부 암 아종 분류에서는 내재적 병리학적 복잡성으로 인해 전문가 간 합의가 낮아지는 한계를 규명했습니다.

핵심

이 논문은 **"인공지능 (AI) 이 병리학에서 어떻게 '생각'하는지 그 내막을 들여다보는 방법"**을 연구한 내용입니다.

쉽게 비유하자면, AI 가 암을 진단할 때 **"어떤 특징을 보고 '이건 암이야'라고 결론 내리는지"**를 시각적으로 보여주는 기술을 개발하고 평가한 것입니다.

다음은 이 논문의 핵심 내용을 일상적인 언어와 비유로 설명한 것입니다.

---

🏥 배경: AI 의 '블랙박스' 문제

최근 AI 는 현미경으로 본 조직 사진 (병리 슬라이드) 을 보고 암의 종류나 유전적 특징을 매우 정확하게 예측합니다. 하지만 문제는 AI 가 왜 그렇게 판단했는지 그 이유를 설명하지 못한다는 것입니다. 마치 천재적인 요리사가 "이 요리는 맛있다"고 말만 하고, "왜 맛있다고 생각했는지" 그 레시피나 맛의 조합을 설명해주지 않는 것과 같습니다.

🔍 연구의 목적: AI 의 두뇌를 '지도'로 만들기

연구팀은 AI 가 이미지 속에서 어떤 패턴을 찾아내는지, 그리고 그 패턴들이 어떻게 조직화되어 있는지 보여주는 **'시각화 기술'**을 개발했습니다. 크게 두 가지 방법을 사용했는데, 이를 비유하면 다음과 같습니다.

1. 클래스 시각화 (Class Visualization, CV) = "AI 가 상상하는 '완벽한' 이미지"

• 비유: AI 에게 "너가 생각하는 '최고의 사과'를 그려줘"라고 시키는 것과 같습니다.
• 원리: AI 가 '간암'이라고 판단할 때 가장 강하게 반응하는 특징들을 모아서, 실제 사진이 아닌 인공지능이 만들어낸 '이상적인 간암 조직' 이미지를 생성합니다.
• 결과:
  • 단순한 경우 (예: 지방 vs 근육): AI 가 그린 이미지가 실제 병리학자가 보는 모습과 매우 비슷했습니다. "아, 이건 지방이구나"라고 쉽게 알 수 있었습니다.
  • 복잡한 경우 (예: 대장암 vs 직장암): 두 암의 특징이 너무 비슷하면, AI 가 그린 이미지도 서로 섞여 구별하기 어려워졌습니다. 이는 AI 가 인간과 마찬가지로, 아주 비슷한 암들을 구분하는 데 어려움을 겪고 있다는 신호였습니다.

2. 활성화 지도 (Activation Atlas, AA) = "AI 의 두뇌 속 '개념 지도'"

• 비유: AI 의 두뇌를 거대한 도서관이라고 상상해 보세요. 이 도서관에는 수많은 책 (이미지 특징) 이 있습니다. '활성화 지도'는 이 도서관을 주제별로 정리된 지도로 만들어주는 것입니다.
• 원리: AI 가 이미지를 분석할 때 내부에서 일어나는 복잡한 신호들을 지도 위에 점으로 찍고, 그 점들이 모여 있는 영역을 이미지로 복원합니다.
• 발견:
  • 초기 층 (단순한 특징): 지도의 한쪽에는 '점', '선', '색깔' 같은 기본 요소들이 모여 있었습니다.
  • 중간 층 (개념 형성): '세포', '조직' 같은 더 복잡한 개념들이 모여 있는 구역이 생겼습니다.
  • 깊은 층 (전문적 판단): '간암', '유방암' 같은 구체적인 질병 개념들이 명확하게 분리된 구역으로 나타났습니다.
  • 흥미로운 점: 이 지도에서 구분선이 흐릿한 곳은 실제 인간 전문가들 (병리학자) 이도 "이건 A 암일까, B 암일까?" 하고 고민하는 부분과 정확히 일치했습니다. 즉, AI 의 혼란은 AI 의 실수가 아니라, 질병 자체가 가진 복잡성 때문임을 보여줍니다.

📊 연구 결과: AI 는 인간과 비슷하게 '고민'한다

연구팀은 4 명의 전문 병리학자에게 AI 가 만들어낸 이미지들을 보여주고 분류하게 했습니다.

1. 명확한 것 vs 모호한 것: AI 가 만든 이미지가 명확할수록 의사들도 쉽게 분류했습니다. 하지만 AI 가 만든 이미지가 모호하면, 의사들 사이에서도 의견이 갈렸습니다.
2. AI 와 인간의 일치: AI 가 "이건 A 와 B 사이야"라고 애매하게 반응하는 영역에서, 인간 전문가들도 A 와 B 사이를 고민했습니다. 이는 AI 가 단순히 데이터를 외운 것이 아니라, 실제 질병의 복잡한 본질을 학습하고 있음을 의미합니다.
3. 측정 도구의 한계: 컴퓨터가 계산하는 '유사도 점수'는 인간 의사의 판단과 완벽하게 일치하지 않았습니다. 이는 의사들의 직관과 판단은 단순한 숫자로 환원하기 어렵다는 것을 보여줍니다.

💡 결론: 왜 이 연구가 중요한가?

이 연구는 AI 를 **'검은 상자'**로 두는 것이 아니라, 그 안을 **'투명한 유리 상자'**로 만들어주는 방법을 제시했습니다.

• 신뢰성 확보: AI 가 왜 그런 판단을 내렸는지 시각적으로 보여줌으로써, 의사들이 AI 를 더 신뢰하고 활용할 수 있게 됩니다.
• 한계 파악: AI 가 어떤 부분에서 인간과 마찬가지로 '고민'하는지 알면, 그 부분을 집중적으로 연구하거나 AI 를 보완할 수 있습니다.
• 새로운 발견: AI 가 발견한 새로운 패턴을 통해 인간이 아직 몰랐던 질병의 특징을 찾아낼 수도 있습니다.

한 줄 요약:

"이 연구는 AI 가 병리학에서 어떻게 '생각'하는지 그 내부를 지도로 그려냈고, 그 지도가 인간 전문가의 고민과 정확히 일치한다는 것을 밝혀내어, AI 와 인간이 함께 더 나은 진단을 할 수 있는 길을 열었습니다."

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 트랜스포머 (Transformer) 기반 모델의 급속한 도입으로 인해 헤마톡실린 - 에오신 (H&E) 염색 전 슬라이드 이미지 (WSI) 에서 분자 및 임상 바이오마커를 정확하게 예측할 수 있게 되었습니다.
• 문제: 모델의 예측 성능은 향상되었으나, 모델의 복잡성에 비해 해석 가능성 (Explainability) 연구는 뒤처져 있습니다.
  • 기존 해석 방법 (Saliency maps, Grad-CAM 등) 은 주로 개별 예측 (Instance-level) 에 초점을 맞추어 특정 이미지의 어떤 영역이 예측에 기여했는지 설명합니다.
  • 그러나 어떤 형태학적 특징 (Morphological features) 이 클래스를 정의하는지, 클래스 간에 어떤 특징이 공유되는지, 그리고 모델이 내부적으로 어떤 개념 (Concepts) 을 어떻게 조직화하는지에 대한 체계적인 분석은 부족합니다.
  • 특히 Vision Transformer (ViT) 는 CNN 과 다른 방식으로 공간 및 맥락 정보를 인코딩하므로, 기존 CNN 을 위한 해석 기법이 직접 적용되지 않습니다.

2. 방법론 (Methodology)

연구팀은 트랜스포머 기반 병리학 모델의 내부 표현 구조를 분석하기 위해 개념 수준의 특징 시각화 프레임워크를 개발하고 적용했습니다.

• 데이터셋:
  • NCT-CRC-HE-100K: 9 가지 대장 조직 클래스 (종양, 정상 점막, 림프구, 지방 등) 로 구성된 데이터셋.
  • TCGA (The Cancer Genome Atlas): 11 가지 고형암 클래스 (유방, 폐, 신장, 전립선, 대장암 등) 를 포함하는 데이터셋.
• 모델 아키텍처:
  • UNI (Universal Neural Network for Pathology) 라는 ViT 기반의 사전 훈련된 Foundation Model 을 백본 (Backbone) 으로 사용.
  • 고정된 백본 위에 선형 분류 레이어를 추가하여 각 데이터셋에 맞게 미세 조정 (Fine-tuning).
• 시각화 기법:
  1. 클래스 시각화 (Class Visualization, CV): 특정 클래스의 로그 (logit) 를 최대화하도록 입력 이미지를 역최적화 (Optimization) 하여 생성. 이는 해당 클래스를 가장 잘 나타내는 '전형적인 (Prototypical)' 형태학적 패턴을 보여줍니다.
  2. 활성화 지도 (Activation Atlases, AA):
     • 학습된 모델의 특정 레이어에서 추출한 고차원 활성화 (Activations) 를 t-SNE 를 통해 2 차원 공간에 매핑.
     • 이 공간을 그리드로 나누고, 각 그리드 셀 내의 활성화 벡터를 평균화하여 대표 벡터를 생성.
     • 특징 역전환 (Feature Inversion): 대표 벡터를 입력 이미지로 재구성하여, 모델이 해당 영역에서 학습한 개념을 시각화합니다.
• 평가 지표:
  • 전문가 평가: 4 명의 병리학자가 생성된 이미지 (CV 및 AA) 와 실제 이미지를 분석하여 클래스를 라벨링하고, Fleiss' κ, Cohen's κ 등을 통해 판독자 간 일치도 (Inter-observer agreement) 를 측정.
  • 정량적 지표: 생성된 이미지와 실제 이미지의 유사성을 평가하기 위해 Mahalanobis Distance, LPIPS, DreamSim, Attribution scores 등을 사용.

3. 주요 기여 (Key Contributions)

1. 트랜스포머 기반 병리학 모델의 개념 수준 해석 가능성 프레임워크 제시: ViT 모델이 조직 및 암 클래스를 어떻게 내부적으로 표현하고 조직화하는지 체계적으로 분석한 최초의 연구 중 하나.
2. 레이어별 표현의 진화 분석: 네트워크 깊이에 따라 저수준 특징에서 고수준 개념으로 어떻게 전환되는지 (Layer-dependent organization) 를 활성화 지도를 통해 규명.
3. 전문가 불확실성과 모델 표현의 상관관계 입증: 모델의 표현 공간에서의 분리성 (Separability) 이 실제 병리학자들의 판독 일치도와 밀접하게 연관됨을 보여줌. 즉, 모델이 혼란을 겪는 영역은 본질적으로 병리학적 복잡성이 높은 영역임을 시사.
4. 다양한 라벨 세분성 (Granularity) 에 따른 분석: 조직 수준 (NCT) 과 암 하위 분류 수준 (TCGA) 에서 모델의 해석 가능성 변화를 비교 분석.

4. 주요 결과 (Results)

• 클래스 시각화 (CV) 의 성과:
  • NCT (조직 분류): 지방, 림프구, 종양 등 형태학적으로 뚜렷한 조직은 CV 로도 잘 인식 가능했으나, 간질 (Stroma) 과 평활근 (Smooth muscle) 과 같이 형태가 겹치는 클래스는 분리도가 낮아지고 판독자 간 변동성이 증가함.
  • TCGA (암 분류): 아데노카르시노마 (Adenocarcinoma) 와 같이 기원이 유사한 암들은 서로 혼동되는 경향이 강하게 나타남. 클래스 세분성이 높아질수록 (Subclass level) 판독자 간 일치도가 급격히 감소 (Fleiss' κ = 0.11 수준).
• 활성화 지도 (AA) 의 발견:
  • 레이어별 조직화: 초기 레이어는 저수준 특징을, 중간 레이어 (Layer 14 등) 는 일관된 개념 조직을, 깊은 레이어는 더 세분화되지만 분산된 표현을 보임.
  • 분리성과 일치도: 조직 수준의 개념은 잘 분리된 영역을 형성했으나, 세부 암 하위 분류는 분산되고 겹치는 경향을 보임.
  • 전문가 일치도: 조직 분류에서는 중간 수준의 일치도 (κ = 0.58), 광범위한 암 그룹에서는 높은 일치도 (κ = 0.82), 세부 하위 분류에서는 낮은 일치도 (κ = 0.11) 를 보임. 이는 실제 이미지에서의 전문가 일치도 패턴과 유사함.
• 정량적 지표의 한계:
  • Attribution 기반 할당은 낮은 복잡성 환경에서 전문가 변동성을 어느 정도 모사했으나, LPIPS, DreamSim, Mahalanobis Distance 와 같은 지각적/분포적 지표는 전문가 판단과의 정렬이 제한적이었음.

5. 의의 및 결론 (Significance)

• 모델의 내적 구조 이해: 이 연구는 트랜스포머 기반 병리학 모델이 형태학적 정보를 구조화된 잠재 공간 (Latent space) 으로 조직화하며, 그 구조가 본질적인 병리학적 복잡성을 반영함을 보여줍니다.
• 신뢰성 있는 AI 배포: 모델이 학습한 표현이 전문가의 추론과 얼마나 일치하는지, 그리고 클래스 간 경계가 모호한 영역을 식별함으로써 책임 있는 AI 배포와 신뢰 구축에 기여합니다.
• 미래 방향: 단일 예측 설명을 넘어, 모델의 표현 구조를 체계적으로 분석하는 프레임워크를 제공하여, 향후 분자 하위 유형 (Molecular subtypes) 분석이나 공간적 문맥 분석으로 확장할 수 있는 기반을 마련했습니다.

요약하자면, 이 논문은 생성된 특징 시각화 (CV, AA) 를 통해 AI 모델이 병리학적으로 의미 있는 개념을 어떻게 학습하고 조직화하는지를 입증하고, 이러한 모델의 표현 불확실성이 실제 병리학적 진단의 난이도와 일치함을 규명한 중요한 연구입니다.