Transfer Learning from One Cancer to Another via Deep Learning Domain Adaptation

기술 요약: 딥러닝을 통한 암종 간 전이 학습 및 도메인 적응

문제 정의
암 병리 조직학 분야의 지도 학습 기반 딥러닝 모델은 특정 훈련 분포 내에서는 높은 정확도를 달anim하지만, 관련이 있으나 학습되지 않은 다른 암 유형이나 해부학적 부위에는 일반화에 실패하는 경우가 많습니다. 이러한 한계는 서로 다른 장기 간의 염색 프로토콜, 조직 구조, 해상도 및 영상 양식(modality)의 차이로 인해 발생하는 "도메인 시프트(domain shift)"에서 기인합니다. 예를 들어, 서로 다른 장기(예: 폐, 결장, 유방, 신장)의 선암종(adenocarcinomas)은 선 구조 및 핵의 비정형성과 같은 핵심적인 형태학적 특징을 공유하지만, 표준 분류기들은 명시적인 적응 과정 없이는 이러한 공유된 특성을 활용하는 데 어려움을 겪습니다. 또한, 특정 도메인에서 라벨링된 의료 영상의 부족은 라벨이 잘 갖춰진 소스 도메인으로부터 라벨이 없는 타겟 도메인으로 지식을 전달할 수 있는 방법론의 필요성을 더욱 심화시킵니다.

방법론
저자들은 네 가지 선암종 유형(유방, 결장, 폐, 신장) 간의 암 분류 지식 전이 가능성을 평가합니다. 본 연구는 ResNet-50 특징 추출기를 기반으로 구축된 도메인 적대적 신경망(Domain Adversarial Neural Network, DANN) 구조를 사용합니다.

• 데이터 준비: 연구에는 Kaggle의 Multi Cancer Dataset이 사용되었습니다. 암 유형 간의 라벨 불일치 문제를 해결하기 위해, 저자들은 모든 하위 라벨을 두 가지 클래스인 정상/양성(0) 및 **악성(1)**으로 이진화하였습니다. 영상 양식에 대한 중요한 구분이 이루어졌는데, 유방, 폐, 결장 데이터는 조직 병리 이미지(세포 수준)로 구성된 반면, 신장 데이터는 CT 스캔(장기 수준)으로 구성되었습니다.
• 아키텍처 및 훈련: DANN 모델은 특징 추출기, 클래스 예측 브랜치, 도메인 분류 브랜치로 구성됩니다.
  • 손실 함수: 총 손실은 라벨링된 소스 데이터에 대한 분류 손실(Instance-weighted Cross-Entropy)과 소스 및 타겟 데이터 모두에 대한 도메인 적대적 손실(Binary Cross-Entropy)을 결합합니다.
  • 그래디언트 역전(Gradient Reversal): 역전파 과정 중 도메인 브랜치에 그래디언트 역전 레이어(Gradient Reversal Layer, GRL)가 적용됩니다. 이 레이어는 그래디언트의 부호를 반전시켜, 특징 추출기가 도메인 분류기를 혼란스럽게 만드는 동시에 소스 도메인에서의 분류 정확도는 유지하도록 함으로써 도메인 불변(domain-invariant) 표현을 학습하도록 강제합니다.
  • 람다 스케줄링(Lambda Scheduling): 도메인 적대적 손실의 가중치($\lambda$)는 포물선형 증가 스케줄을 따릅니다. 이는 분류 학습을 우선시하기 위해 0에서 시작하여, 훈련 종료 시점에는 도메인 적응을 우선시하도록 1까지 증가합니다.
• 실험 설계:
  1. 베이스라인(Baseline): 하나의 암 유형에 대해 훈련되어 다른 모든 유형에 대해 테스트되는 단일 도메인 지도 학습 모델.
  2. 앙상블(Ensemble): 특징 결합이 일반화 성능을 개선하는지 테스트하기 위한 leave-one-out 방식의 지도 학습 모델 앙상블.
  3. 도메인 적응(Domain Adaptation): 라벨이 있는 소스 도메인에서 훈련되고 라벨이 없는 타겟 도메인에 적응하는 DANN 모델.
  4. 염색 정규화(Stain Normalization): 도메인 격차를 줄이는 데 미치는 영향을 평가하기 위해 DANN 성능을 염색 정규화 적용 여부에 따라 비교하는 실험.
  5. 설명 가능성(Explainability): **통합 그래디언트(Integrated Gradients)**를 사용하여 픽셀 수준의 기여도 맵을 생성함으로써, 모델이 생물학적으로 유의미한 특징(예: 밀집된 핵)에 집중하는지 검증합니다.

주요 결과

• 베이스라인 및 앙상블의 한계: 단일 도메인에서 훈련된 표준 지도 학습 모델은 해당 도메인에서는 98% 이상의 정확도를 달성했으나, 다른 도메인에 대한 일반화 능력은 매우 낮았습니다(종종 무작위 확률 수준인 50%). 앙상블 방법 또한 이러한 한계를 해결하지 못했으며, 교차 도메인 정확도는 50%62.3%로 낮게 유지되었습니다.
• DANN 성능 (염색 정규화 미적용 시):
  • 폐 타겟: 라벨링된 유방 및 결장 데이터로부터 라벨이 없는 폐 데이터로 적응할 때, DANN은 (신장 데이터를 제외하고) **95.56%**의 정확도를 달성했습니다.
  • 결장 타겟: 결장 도메인에 대한 적응은 **78.48%**의 정확도를 기록했습니다.
  • 유방 타겟: 유방 도메인에 대한 적응 결과는 **49.22%**로, 무작위 확률에 근접했습니다.
  • 신장 타겟: 신장(CT) 데이터를 타겟 도메인에 포함시킨 경우, CT와 조직 병리 간의 현저한 양식 차이로 인해 낮은 성능(41.10%)을 보였습니다.
• 염색 정규화의 영향: 염색 정규화의 효과는 매우 가변적이었습니다:
  • 유방 및 결장: 염색 정규화는 유방 정확도를 49.22%에서 **81.29%**로, 결장을 78.48%에서 **83.36%**로 높임으로써 성능을 크게 향상시켰습니다.
  • 폐: 반대로, 염색 정규화는 폐의 성능을 95.56%에서 **66.60%**로 떨어뜨려 성능을 저하시켰습니다.
• 설명 가능성: 통합 그래디언트는 DANN이 일관되게 **밀집된 핵(densely packed nuclei)**에 높은 중요도를 부여함을 보여주었으며, 이는 진단에 사용되는 생물학적으로 유의미한 특징입니다. 이는 모델이 허구적인 상관관계가 아닌 임상적으로 유의미한 특징을 학습하고 있음을 확인시켜 줍니다.

의의 및 주장
본 논문은 **비지도 도메인 적응(unsupervised domain adaptation)**이 라벨이 있는 조직 병리 데이터셋(예: 유방, 결장)으로부터 라벨이 없는 다른 장기(예: 폐)의 암 분류 능력을 효과적으로 전이할 수 있으며, 타겟 도메인의 라벨 없이도 높은 정확도(>95%)를 달성할 수 있음을 입증한다고 주장합니다.

저자들이 강조한 핵심 사항은 다음과 같습니다:

1. 교차 장기 전이의 가능성: 도메인 시프트에도 불구하고, 선암종의 공유된 형태학적 특징은 적대적 적응을 사용할 때 단순한 앙상블보다 뛰어난 성능을 보이며 성공적인 지식 전이를 가능하게 합니다.
2. 양식 민감도(Modality Sensitivity): 영상 양식을 혼합하는 것(조직 병리 vs CT)은 적응에 해롭습니다. 모델은 소스와 타겟 도메인이 동일한 영상 스케일과 기법을 공유할 때 가장 잘 작동합니다.
3. 맥락 의존적 염색 정규화: 염색 정규화는 보편적인 해결책이 아닙니다. 유방 및 결장 타겟의 경우 색상 변동성을 줄여 적응을 돕지만, 폐 타겟의 경우에는 성능을 저하시킵니다. 이는 이 특정 맥락에서 염색 특징이 폐 선암종을 구별하는 데 정보가 될 수 있음을 시사합니다.
4. 설명 가능성을 통한 신뢰 확보: 통합 그래디언트의 사용은 모델이 생물학적으로 타당한 구조(핵)에 의존한다는 시각적 증거를 제공하며, 이는 민감한 의료 작업에 도메인 적응 모델에 대한 신뢰를 구축하는 경로를 제시합니다.

저자들은 DANN이 종양학 분야의 라벨 부족 문제를 완화하는 강력한 도구이지만, 그 성공 여부는 영상 양식의 호환성과 타겟 도메인의 특정 특성에 크게 의존하며, 따라서 염색 정규화와 같은 전처리 단계에 대한 신중한 평가가 필요하다고 결론짓습니다.