Adaptation of Weakly Supervised Localization in Histopathology by Debiasing Predictions

1. 문제 정의 (Problem Definition)

• 배경: 디지털 병리학에서 약지도 객체 국소화 (WSOL, Weakly Supervised Object Localization) 모델은 이미지 전체 레이블만 사용하여 종양 영역을 분류하고 위치를 특정할 수 있게 합니다. 이는 픽셀 단위 어노테이션의 높은 비용을 줄여줍니다.
• 핵심 문제:
  • 도메인 편차 (Domain Shift): 조직 염색 프로토콜, 스캐너 특성, 장기 차이 등으로 인해 소스 (Source) 도메인과 타겟 (Target) 도메인 간 분포가 크게 달라지면 모델 성능이 급격히 저하됩니다.
  • 예측 편향 (Prediction Bias): 특히 장기 간 (Cross-organ) 이나 대규모 데이터셋 불균형이 있는 경우, 소스 모델은 타겟 도메인에서 특정 우세한 클래스 (Dominant Class) 로 편향된 예측을 수행합니다.
  • 기존 SFDA 의 한계: 소스 데이터 없이 타겟 데이터만으로 적응하는 소스 프리 도메인 적응 (SFDA, Source-Free Domain Adaptation) 기법들은 대부분 자기 학습 (Self-training) 에 의존합니다. 그러나 초기 예측이 편향되어 있으면, 이러한 편향이 반복 학습을 통해 증폭되어 오히려 분류 및 국소화 성능을 악화시킵니다 (Fig. 1(d) 참조).

2. 제안 방법: SFDA-DeP (Methodology)

이 논문은 기계적 망각 (Machine Unlearning) 에서 영감을 받아, **예측 편향을 제거 (Debiasing)**하는 새로운 SFDA 프레임워크인 SFDA-DeP를 제안합니다.

2.1. 핵심 아이디어

• 편향 제거를 위한 반복적 과정: 적응 과정을 단순히 예측을 강화하는 것이 아니라, 과다 예측된 클래스의 불확실한 샘플을 식별하고 그 예측 신뢰도를 낮추는 '망각' 과정으로 재정의합니다.
• 데이터 분할 전략:
  1. Forget Set ($B_f$): 우세한 클래스 (Dominant Classes) 에 속하지만 예측 불확실성 (정규화된 엔트로피가 높은) 이 큰 샘플들을 선택합니다. 이 샘플들에 대해서는 모델이 기존 클래스를 예측하지 않도록 유도합니다.
  2. Retain Set ($B_r$): 나머지 확실한 (Confident) 샘플들은 기존 예측을 유지하도록 하여 안정적인 클래스 분리를 돕습니다.

2.2. 손실 함수 (Loss Functions)

모델은 세 가지 손실 함수를 결합하여 최적화됩니다:

1. Retain Loss ($L_{retain}$): Retain Set 에 대한 표준 교차 엔트로피 손실로, 확실한 샘플의 예측을 유지합니다.
2. Forget Loss ($L_{forget}$): Forget Set 에 대한 교차 엔트로피 손실의 부호를 반전 (Negation) 하여, 모델이 해당 샘플에 대해 우세한 클래스를 예측하는 것을 억제하고 새로운 클래스를 할당하도록 유도합니다.
3. Localization Loss ($L_{loc}$): 도메인 편차 하에서도 국소화 성능을 유지하기 위해 도입된 픽셀 단위 분류기 (Pixel-level classifier) 의 손실입니다. 클래스 활성화 맵 (CAM) 에서 추출된 가짜 레이블 (Pseudo-labels) 을 사용하여 전경 (종양) 과 배경을 구분하는 능력을 강화합니다.

총 손실 함수:
$$L = \lambda_{retain}L_{retain} + \lambda_{forget}L_{forget} + \lambda_{loc}L_{loc}$$

2.3. 동적 재샘플링

과적합을 방지하고 결정 경계 (Decision Boundary) 의 변화를 반영하기 위해, 적응 주기 (Epoch) 마다 Forget Set 과 Retain Set 을 현재 모델의 예측에 기반하여 동적으로 재구성합니다.

3. 주요 기여 (Key Contributions)

1. WSOL 을 위한 SFDA-DeP 제안: 조직병리학의 심한 도메인 편차 상황에서 발생하는 예측 편향을 해결하기 위해 기계적 망각 개념을 적용한 최초의 SFDA 방법론 중 하나입니다.
2. 편향 증폭 방지: 기존 SFDA 가 겪는 '편향의 악순환'을 차단하고, 불확실한 샘플에 대한 예측 신뢰도를 조절하여 결정 경계를 재설정합니다.
3. 국소화 성능 복원: 분류 편향만 해결하는 것이 아니라, 픽셀 단위 지도 (Pixel-level supervision) 를 통해 도메인 편차 하에서도 종양 영역을 정확하게 국소화할 수 있는 능력을 회복시킵니다.
4. 광범위한 실험 검증: GlaS, CAMELYON16, CAMELYON17 등 여러 조직병리 벤치마크와 다양한 WSOL 모델 (CNN 기반, Transformer 기반) 에서의 유효성을 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋: GlaS (대장암), CAMELYON16/17 (유방암 림프절 전이) 을 사용하여 장기 간 (Cross-organ) 및 센터 간 (Cross-center) 도메인 적응을 평가했습니다.
• 성능 향상:
  • 분류 (Classification): 기존 SFDA 기법들 (SFDA-DE, CDCL, ERL, RGV 등) 이 우세한 클래스 편향으로 인해 정확도가 50% 부근에 머무는 경우, SFDA-DeP 는 평균적으로 **12.5%p 이상 (PixelCAM 기준)**의 분류 정확도 (CL) 향상을 보였습니다. 특히 C17-0 센터에서는 86.2% 의 정확도를 기록했습니다.
  • 국소화 (Localization): 픽셀 단위 평균 정밀도 (PxAP) 역시 기존 방법 대비 크게 개선되었습니다 (예: PixelCAM 에서 +16.1 PxAP, DeepMIL 에서 +20.2 PxAP).
• 비교 분석:
  • 기존 SFDA 방법들은 타겟 도메인에서 편향된 예측을 강화하여 성능이 저하되는 반면, SFDA-DeP 는 편향을 교정하여 균형을 맞춥니다.
  • 동적 재샘플링과 픽셀 단위 지도가 성능 향상에 핵심적인 요소임을 어블레이션 연구 (Ablation Study) 를 통해 확인했습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 연구는 조직병리학 분야에서 약지도 학습 (WSOL) 모델의 도메인 적응 문제를 해결하는 새로운 패러다임을 제시합니다.

• 임상적 신뢰성: 다양한 병원과 장비에서 수집된 데이터에 대해 모델이 편향되지 않고 일관된 진단 및 국소화 성능을 발휘하도록 하여, 임상 현장에서의 적용 가능성을 높였습니다.
• 기술적 혁신: 기계적 망각 (Machine Unlearning) 의 개념을 도메인 적응에 창의적으로 적용하여, 편향된 예측을 '지우는' 것이 아니라 '교정'하는 메커니즘을 정립했습니다.
• 향후 영향: 소스 데이터 접근이 제한된 환경 (Source-Free) 에서도 고도로 편향된 도메인 간 이동이 필요한 의료 AI 시스템 개발에 중요한 기초를 제공합니다.

요약하자면, SFDA-DeP는 도메인 편차로 인한 예측 편향을 적극적으로 식별하고 수정함으로써, 조직병리학 WSOL 모델의 분류 및 국소화 성능을 획기적으로 개선한 혁신적인 방법론입니다.