Feature-level Site Leakage Reduction for Cross-Hospital Chest X-ray Transfer via Self-Supervised Learning

1. 연구 배경 및 문제 정의 (Problem)

• 문제점: 의료 영상 모델, 특히 흉부 X-ray 모델은 훈련 데이터가 포함된 병원 (Site) 에서 학습된 후 다른 병원으로 배포될 때 성능이 급격히 떨어지는 도메인 전이 (Domain Shift) 문제가 빈번하게 발생합니다.
• 원인: 서로 다른 병원은 스캐너, 촬영 프로토콜, 이미지 전처리 방식, 환자 군집 구성, 라벨링 관행 등에서 차이를 보입니다. 이러한 차이로 인해 모델이 실제 질병 신호가 아닌 병원 고유의 신호 (Site-specific signals) 를 학습하여 (Shortcuts), 새로운 환경에서 실패하게 됩니다.
• 기존 접근법의 한계:
  • 픽셀 수준 조화 (Pixel-level harmonization): 임상적으로 중요한 신호를 제거할 위험이 있습니다.
  • 지도 도메인 적응 (Supervised domain adaptation): 타겟 도메인의 라벨이 필요한 경우가 많아 실제 배포 환경에서 적용하기 어렵습니다.
  • 불변성 (Invariance) 가정의 맹신: 많은 연구가 "사이트 불변성"을 주장하지만, 이를 정량적으로 측정하지 않고 단순히 가정하는 경우가 많습니다.

2. 제안된 방법론 (Methodology)

이 논문은 자가 지도 학습 (Self-Supervised Learning, SSL) 과 특징 수준 적대적 학습 (Feature-level Adversarial Learning) 을 결합하여 사이트 유출 (Site Leakage) 을 측정하고 줄이는 프레임워크를 제안합니다.

• 데이터셋: NIH ChestX-ray14, CheXpert, RSNA Pneumonia Detection Challenge 의 3 개 공개 흉부 X-ray 데이터셋을 사용합니다.
• 모델 아키텍처:
  • Backbone: ResNet-18 (ImageNet 초기화).
  • SSL 전처리: NIH 와 CheXpert 의 라벨 없는 데이터를 사용하여 SimCLR 스타일의 대비 학습 (Contrastive SSL) 으로 인코더를 사전 훈련합니다.
  • Downstream 작업: 훈련된 인코더를 고정 (Freeze) 하고, NIH 데이터의 라벨을 사용하여 선형 폐렴 분류기 (Linear Pneumonia Classifier) 만을 훈련합니다.
• 핵심 기법: CanonicalF (적대적 사이트 혼란)
  • 백본 특징 (Backbone features, $h$) 에 사이트 분류기 (Site Classifier) 를 연결하고 Gradient Reversal (기울기 반전) 기법을 적용합니다.
  • 이는 하류 분류기가 사용하는 특징 공간에서 사이트 정보를 제거하려는 시도로, 모델이 사이트 정보를 학습하지 못하도록 강제합니다.
• 유출 측정 프로토콜 (Leakage Measurement Protocol):
  • Post-hoc Linear Probe: 고정된 인코더의 특징 ($h$) 과 SSL 전용 투영 특징 ($z$) 을 사용하여 선형 회귀 (Logistic Regression) 로 사이트 (NIH vs CheXpert 등) 를 예측하는 프로브를 훈련합니다.
  • 측정 지표: 프로브의 정확도가 높을수록 사이트 정보가 특징에 많이 "유출"되어 있음을 의미합니다. (무작위 추측 확률: 2 사이트 경우 0.50)

3. 주요 기여 (Key Contributions)

1. 유출 측정 프로토콜: 사전 훈련된 표현 (Representation) 에 포함된 사이트 정보를 사후 (Post-hoc) 프로브와 멀티-스플릿 평가를 통해 정량화하는 새로운 측정 프로토콜을 제시합니다.
2. 다중 사이트 SSL 베이스라인: 흉부 X-ray 를 위한 다중 사이트 SSL 베이스라인을 구축하여, 고정된 백본을 사용할 때 사이트 간 전이 성능이 향상됨을 입증했습니다.
3. 특징 수준 적대적 변형 (CanonicalF): 하류 모델이 사용하는 백본 특징 ($f$) 에 직접 적용되는 사이트 적대적 헤드를 도입했습니다.
4. 엄격한 평가: NIH→RSNA/CheXpert 및 CheXpert→RSNA/NIH 등 두 가지 전이 방향과 3 개 사이트 간의 Leave-One-Site-Out 평가를 수행하여, 3 개의 랜덤 시드에서 평균과 표준 편차를 보고했습니다.
5. 실증적 발견: 전이 성능 향상의 주된 동력은 다중 사이트 SSL이며, 적대적 혼란은 유출을 줄일 수 있지만 전이 성능 (AUC) 향상을 보장하지 않으며 분산을 증가시킬 수 있음을 발견했습니다.

4. 실험 결과 (Results)

• 전이 성능 (AUC):
  • ImageNet 초기화: RSNA 전이 AUC 는 $0.6736 \pm 0.0148$.
  • SSL-only (다중 사이트): RSNA 전이 AUC 가 $0.7804 \pm 0.0197$로 크게 향상됨 (약 0.095 증가).
  • CanonicalF (적대적 학습): RSNA AUC 는 $0.7241 \pm 0.0956$으로 SSL-only 보다 낮거나 변동성이 큽니다. 이는 적대적 학습이 예측에 필요한 신호까지 제거하여 불안정성을 초래할 수 있음을 시사합니다.
• 사이트 유출 측정 (Leakage Probe Accuracy):
  • Backbone 특징 ($f$) 기준:
    • SSL-only: $0.9890 \pm 0.0021$ (사이트를 거의 완벽하게 예측 가능)
    • CanonicalF: $0.8504 \pm 0.0051$ (유출 감소)
  • Projection 특징 ($z$) 기준:
    • SSL-only: $0.8912 \pm 0.0092$
    • CanonicalF: $0.7810 \pm 0.0250$
  • 의미: 적대적 학습이 사이트 유출을 통계적으로 유의미하게 줄였음 (무작위 추측 0.50 에 가까워짐) 을 확인했으나, 여전히 완전한 불변성 (Invariance) 에는 도달하지 못했습니다.

5. 결론 및 의의 (Significance)

• 핵심 결론:
  1. 다중 사이트 SSL이 병원 간 전이 성능 향상의 주된 동인 (Driver) 입니다.
  2. 적대적 사이트 혼란 (Adversarial Confusion) 은 측정 가능한 사이트 유출을 줄일 수 있는 도구이지만, 이것이 항상 전이 성능 (AUC) 향상으로 이어지는 것은 아니며, 오히려 모델의 분산 (Variance) 을 증가시켜 배포 환경에서의 신뢰성을 떨어뜨릴 수 있습니다.
• 학술적 의의:
  • "사이트 불변성 (Site Invariance)"이라는 모호한 주장 대신, 정량적인 "사이트 유출 감소 (Leakage Reduction)" 를 측정하고 보고해야 함을 강조합니다.
  • 의료 AI 모델의 배포 위험을 평가할 때, 전이 성능 지표 (AUC) 와 함께 유출 측정 지표 (Leakage Probe) 를 함께 보고하는 것이 필수적임을 시사합니다.
  • 단순한 도메인 적응 기법보다는, 라벨 없는 다중 사이트 데이터를 활용한 자기 지도 학습이 더 강력한 전이 성능을 제공함을 입증했습니다.

이 논문은 의료 영상 분야에서 도메인 적응을 다룰 때, 단순히 성능만 보고하는 것이 아니라 모델이 얼마나 사이트 정보를 학습하고 있는지 (유출 정도) 를 정량적으로 측정하고 해석하는 새로운 기준을 제시했다는 점에서 중요한 의의를 가집니다.