기술 요약: 흉부 X선 진단을 위한 병리 공존성 활용 테스트 시간 적응(Test-Time Adaptation)

문제 정의

딥러닝 모델은 영상 장비, 획득 프로토콜, 환자 인구 통계학적 차이로 인한 도메인 변화(domain shifts)로 인해, 새로운 임상 현장에 배치될 때 흉부 X선 분류 성능이 크게 저하되는 문제를 겪습니다. 테스트 시간 적응(TTA)은 소스 데이터나 타겟 데이터의 주석(annotation) 없이 사전 학습된 모델을 새로운 타겟 데이터만을 사용하여 업데이트하는 해결책을 제시하지만, 기존의 TTA 방식들은 다중 라벨(multi-label) 의료 영상에는 적합하지 않습니다.

기존의 TTA 접근 방식은 단일 라벨 자연 이미지 분류를 위해 설계되었으므로, 모든 샘플에 대해 예측 엔트로피를 균등하게 최소화합니다. 이는 라벨 간 독립성을 암묵적으로 가정하는 것입니다. 그러나 임상 환경에서 병리는 (특정 질병이 함께 자주 나타나는 것과 같이) 고립되어 나타나기보다 구조적인 공존 패턴(co-occurrence patterns)을 보입니다. 기존 방식들은 이러한 의존성을 고려하지 못하며, 모든 확신 있는 예측을 동일하게 신뢰할 수 있는 것으로 취급합니다. 이는 설령 어떤 예측이 타당한 라벨 관계를 위반하더라도 이를 무시하게 됩니다. 이로 인해 적응 과정에서 일관되지 않은 패턴이 증폭되고, 특히 도메인 변화가 발생할 때 노이즈가 섞인 그래디언트(gradient)가 유입될 수 있습니다.

방법론: 공존성 가중치 적응 (Co-occurrence Weighted Adaptation, CoWA)

저자들은 병리 공존성 패턴을 신뢰도 신호로 활용하여 적응을 유도하는 소스 프리(source-free) TTA 방식인 CoWA를 제안합니다. 이 프레임워크는 추가적인 감독(supervision)이나 구조적 변경 없이, 사전 학습된 모델의 배치 정규화(Batch Normalization, BN) 아핀(affine) 파라미터만을 적응시킵니다.

CoWA는 세 가지 핵심 구성 요소로 이루어져 있습니다:

1. 타겟 도메인 공존 행렬 추정:
   이 방법은 들어오는 테스트 예측으로부터 라벨 공존 구조를 직접 추정합니다. 모델 출력(소프트 확률)은 낮은 확신의 활성화를 억제하기 위해 고정된 임계값을 통해 이진화됩니다. 쌍별 공존 행렬 $S$는 처리된 배치 전반에 걸쳐 누적되며, 여기서 $S_{jk}$는 병리 $j$와 $k$의 공동 예측 횟수를 나타냅니다. 이 행렬은 경험적 공존 행렬 $M$을 형성하도록 정규화되며, 적응이 진행됨에 따라 타겟 도메인의 특정 의존 구조를 포착하며 진화합니다.

2. 일관성 기반 샘플 가중치 부여:
   각 샘플에 대해, CoWA는 해당 샘플의 예측 라벨 구성이 추정된 타겟 공존 행렬 $M$과 얼마나 잘 일치하는지를 측정하는 일관성 점수를 계산합니다. 샘플의 예측으로부터 로컬 공존 패턴 $m_i$가 구축됩니다. $m_i$와 $M$ 사이의 편차는 프로베니우스 노름(Frobenius norm)을 사용하여 계산됩니다. 이 편차는 신뢰도 가중치 $w_i$로 변환됩니다:
   $$w_i = \exp\left(-\frac{\|m_i - M\|_F^2}{\tau}\right)$$
   여기서 $\tau$는 온도(temperature) 파라미터입니다. 예측이 생성되는 타겟 구조와 일치하는 샘플은 1에 가까운 가중치를 받는 반면, 구조적으로 불일치하는(노이즈가 섞인) 예측은 가중치가 낮아집니다.

3. 가중 엔트로피 최소화:
   균등한 평균 엔트로피를 최소화하는 대신, CoWA는 가중 엔트로피 손실을 최소화합니다:
   $$L_{CoWA} = \frac{1}{B} \sum_{i=1}^{B} \max(w_i, w_{min}) \cdot H(\hat{y}_i)$$
   여기서 $H(\cdot)$는 예측 엔트로피, $B$는 배치 크기이며, $w_{min}$은 수치적 안정성을 위해 가중치가 0으로 붕괴되는 것을 방지합니다. 이는 모델이 구조적으로 일관된 샘플을 중심으로 주로 적응하도록 하여, 노이즈가 섞인 그래디언트의 영향을 줄여줍니다.

주요 기여

1. CoWA 제안: 타겟 도메인의 병리 공존 패턴을 예측으로부터 추정하고, 이를 다중 라벨 의료 영상 분류를 위한 샘별 신뢰도 신호로 활용하는 새로운 TTA 방법을 제안했습니다.
2. 표준 TTA의 한계 식별: 저자들은 단일 라벨 벤치마크를 위해 설계된 표준 TTA 방식이 라벨 의존성을 무시하기 때문에 다중 라벨 임상 작업에서는 효과적이지 않거나 오히려 해로울 수 있음을 입증했습니다.
3. 실증적 검증: 6가지 도메인 변화 시나리오에 대해 공개된 흉부 X선 데이터셋(MIMIC-CXR, CheXert, VinDr-CXR, NIH Chest X-ray)을 사용하여 광범에한 실험을 수행했습니다.

실험 결과

저자들은 Co-occurrence Weighted Adaptation을 No Adaptation, AdaBN, TENT, CoTTA, EATA, RoTTA를 포함한 여러 베이스라인과 비교하여 AUROC를 주요 지표로 평가했습니다.

• 전반적인 성능: CoWA는 대부분의 도메인 변화 시나리오에서 가장 높은 평균 AUROC를 달성했으며, 다른 시나리오에서도 경쟁력 있는 성능을 보이며 일관되게 1위 또는 2위를 차지했습니다.
• 도메인 변화에 대한 강건성: 성능이 잘 나오기도 하고 떨어지기도 하는 높은 변동성을 보인 TENT 및 AdaBN과 같은 베이스라인과 달리, CoWA는 안정적인 성능을 유지했습니다.
• 클래스별 개선 사항: 경쟁 방법들은 흔히 저빈도 병리(예: 기흉)에서 눈에 띄는 성능 저하를 겪었습니다. CoWA는 이러한 클래스별 저하를 일관되게 완화했습니다. 특히, CoWA는 모든 변화 상황에서 미적응(unadapted) 베이스라인보다 심각한 성능 저하를 피한 유일한 방법이었으며, 이는 최악의 경우에 대한 강건성(worst-case robustness)을 강조합니다.
• 분석:
  • 행렬 진화: CoWA에서 추정된 공존 행렬은 적응 과정 동안 실제 타겟 구조와 점진적으로 일치한 반면, 베이스라인들은 명확한 의존 구조를 상실했습니다.
  • 가중치 신뢰도: 할당된 가중치와 예측 품질(AUPRC) 사이에 양의 상관관계가 관찰되었으며, 이는 가중치가 암묵적인 신뢰도 추정기로서 효과적으로 작동함을 확인해 줍니다.
  • 어블레이션(Ablation): 일관성 점수 산출을 위해 프로베니우스 노름($\ell_F$)을 사용하는 것이 $\ell_1, \ell_2, \ell_\infty$ 노름을 사용할 때보다 더 높은 평균 AUROC와 낮은 분산을 나타냈습니다. 또한, CoWA는 TENT에 비해 더 안정적인 BN 아핀 그래디언트 업데이트를 보여주었습니다.

의의 및 주장

본 논문은 Co-occurrence Weighted Adaptation이 추가적인 주석 없이 타겟 도메인의 공존 구조를 TTA에 통합함으로써 도메인 변화 하에서의 진단 강건성을 향상시키는 단순하고 배포 가능한 솔루션을 제공한다고 주장합니다.

저자들은 단 하나의 병리에 대한 심각한 성능 저하가 진단을 위협할 수 있는 임상 환경에서, CoWA가 제공하는 "최악의 경우에 대한 강건성"이 평균 성능만큼이나 중요하다고 강조합니다. 타당한 라벨 관계를 위반하는 예측의 가중치를 낮춤으로써, CoWA는 적응이 구조적으로 일관된 샘플에 집중할 수 있게 하여 노이즈가 섞인 그래디언트를 줄일 수 있습니다.

저자들은 CoWA가 효과적이긴 하지만, 추정된 패턴이 데이터셋 수준의 편향에 민드밀 수 있다는 점을 언급하며 겸허하게 결론을 맺습니다. 그들은 CoWA를 더 강력하고 인과적으로 근거 있는 관계를 포착하도록 확장하는 것이 유망한 향후 연구 방향이라고 제안합니다.