HyDA: Hypernetworks for Test Time Domain Adaptation in Medical Imaging Analysis

1. 문제 정의 (Problem)

의료 영상 분석 분야에서 딥러닝 모델은 훈련 데이터와 테스트 데이터 간의 도메인 시프트 (Domain Shift) 문제로 인해 성능 저하를 겪는 경우가 많습니다. 이는 촬영 프로토콜, 환자 인구 통계, 영상 장비 (스캐너) 의 차이 등 다양한 요인으로 인해 발생합니다.

기존의 도메인 적응 (Domain Adaptation, DA) 기법들은 주로 소스 도메인과 타겟 도메인의 분포를 정렬하거나 모든 도메인에 걸쳐 불변인 특징 공간을 학습하는 데 중점을 두었습니다. 그러나 이러한 방법들은 훈련 단계에서 타겟 도메인의 데이터 (레이블이 없어도 됨) 에 대한 접근이 필수적이라는 한계가 있습니다. 실제 임상 환경에서는 테스트 시점에야 타겟 데이터가 접근 가능해지는 경우가 많으므로, 훈련 단계에서 타겟 데이터를 확보하는 것은 현실적으로 어렵습니다. 이로 인해 기존 모델들의 임상 현장 배포가 제한받고 있습니다.

2. 제안 방법: HyDA (Methodology)

저자들은 이러한 한계를 극복하기 위해 HyDA (Hypernetworks for Test Time Domain Adaptation) 라는 새로운 하이퍼네트워크 프레임워크를 제안했습니다. HyDA 는 도메인 차이를 억제하는 대신 이를 활용하여 추론 (Inference) 시점에 동적으로 적응하는 방식을 취합니다.

• 핵심 구조:

  • 주 네트워크 (Primary Network, P): 실제 의료 영상 분석 작업 (분류, 예측 등) 을 수행하는 네트워크.
  • 도메인 분류기 (Domain Classifier, D): 입력 이미지의 도메인 특성을 학습하여 도메인 특징 벡터 ($x_D$) 를 추출합니다.
  • 하이퍼네트워크 (Hypernetwork, h): 추출된 도메인 특징 벡터를 입력받아 주 네트워크의 특정 레이어 (주로 헤더 부분) 에 적용할 가중치와 편향 (Weights & Biases) 을 실시간으로 생성합니다.

• 동작 원리:

  1. 훈련 단계에서 여러 소스 도메인 데이터를 사용하여 도메인 분류기를 훈련하고, 하이퍼네트워크는 각 도메인의 특징에 맞춰 주 네트워크의 파라미터를 생성하는 법을 학습합니다.
  2. 추론 단계에서 새로운 타겟 도메인 (훈련 시 보지 못한 도메인) 의 데이터가 들어오면, 도메인 분류기가 해당 도메인의 특징 벡터를 추출합니다.
  3. 하이퍼네트워크는 이 벡터를 기반으로 주 네트워크의 파라미터를 실시간으로 조정 (Interpolation) 하여, 해당 도메인에 최적화된 모델을 즉시 생성합니다.
  4. 이는 훈련된 도메인 공간 내에서 새로운 도메인을 선형 결합으로 표현하고, 이에 맞춰 파라미터를 보간하는 원리로 작동합니다.

• 손실 함수 (Loss Functions):

  • 주 작업 손실 ($L_{task}$): 분류 또는 회귀 작업의 정확도를 위한 손실.
  • 도메인 분류 손실 ($L_{CE}$): 입력 이미지를 올바른 소스 도메인으로 분류하도록 함.
  • 다중 유사도 손실 ($L_{MSim}$): 도메인 특징 벡터가 명확하게 군집화되도록 하여 도메인 간 구분을 명확히 하고, 하이퍼네트워크가 생성하는 가중치가 도메인 특성을 잘 반영하도록 유도합니다.

3. 주요 기여 (Key Contributions)

1. 테스트 시간 도메인 적응 (TTDA) 프레임워크: 훈련 시 타겟 도메인 데이터가 필요 없으며, 추론 시에만 도메인 정보를 활용하여 동적으로 적응하는 새로운 하이퍼네트워크 기반 접근법 제시.
2. 도메인 차이의 적극적 활용: 도메인 불변 특징을 강제로 학습하는 기존 방식과 달리, 도메인 특성을 모델 파라미터 생성에 직접 활용하여 unseen 도메인에도 효과적으로 일반화됨.
3. 작업 및 모달리티 독립성 (Task & Modality Agnostic): MRI 뇌 나이 예측과 흉부 X-ray 병리 분류라는 서로 다른 작업과 영상 모달리티에서 모두 유효함을 입증하여 범용성을 확보.
4. 실시간 적응 가능성: 임상 환경에서 실시간으로 변하는 데이터 특성에 맞춰 모델을 즉시 조정할 수 있는 가능성 제시.

4. 실험 결과 (Results)

저자들은 두 가지 임상적으로 중요한 작업에서 HyDA 를 검증했습니다.

• 흉부 X-ray 병리 분류 (Chest X-ray Pathology Classification):

  • 데이터: NIH, CheXpert, VinDr 등 3 개의 공개 데이터셋 (90,570 장) 을 사용.
  • 비교 대상: 베이스라인 (적응 없음), UDA 방법 (Soft MDAN), TTDA 방법 (TENT).
  • 결과: HyDA 는 모든 타겟 도메인 (NIH, CheXpert, VinDr) 에서 베이스라인 및 기존 방법들보다 높은 AUC 성능을 기록했습니다. 특히 도메인 특징이 명확하게 군집화된 경우 (CheXpert, VinDr) 성능 향상이 두드러졌습니다.

• MRI 뇌 나이 예측 (MRI Brain Age Prediction):

  • 데이터: 19 개의 뇌 MRI 데이터셋 (26,691 스캔).
  • 비교 대상: Fully Supervised 및 Leave-One-Out (LOO) 설정.
  • 결과: HyDA 는 훈련된 도메인을 제외한 새로운 도메인 (LOO 설정) 에서도 베이스라인보다 낮은 MAE (평균 절대 오차) 를 보여주며 우수한 일반화 성능을 입증했습니다.
  • t-SNE 시각화: 훈련되지 않은 도메인의 샘플들이 훈련된 도메인 특징 공간 내에서 자연스럽게 위치 (보간) 함을 시각적으로 확인했습니다.

• Ablation Study:

  • 손실 함수의 각 구성 요소 (Cross-Entropy, Multi-Similarity 등) 가 성능 향상에 기여함을 확인했습니다.
  • 하이퍼네트워크가 생성하는 외부 레이어의 조합이 내부 레이어와 적절히 결합될 때 최적의 성능을 보임을 입증했습니다.

5. 의의 및 결론 (Significance)

HyDA 는 의료 영상 분석 모델의 배포 장벽을 낮추는 중요한 기술적 진전을 이루었습니다.

• 임상 적용성: 타겟 데이터 수집 및 레이블링 없이도 실시간으로 모델 성능을 최적화할 수 있어, 다양한 병원 환경과 장비에서 발생하는 데이터 편향을 효과적으로 해결합니다.
• 강건한 일반화: 도메인 간 보간 능력을 통해 완전히 새로운 도메인에서도 안정적인 성능을 보장합니다.
• 범용성: 특정 작업이나 영상 방식에 국한되지 않고 다양한 의료 AI 애플리케이션에 통합 가능한 유연한 아키텍처를 제공합니다.

결론적으로, HyDA 는 도메인 시프트를 제거하려는 시도가 아니라, 이를 모델의 적응 메커니즘으로 활용함으로써 보다 신뢰성 있고 유연한 의료 영상 분석 시스템을 구축할 수 있는 새로운 방향을 제시합니다.