RobustMedSAM: Degradation-Resilient Medical Image Segmentation via Robust Foundation Model Adaptation

1. 문제 정의 (Problem)

의료 영상 분할 (Segmentation) 은 임상 워크플로우에 필수적이지만, 실제 임상 환경에서는 노이즈, 블러, 모션 아티팩트, 모달리티 특유의 왜곡 등 다양한 영상 열화 (Degradation) 가 발생하여 모델의 신뢰성이 크게 저하됩니다.

• 기존 방법의 한계:
  • SAM (Segment Anything Model): 자연 영상에서 강력한 제로샷 성능을 보이지만, 의료 도메인 특성과 영상 열화에 취약합니다.
  • MedSAM: 대규모 의료 데이터로 파인튜닝되어 의료 도메인 지식은 갖추었으나, 주로 깨끗한 (Clean) 데이터와 바운딩 박스 프롬프트에 최적화되어 있어 열화된 영상에서는 성능이 급격히 떨어집니다.
  • RobustSAM: 자연 영상의 열화에 강인하도록 마스크 디코더를 개선했으나, 의료 도메인 특유의 해부학적 지식이 부족합니다.
• 핵심 문제: 기존 연구들은 의료 도메인 적응 (Medical Adaptation) 과 열화 강인성 (Corruption Robustness) 중 하나만 다루거나, 두 가지를 동시에 해결하지 못했습니다.

2. 방법론 (Methodology)

저자들은 의료 도메인 지식 (Medical Priors) 과 열화 강인성 (Degradation Robustness) 이 SAM 아키텍처 내에서 서로 다른 모듈에 집중되어 있다는 관찰에서 출발했습니다.

• 관찰: 이미지 인코더는 의료적 사전 지식을 유지하고, 마스크 디코더는 열화 강인성을 담당합니다.
• 제안 모델: RobustMedSAM
  • 모듈별 체크포인트 융합 (Module-wise Checkpoint Fusion):
    • Image Encoder & Prompt Encoder: MedSAM 에서 초기화 (의료적 특성 유지).
    • Mask Decoder: RobustSAM 에서 초기화 (열화 강인성 확보).
    • ViT-B 아키텍처를 공유하여 호환성을 확보합니다.
  • 학습 전략:
    • Encoder 고정 (Freezing): MedSAM 의 인코더와 프롬프트 인코더는 고정하여 의료적 표현을 보존합니다.
    • Decoder 파인튜닝: RobustSAM 에서 초기화된 디코더만 MedSegBench(35 개 의료 데이터셋, 6 개 모달리티, 12 가지 열화 유형) 에서 파인튜닝합니다.
    • Clean-Degraded Consistency Training: 각 샘플에 대해 깨끗한 이미지와 열화된 이미지를 쌍으로 생성합니다. 인코더는 공유하고 디코더는 두 가지 입력을 처리하도록 훈련합니다.
    • 손실 함수 (Loss):
      • 분할 손실 (Dice + Focal Loss): 열화된 브랜치에만 적용.
      • 일관성 손실 (Mask Feature & Token Consistency): 깨끗한 브랜치와 열화된 브랜치의 중간 특징 및 토큰이 일치하도록 MSE 손실을 부과하여 열화 불변 특징을 학습합니다.
  • SVD 기반 효율적 적응 (Optional): 인코더의 완전한 파인튜닝 대신, 특이값 분해 (SVD) 를 통해 가중치 행렬의 특이값만 업데이트하는 경량화 방식을 제안합니다.

3. 주요 기여 (Key Contributions)

1. 상호 보완적 모델 융합의 유효성 입증: MedSAM 의 인코더와 RobustSAM 의 디코더를 결합하는 모듈별 체크포인트 융합이 의료 도메인 적응과 열화 강인성을 동시에 달성하여, 35 개 데이터셋에서 각 부모 모델보다 평균적으로 우수한 성능을 보임을 증명했습니다.
2. 디코더 중심의 효율적 적응: 인코더를 고정하고 디코더만 파인튜닝하는 방식이 깨끗한 영상의 정확도를 유지하면서 열화된 영상에서의 Dice 점수를 SAM 대비 +0.106 만큼 향상시킵니다. 반면, SVD 기반 인코더 적응은 강인성과 깨끗한 영상 성능 간의 트레이드오프를 유발하여 비추천됩니다.
3. 포괄적인 평가: 6 개 모달리티, 12 가지 열화 유형, 다양한 프롬프트 설정 (포인트, 바운딩 박스) 에 대한 평가를 통해 모듈 융합이 언제 효과적이고 (의료 특이적 열화, 포인트 프롬프트), 어디에서 한계가 있는지 (위상 민감 구조, 박스 프롬프트) 를 체계적으로 규명했습니다.

4. 실험 결과 (Results)

• 주요 성능 지표 (MedSegBench, 포인트 프롬프트 기준):
  • RobustMedSAM: 평균 Dice 0.719
  • SAM: 0.613 (RobustMedSAM 대비 -0.106)
  • RobustSAM: 0.632
  • MedSAM: 0.201 (포인트 프롬프트에서 심각한 성능 저하)
• 성능 분석:
  • 강인성 향상: 열화된 영상에서 SAM 대비 Dice 를 0.106 포인트 향상시켰으며, 특히 MRI 의 Rician 노이즈, 초음파의 스펙클 노이즈 등 모달리티 특이적 열화에서 큰 개선을 보였습니다.
  • Out-of-Distribution (OOD) 일반화: 보지 못한 6 개 데이터셋에서 평균 Dice 를 0.455(SAM) 에서 0.493 으로 향상시켰습니다.
  • 클린 영상 성능 유지: 열화 강인성을 높였음에도 깨끗한 영상에서의 성능은 SAM 과 유사하게 유지되었습니다.
  • 프롬프트 민감도: 포인트 프롬프트 (K=3) 에서 MedSAM 보다 월등히 우수하며, 바운딩 박스 프롬프트에서도 MedSAM 과 경쟁 가능한 성능을 보입니다.
• 한계: 매우 얇은 혈관이나 미세 구조물 (Topology-sensitive) 이 포함된 데이터셋에서는 인코더의 미세 특징이 중요하여 디코더 중심의 강인성만으로는 성능 향상이 제한적이었습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 구조화된 사전 학습 모델의 융합 (Structured Fusion) 이 의료 영상 분할의 강인성을 확보하는 실용적이고 효과적인 접근법임을 입증했습니다.

• 실용성: 새로운 모델을 처음부터 학습할 필요 없이, 기존에 훈련된 상보적인 모델 (MedSAM, RobustSAM) 의 모듈을 재조합하고 디코더만 경량 파인튜닝함으로써 높은 성능을 달성합니다.
• 임상적 가치: 실제 임상 환경에서 흔히 발생하는 영상 열화 (노이즈, 모션 등) 에 강인하면서도 해부학적 구조를 정확하게 분할할 수 있는 모델을 제공하여, 자동화 의료 진단 시스템의 신뢰성을 높이는 데 기여합니다.
• 향후 방향: 실제 임상 아티팩트 (환자 움직임, 하드웨어 노이즈 등) 에 대한 검증과, 열화 인식 훈련이 적용된 MedSAM 베이스라인 비교 등이 향후 연구 과제로 제시되었습니다.