기술 요약: 의료 영상 분할을 위한 SAM3용 CM-TTA

문제 정의

SAM3(Segment Anything Model 3)와 같은 시각-언어 모델은 자연 이미지에서 강력한 제로샷 일반화 능력을 보여주지만, 영상의 원리와 스타일 측면에서의 상당한 도메인 격차로 인해 의료 영상에서는 성능이 크게 저하됩니다. 기존의 테스트 시간 적응(Test-Time Adaptation, TTA) 방식은 의료 환경에서 다음과 같은 두 가지 주요 한계에 직면합니다:

1. 부적절한 평가 지표: 기존의 시각-언어 TTA 접근 방식은 주로 이미지 수준의 불확실성 최소화(예: 엔트로피 또는 분산)에 크게 의존합니다. 이러한 지표는 정밀한 의료 분할에 필수적인 영역 수준의 의미론적 정확성을 반영하는 데 실패하는 경우가 많습니다.
2. 지속적 적응의 불안정성: 기존 방법들은 일반적으로 즉각적으로 업데이트된 파라미터만을 추적하므로, 현재 테스트 배치에 민감하며 신뢰할 수 있는 조밀한 감독(Ground Truth)을 사용할 수 없는 장기적인 일회성(one-pass) 적응 과정에서 불안정해지기 쉽습니다.

방법론: CM-TTA

저자들은 **개념 정렬 대조 및 장단기 프롬프트 메모리를 이용한 테스트 시간 적응(Concept Alignment Contrast and Long-Short Prompt Memory for Test-Time Adaptation, CM-TTA)**을 제안합니다. 이 프레임워크는 비전 인코더, 텍스트 인코더, 디텍터를 고정한 상태에서 학습 가능한 텍스트 프롬프트 토큰 임베딩($T$)만을 업데이트하여, 보지 못한 의료 도메인에 SAM3를 적응시킵니다. 이 방법은 각 테스트 샘플을 정확히 한 번씩 처리하는 일회성 지속적 TTA 프로토콜 하에서 작동합니다.

프레임워크는 세 가지 핵심 구성 요소로 이루어집니다:

1. 개념 정렬 대조 (Concept Alignment Contrast, CAC)

전통적인 불확실성 지표의 의미론적 가이드 부족 문제를 해결하기 위해, CAC는 텍스트 유도 품질 점수를 도입합니다.

• 메커니즘: 여러 증강된 뷰(augmented views)가 있는 테스트 이미지에 대해, 예측된 전경(foreground) 및 배경(background) 영역의 시각적 특징과 텍스트 프롬프트 임베딩 사이의 코사인 유사도를 계산합니다.
• 점수 계산: CAC 점수($C_i$)는 전경-텍스트 유사도와 배경-텍스트 유사도의 차이로 정의됩니다: $C_i = \text{sim}(\bar{z}_{i,fg}, t_i) - \text{sim}(\bar{z}_{i,bg}, t_i)$.
• 기능: 이 지표는 텍스트 기반의 의미론적 일관성을 명시적으로 활용하여 예측 품질을 평가합니다. 가장 높은 CAC 점수를 가진 증강 뷰($X^*_i$)가 후속 적응 단계를 위한 최적의 뷰로 선택됩니다.

2. 장단기 프롬프트 메모리 (Long-Short Prompt Memory, LSPM)

빠른 국소 적응과 장기적 안정성 사이의 균형을 맞추기 위해, 저자들은 이중 메모리 모듈을 설계했습니다:

• 단기 프롬프트 메모리 (Short Prompt Memory, SPM): 최근의 프롬프트와 그에 대응하는 최적의 CAC 점수를 담은 FIFO(First-In-First-Out) 뱅크를 유지합니다. 이들은 CAC 점수를 가중치로 사용하여 동적인 단기 프롬프트($T^{short}_i$)를 생성하며, 이를 통해 국소적 분포 변화에 기민하게 적응합니다.
• 장기 프롬프트 메모리 (Long Prompt Memory, LPM): 단기 프롬프트의 지수 이동 평균(EMA)을 통해 업데이트되는 글로벌 프롬프트($T^{long}_i$)를 유지합니다. 이는 안정적인 의미론적 앵커 역할을 하여, 파괴적 망각을 방지하고 시간이 경과함에 따라 안정성을 보장합니다.

3. 조밀한 감독 기반 프롬프트 업데이트 (Densely Supervised Prompt Update, DSPU)

정답(Ground Truth) 없이 프롬프트 임베딩을 최적화하기 위해, 저자들은 조밀한 감독 전략을 제안합니다:

• 강화된 의사 라벨 (Enhanced Pseudo-Labels): 안정적인 장기 프롬프트($T^{long}_i$)를 CAC가 선택한 최적의 뷰($X^*_i$)에 적용하여 부드러운 의사 라벨($P'_i$)을 생성합니다.
• 손실 함수:
  • 조밀한 감독 손실 ($\mathcal{L}_d$): 부드러운 Dice 손실을 사용하여 모든 증강 뷰(단기 프롬프트 사용)의 예측이 강화된 의사 라벨과 일치하도록 유도합니다.
  • 대조 손실 ($\mathcal{L}_c$): CAC 점수를 최대화하여 텍스트-시각적 의미론적 정렬을 강화합니다.
  • 엔트로피 손실 ($\mathcal{L}_e$): 픽셀 단위 엔트로피를 최소화하여 확신 있는 예측을 유도합니다.
• 적용: $\mathcal{L}_c$와 $\mathcal{L}_e$는 저품질 예측에 대한 강화를 피하기 위해 CAC에 의해 선택된 최적의 뷰에만 적용됩니다. 전체 손실은 $\mathcal{L} = \mathcal{L}_d + \alpha\mathcal{L}_c + \beta\mathcal{L}_e$입니다.

주요 기여

1. 새로운 지표 (CAC): 의료 분할을 위한 신뢰할 수 있는 증강 뷰를 선택하는 데 있어 전통적인 이미지 수준 불확실성 측정치(엔트로피, 분산, KLD)보다 뛰어난 성능을 보이는 텍스트-시각적 의미론적 일관성 지표를 제시했습니다.
2. 안정적인 적응 구조 (LSPM): 국소 적응을 위한 동적인 단기 메모리와 글로벌 안정성을 위한 모멘텀 업데이트 방식의 장기 메모리를 결합함으로써, 지속적 TTA의 가소성-안정성 딜레마를 해결합니다.
3. 효율적인 조밀한 감독 (DSPU): 정답 없이도 단기 프롬프트의 적응을 감독할 수 있도록 안정적인 장기 프롬프트로부터 고품질의 의사 라벨을 생성하는 전략을 제안했습니다.
4. 파라미터 효율성: 정규화 층(TENT)이나 저차원 어댑터(TTL)를 업데이트하는 방식보다 훨씬 적은 수의 파라미터(1.02K)만을 업데이트합니다.

실험 결과

본 프레임워크는 두 가지 의료 데이터셋인 Promise12(전립선 분할)와 ISIC2018(피부 병변 분할)에서 평가되었습니다.

• 성능: CM-TTA는 기존 TTA 방법들(TPT, TTL, ZERO 포함) 및 적응되지 않은 SAM3 베이스라인보다 성능이 크게 향고되었습니다.
  • Promise12: Dice 점수 **73.96%**를 달성하였으며(최고 베이스라인인 TPT의 72.05% 대비), 평균 대칭 표면 거리(ASSD)를 10.91 픽셀로 줄였습니다.
  • ISIC2018: Dice 점수 **82.34%**를 달성하였으며(최고 베رش라인인 ZERO의 80.10% 대비), ASSD를 9.39 픽셀로 줄였습니다.
• 효율성: 추론 시간을 거의 늘리지 않았으며(적응되지 않은 SAM3의 0.31초 대비 0.57초), 매우 적은 학습 파라미터를 요구했습니다.
• 절제 연구 (Ablation Studies): 각 구성 요소(CAC, LSPM, DSPU)가 성능에 점진적으로 기여함을 확인했습니다. CAC는 다른 뷰 선택 지표보다 우수함이 입증되었으며, 하이퍼파라미터(메모리 길이 $L=16$, 대조 가중치 $\alpha=1.0$)는 데이터셋 전반에 걸쳐 일반화 가능함을 확인했습니다.

의의 및 주장

본 논문은 CM-TTA가 의료 분야에서 텍스트 기반 분할 모델에 적용될 때 발생하는 기존 불확실성 기반 TTA의 고유한 문제인 **과잉 확신(over-confidence)**과 **확증 편향(confirmation bias)**을 해결한다고 주장합니다. 다중 모달 의미론적 일관성(CAC를 통해)을 활용하고 가소성-안정성 트레이드오프를 탐색(LSPM을 통해)함으로써, 이 프레임워크는 효율적이고 자기 수정이 가능한 적응 루프를 구축합니다. 저자들은 이 연구가 데이터 분포 변화가 빈번하고 테스트 중 주석(annotation)을 사용할 수 없는 실제 임상 환경에 파운데이션 모델을 배포하는 데 있어 중요한 진전이라고 강조합니다. 또한, 이 프레임워크를 3D 볼륨 의료 분할로 확장하는 것이 향후 연구 방향임을 언급했습니다.