기술 요약: OpenWell: 개방형 세계 의료 영상 분할을 위한 에너지 기반 상호작용적 발견

1. 문제 정의

볼륨 기반 의료 영상 분할은 현재 고정되고 완전히 알려진 시맨틱 카테고리에 의존하는 **폐쇄 집합 가정(closed-set assumptions)**에 크게 의존하고 있습니다. 이러한 패러다임은 훈련 분포에 존재하지 않는 미지의 해부학적 변이, 희귀 병변 또는 아티팩트가 포함된 실제 임상 시나리오에서 실패합니다. 분포 외(Out-of-Distribution, OOD) 데이터와 직면했을 때, 표준 세그멘테이션 네트워크는 종종 실패하거나 안전하지 않은 예측을 생성합니다.

새로운 구조를 처리하기 위한 기존 방식은 일반적으로 새로운 주석이 달린 데이터로 네트워크를 재학습하거나 미세 조정(fine-tuning)하는 과정을 포함하며, 이는 계산 비용이 많이 들고 시간이 오래 걸리며 이전에 학습된 클래스에 대한 **파괴적 망각(catastrophic forgetting)**을 초래하기 쉽습니다. 또한, 기존의 많은 OOD 탐지 방법은 폐쇄 집합 과업을 위해 학습된 표현(representation)에 대한 사후 스코어링 메커니즘으로 작동하여, 미지의 클래스의 임베딩이 알려진 클래스가 점유한 영역 내에 위치하게 되는 시맨틱 중첩 문제를 일으킵니다. 따라서 알려진 구조를 계속 분할하면서 동시에 이전에 보지 못한 해解학적 구조를 식별하고, 그래디언트 기반의 재학습 없이도 이러한 새로운 구조에 적응할 수 있는 시스템에 대한 절실한 필요성이 존재합니다.

2. 방법론: OpenWell

OpenWell은 에너지 기반 프레임워크로서, 개방형 세계 발견과 상호작용적 적응 사이의 간극을 메웁니다. 이 모델은 해부학적 표현 학습을 유클리드 공간에서의 결정론적 프로토타입이 아닌, 단위 초구(unit hypersphere) 상의 **확률적 에너지 우물(probabilistic energy wells)**로 모델링함으로써 재정의합니다.

2.1 초구 특징 표현 (Hyperspherical Feature Representation)

OpenWell은 하이브리드 아키텍처(Swin-UNETR 백본과 U-Net 디코더)를 채택하여 복셀 임베딩을 단위 초구($S^{F-1}$)로 투영합니다. 이는 특징 노름(feature norm)의 자유도를 제거하여, 복셀의 정체성을 코사인 유사도에 의한 방향으로만 인코딩함으로써 다기관 의료 영상에서 흔히 발생하는 전역적 대비 및 강도 변화에 불변하도록 합니다.

• 이중 헤드 설계(Dual-Head Design): 프레임워크는 vMF 임베딩 공간과는 독립적으로, 강도 임계값을 사용하여 해부학적 구조와 공기(air)를 분리하도록 훈련된 전용 이진 전경(foreground) 헤드($g_\phi$)를 사용합니다. 이는 배경 시맨틱이 클래스 구분에 사용되는 에너지 지형을 오염시키는 것을 방지합니다.

2.2 확률적 에너지 우물 (vMF 분포)

각 해부학적 클래스 $c$는 결정론적인 평균 벡터 대신 폰 미제스-피셔(von Mises-Fisher, vMF) 분포로 모델링됩니다:
$$p(z | \mu_c, \kappa_c) = C_F(\kappa_c) \exp(\kappa_c \mu_c^\top z)$$

• $\mu_c$ (평균 방향): 클래스의 시맨틱 중심을 나타냅니다.
• $\kappa_c$ (집중도): 클래스 내 변동성(intra-class variability)의 역수를 인코딩합니다. 높은 $\kappa$는 형태학적으로 일관된 장기(깊고 좁은 우물)를 나타내며, 낮은 $\kappa$는 이질적인 구조(얕고 넓은 우물)를 나타냅니다.
• 동적 메모리 뱅크(Dynamic Memory Bank): 충분 통계량 $(\mu_c, \kappa_c)$는 지수 이동 평균(EMA)을 통해 업데이트되는 메모리 뱅크에 유지됩니다. 이를 통해 시스템은 엔드 투 엔드 프로토타입 최적화 없이도 데이터를 통해 클래스 응집도를 적응적으로 학습할 수 있습니다.
• 배경 제약(Background Constraint): "시맨틱 붕괴(semantic collapse)"를 방지하기 위해 배경 클래스에 대해 하한 $\kappa_0 \le \tau_{bg}$를 부과합니다. 이는 배경 우물을 얕고 넓게 유지하여 실제 해부학적 신규성이 배경으로 잘못 흡수되지 않도록 보장합니다.

2.3 학습 및 훈련

프레임워크는 2단계 훈련 커리큘럼을 활용합니다:

1. 세그멘테이션 웜업(Segmentation Warm-up): 모델은 안정적인 세그멘테이션 솔루션을 구축하기 위해 Dice-Cross Entropy (Dice-CE) 손실만을 사용하여 수렴합니다.
2. 결합 기하학적 미세 조정(Joint Geometric Fine-tuning): 코사인 어닐링 가중치가 적용된 **vMF-대조 학습 손실(vMF-Contrastive Loss)**이 도입됩니다. 이 손실은 알려진 클래스의 에너지를 최소화하는 동시에 클래스 내 변동성을 명시적으로 모델링하여, 알려진 매니폴드와 잠재적 신규성을 분리하도록 초구 기하학을 형성합니다.

2.4 게이트형 자유 에너지(Gated Free Energy)를 통한 Open-Set 탐지

알려진 구조와 일반적인 배경 노이즈를 구분하기 위해, OpenWell은 게이트형 자유 에너지 스코어링 메커니즘을 도입합니다:

1. 원시 자유 에너지 ($F(z)$): 복셀이 알려진 장기의 매니폴드와 얼마나 부합하지 않는지를 측정합니다.
2. 적응형 임계값: 동적 임계값 $\lambda(t)$는 알려진 클래스 복셀들의 자유 에너지 값의 95 백분위수를 기준으로 설정됩니다.
3. 게이팅(Gating): 최종 신규성 점수 $S(z_v)$는 전경 확률 $p_{fg,v}$와 정류된 자유 에너지의 곱입니다:
   $$S(z_v) = p_{fg,v} \cdot \text{ReLU}(F(z_v) - \lambda(t))$$
   이 게이트는 배경으로 확신되는 영역에서의 높은 에너지 노이즈를 억제하여, 실제 해부학적 신규성만을 격리합니다.

2.5 상호작용적 원샷 등록 (Interactive One-Shot Enrollment)

새로운 영역이 탐지되면, 임상의는 단 한 번의 클릭을 제공합니다. OpenWell은 적응을 지형 수정 문제로 취급합니다:

• 즉각적 등록(Instant Enrollment): 시스템은 가우시안 가이드 맵과 전경 확률에 의해 가중치가 부여된 클릭된 영역의 국소적 충분 통계량을 집계하여 새로운 $(\mu_{new}, \kappa_{new})$를 계산합니다.
• 재학습 없음: 이 새로운 튜플은 즉시 메모리 뱅크에 추가되어 새로운 에너지 우물을 "파냅니다". 모델은 그래디언트 기반의 재학습이나 백본 파라미터 업데이트 없이 현재 및 향후 스캔에서 이 새로운 구조를 전역적으로 분할할 수 있습니다.

3. 주요 기여

1. 확률적 에너지 기반 프레임워크: OpenWell은 vMF 분포를 사용하여 초구 상의 확률적 에너지 우물로 해부학적 클래스를 모델링하며, 이를 통해 시맨틱 정체성과 클래스 내 변동성을 모두 포착합니다.
2. 에너지 기반 표현 학습: 자유 에너지 기반 신규성 탐지를 지원하기 위해 클래스 내 변동성을 명시적으로 모델링하는 vMF-대조 학습 목적 함수를 도입합니다.
3. 열역학적 신규성 탐지: 헤우리스틱한 거리 기반 임계값 설정을 대체하여, 배경 노이즈를 효과적으로 필터링하는 확률론적으로 근거 있는 호환성 척도인 통합 게이트형 자유 에너지 스코어링 메커니즘을 제안합니다.
4. 상호작용적 원샷 적응: 단 한 번의 사용자 상호작용을 통해 새로운 에너지 우물을 메모리 뱅크에 주입함으로써 미지의 구조에 대한 전역적 세그멘테이션을 수행하는 즉각적 등록 메커니즘을 개발하여, 재학습 없이 적응을 실현합니다.

4. 실험 결과

OpenWell은 CT 및 MRI 모달리티를 포함하는 4개의 3D 의료 영상 벤치마크(AMOS, BTCV, MSD-Pancreas, TotalSegmentator-MRI)에서 평가되었습니다.

• 폐쇄 집합 세그멘테이션: OpenWell은 알려진 구조에 대해 경쟁력 있는 Dice 점수(예: AMOS에서 91.85, BTCV에서 89.45)를 달성하였으며, 이전의 결정론적 프로토타입 기반 방법(MedOpenSeg)보다 1.3~1.7 포인트 앞섰습니다. 이는 기하학적 제약이 효과적인 정규화 도구로 작용함을 시사합니다.
• Open-Set 탐지: OpenWell은 알려진 구조와 미지의 구조를 구분하는 데 있어 폐쇄 집합 베이스라인, 오픈셋 베이스라인, 그리고 파운데이션 모델(MedSAM, SAM-Med2D)을 크게 능가했습니다.
  • AMOS에서 80.40 AUROC를 달성하여 MedOpenSeg보다 1.2 포인트, MedSAM보다 10 포인트 이상 높은 성능을 보였습니다.
  • BTCV에서 71.20 AUROC를 기록하며 MedOpenSeg 대비 +3.07의 개선을 보였습니다.
  • MSD-Pancreas에서는 종양 탐지를 위해 77.50 AUROC를 달성했습니다.
• 상호작용적 등록: 단 한 번의 시뮬레이션 클릭 후, OpenWell은 그래디언트 업데이트 없이도 미지의 구조에 대해 44.8에서 57.6 사이의 Dice 점수를 달성했습니다.
• 교차 스캔 전이(Cross-Scan Transfer): 등록된 우물은 추가적인 상호작용 없이 새로운 타겟 볼륨에 적용되었을 때 소스 볼륨 Dice 성능의 **91.5%에서 94.6%**를 유지했습니다.
• 절제 연구(Ablation Studies):
  • 초구 투영과 vMF 손실을 제거하면 AUROC가 급격히 하락(71.20에서 50.25로)했습니다.
  • 배경 농축 클램프($\kappa_0 \le \tau_{bg}$)를 제거하면 AUROC가 55.30으로 감소하여, 시맨틱 붕괴를 방지하는 데 있어 해당 제약의 필요성을 확인했습니다.
  • 게이트형 자유 에너지 메커니즘은 원시 자유 에너지 및 코사인 거리 기반 베이스라인보다 훨씬 뛰어난 성능을 보였습니다.

5. 의의 및 주장

본 논문은 OpenWell이 의료 영상 분할을 결정론적인 프로토타입 매핑에서 열역학적 에너지 지형으로 근본적으로 전환시킨다고 주장합니다. 확률적 분포를 가진 메모리 뱅크를 활용하고 훈련 중에 임베딩 공간을 명시적으로 형성함으로써, 시스템은 다음을 수행할 수 있습니다:

1. OOD 구조를 높은 충실도로 탐지하여, 실제 해부학적 신규성과 배경 노이즈를 효과적으로 구분합니다.
2. 단 한 번의 사용자 상호작용을 통해 즉각적으로 적응하며, 재학습에 따른 계산 비용과 파괴적 망각의 위험을 우회합니다.
3. 오픈셋 인식과 지속 학습 사이의 간극을 메워, 임상의와 함께 지속적으로 학습하는 세그멘테이션 시스템을 위한 청사진을 제공합니다.

저자들은 복잡하고 산재된 병변을 단 한 번의 클릭으로 처리하는 데 어려움이 있을 수 있다는 점, 배경 캡(cap)의 하이퍼파라미터 특성(비록 테스트 범위 전반에서 견고하지만), 그리고 현재 복부 해부학에 집중되어 있다는 점 등의 한계를 언급했습니다. 그러나 본 연구는 통계적으로 원칙에 기반하면서도 실용적으로 상호작용 가능한, 개방형 세계 의료 영상 분할을 위한 새로운 패러다임을 구축했습니다.