RAP: Retrieve, Adapt, and Prompt-Fit for Training-Free Few-Shot Medical Image Segmentation

1. 문제 정의 (Problem)

의료 영상 분할 (Medical Image Segmentation) 은 임상 진단 및 치료 계획에 필수적이지만, 픽셀 수준의 주석 (annotation) 을 얻는 데는 비용과 시간이 많이 듭니다. 이를 해결하기 위해 등장한 Few-Shot Medical Image Segmentation (FSMIS, 소수 샷 의료 영상 분할) 은 몇 개의 레이블이 있는 지원 이미지 (support images) 만으로 새로운 클래스를 분할하는 것을 목표로 합니다. 그러나 기존 방법들은 다음과 같은 한계를 가집니다:

• 과도한 의존성: 주로 희소한 주석에서 추출된 의미적 대응 (semantic correspondences) 에만 의존하여, 단일 지원 이미지 선택에 취약합니다.
• 일반화 부족: 특정 태스크에 대한 학습 (fine-tuning) 이 필요하여 다른 도메인이나 모달리티로 확장하기 어렵습니다.
• 해부학적 사전 지식 미활용: 환자 간에 반복적으로 나타나는 고주파수 형태 (경계 기하학, 공간 배치 등) 와 같은 의료 영상의 고유한 특성을 충분히 활용하지 못합니다.

2. 제안 방법: RAP (Methodology)

저자들은 RAP (Retrieve, Adapt, Prompt-Fit) 라는 학습이 필요 없는 (Training-Free) 프레임워크를 제안합니다. 이 방법은 사전 훈련된 비전 기반 모델 (DINOv3, SAM2) 과 기하학적 형태 사전 지식 (Shape Priors) 을 결합하여 3 단계로 작동합니다.

A. Retrieve (검색)

• 목적: 데이터베이스에서 쿼리 이미지와 해부학적으로 가장 호환되는 지원 이미지를 찾습니다.
• 기법: DINOv3를 사용하여 이미지에서 의미론적 글로벌 특징 (global descriptors) 을 추출합니다.
• 프로세스: 쿼리 이미지와 지원 이미지 데이터베이스 간의 코사인 유사도를 계산하여 가장 유사한 상위 k 개를 검색합니다. (실제 구현에서는 자기 일치 (self-matching) 아티팩트를 피하기 위해 2 순위 매칭을 선택합니다.)

B. Adapt (적응)

• 목적: 검색된 지원 마스크의 형태를 쿼리 이미지의 도메인 변화 (스캐너, 프로토콜 차이 등) 에 맞춰 조정합니다.
• 세부 단계:
  1. 주파수 도메인 스타일 적응 (Frequency-domain Style Adaptation): 이산 웨이블릿 변환 (DWT) 을 사용하여 이미지의 저주파 대역 (전체 밝기/대비) 은 쿼리 이미지의 것으로 교체하고, 고주파 대역 (경계/텍스처) 은 지원 이미지의 것으로 유지하여 스타일을 정렬합니다.
  2. DINO 기반 시맨틱 게이팅 (Semantic Gating): DINO 특징을 기반으로 지원 마스크를 클러스터링하고, 쿼리 이미지와의 유사도를 계산하여 타겟 구조가 나타날 가능성이 높은 영역을 가리는 마스크 (Gating Mask) 를 생성합니다.
  3. 방향성 체르 매칭 (Oriented Chamfer Matching): 쿼리 이미지의 에지 맵과 지원 마스크의 경계점 (법선 방향 포함) 을 정렬합니다. 회전, 스케일, 이동을 고려하여 방향성 (gradient direction) 을 인식하는 체르 거리 (Chamfer Distance) 를 최소화하는 최적의 변환을 찾습니다. 이를 통해 도메인 이동 하에서도 일관된 해부학적 구조를 가진 예비 마스크 (Pre-mask) 를 생성합니다.

C. Prompt-Fit (프롬프트 피팅)

• 목적: 생성된 예비 마스크를 SAM2 (Segment Anything Model 2) 에 입력할 수 있는 최적의 프롬프트 (점, 박스) 로 변환합니다.
• 세부 단계:
  1. Voronoi 기반 양 (+) 점 생성: 예비 마스크 영역에 Farthest Point Sampling (FPS) 을 적용하여 시드 점을 생성한 후, Voronoi 분할을 통해 각 셀의 중심점을 양 (+) 프롬프트로 사용합니다. 이는 타겟 영역 전체를 고르게 커버합니다.
  2. 섹터 기반 음 (-) 점 생성: 마스크 경계를 각도 섹터로 나누고, 각 섹터의 외부 영역에서 DINO 유사도가 낮은 점들을 음 (-) 프롬프트로 샘플링합니다.
  3. SAM2 추론: 생성된 양/음 점 프롬프트와 경계 상자 (Bounding Box) 를 SAM2 에 입력하여 최종 분할 마스크를 얻습니다. 이 과정에서는 그라디언트 업데이트 (학습) 가 전혀 발생하지 않습니다.

3. 주요 기여 (Key Contributions)

1. RAP 프레임워크: 비전 기반 모델과 기하학적 형태 사전 지식을 시너지 있게 결합한 새로운 학습이 필요 없는 (Training-Free) Few-Shot 의료 영상 분할 프레임워크를 제안했습니다.
2. 강건한 형태 적응: DINO 기반 시맨틱 게이팅이 적용된 방향성 체르 매칭 (Oriented Chamfer Matching) 알고리즘을 도입하여, 다양한 도메인과 외관 변화에도 지원 이미지에서 쿼리 이미지로의 형태 적응을 효과적으로 수행합니다.
3. 기하학적 인식 프롬프트 생성: Voronoi 분할과 섹터 기반 샘플링을 통해 SAM2 의 분할 품질을 극대화하는 기하학적 인식 프롬프트 생성 전략을 설계했습니다.
4. 성능 입증: 여러 의료 영상 벤치마크에서 기존 SOTA 방법들을 능가하는 성능을 달성하면서도 추가 학습이 필요 없음을 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋: Abd-MRI (복부 MRI), Abd-CT (복부 CT), Card-MRI (심장 MRI) 등 3 개의 다양한 모달리티 데이터셋에서 평가되었습니다.
• 성능:
  • Abd-MRI: 평균 Dice 점수 69.16% (기존 최강자 MAUP 대비 2.07% 향상).
  • Abd-CT: 평균 Dice 점수 69.56% (MAUP 대비 2.10% 향상).
  • Card-MRI: 평균 Dice 점수 75.27% (MAUP 대비 2.14% 향상). 특히 얇은 심근 (LV-MYO) 과 우심실 (RV) 분할에서 큰 개선을 보였습니다.
• Ablation Study: 각 모듈 (방향성 체르 매칭, 시맨틱 게이팅, Voronoi 프롬프트) 이 점진적으로 성능을 향상시키는 것을 확인했습니다.
• 비교: 학습이 필요한 기존 방법들 (PANet, SSL-ALPNet 등) 과 비교했을 때, 학습이 필요 없는 MAUP 보다도 우수한 성능을 기록했습니다.

5. 의의 및 결론 (Significance)

• 즉시 배포 가능성: 새로운 도메인이나 모달리티에 대해 모델 재학습 (fine-tuning) 없이도 즉시 적용 가능합니다.
• 강건성: 다양한 스캐너와 프로토콜로 인한 외관 변화에 강건하며, 해부학적 구조의 기하학적 특성을 명시적으로 활용합니다.
• 효율성: 그라디언트 기반 최적화 없이 사전 훈련된 모델 (DINOv3, SAM2) 만을 활용하여 계산 비용과 시간을 절감하면서도 높은 정확도를 달성합니다.
• 미래 전망: 이 연구는 명시적인 구조적 피팅 (structural fitting) 과 검색 기반 프롬프팅 (retrieval-augmented prompting) 이 학습이 필요 없는 강건한 Few-Shot 의료 분할을 위한 간단하고 효과적인 경로임을 보여줍니다. 향후 3D 볼륨 분할로 확장할 계획입니다.