Boosting SAM for Cross-Domain Few-Shot Segmentation via Conditional Point Sparsification

기술 요약: 조건부 포인트 희소화를 통한 교차 도메인 퓨샷 세그멘테이션을 위한 SAM 강화

1. 문제 정의

Segment Anything Model (SAM)은 프롬프트 기반 세그멘테이션을 통해 인도메인(in-domain) 데이터셋(예: COCO)에서 전례 없는 세그멘테이션 능력을 입증했습니다. 최근의 training-free 방식들은 참조 이미지와 타겟 이미지 사이의 조밀한 포인트 매칭(dense point matching)을 사용하여 프롬프트를 생성함으로써 SAM을 퓨샷 세그멘테이션(FSS)에 활용해 왔습니다. 그러나 이러한 방법들은 의료(예: 피부 병변) 및 위성(예: 수역) 도메인과 같은 **교차 도메인 퓨샷 세그멘테이션(CD-FSS)**에 적용될 때 심각한 성능 저하를 겪습니다.

저자들은 이러한 실패가 SAM의 사전 학습 과정에서 학습된 포인트-이미지 상호작용을 방해하는 **거대한 도메인 시프트(domain shifts)**에서 기인한다는 점을 식별했습니다. 구체적으로는 다음과 같습니다:

• 특징 균질성(Feature Homogeneity): 교차 도메인 데이터셋의 객체(예: 피부 검반, 물)는 인도메인 데이터셋의 다양한 객체 부위(예: 머리, 다리, 꼬리가 있는 고양이)에 비해 더 균일하고 균질한 의미론적 특성을 보입니다.
• 프롬프트 밀도 불일치(Prompt Density Mismatch): SAM은 복잡한 형태를 처리하기 위해 조밀한 포인트(dense points)를 사용하도록 학습되었습니다. 그러나 교차 도메인 시나리오에서 이러한 조밀한 포인트들은 타겟 객체의 균질한 의미론적 특성상 더 적고 정보가 풍부한 포인트가 필요함에도 불구하고, 오히려 모호함과 노이즈를 유발합니다.
• 불일치성(Inconsistency): 기존 방식들은 인도메인 데이터에서는 견고하게 작동하지만, 조밀한 프롬프트가 교차 도메인 타겟에 적용될 경우, 설령 포인트들이 타겟 영역 내에 정확히 위치하더라도 일반화에 실패합니다.

2. 방법론: 조건부 포인트 희소화 (Conditional Point Sparsification, CPS)

본 논문은 교차 도메인 이미지를 위해 SAM의 상호작용을 적응적으로 가이드하도록 설계된 training-free 프레임워크인 **조건부 포인트 희소화(CPS)**를 제안합니다. 파이프라인은 네 가지 주요 단계로 구성됩니다:

A. 조밀한 포인트 매칭 및 경계 포인트 프루닝 (Dense Point Matching and Boundary Point Pruning)

1. 조밀한 매칭(Dense Matching): DINOv2 백본을 가진 Positive-Negative Alignment (PNA) 모듈을 사용하여 참조 이미지($I_r$)와 타겟 이미지($I_t$) 사이의 조밀한 대응 관계를 구축합니다. 이를 통해 타겟 이미지 상의 초기 후보 프롬프트 포인트 집합($P_t$)을 얻습니다.
2. 경계 포인트 프루닝(Boundary Point Pruning): 특징 맵과 원본 이미지 간의 해상도 차이로 인한 공간적 불일치를 완화하기 위해, 매칭된 포인트들의 볼록 껍질(convex hull)을 계산합니다. 볼록 껍질 경계에 위치한 포인트들을 제거하여 내부 포인트($\tilde{P}_t$)만을 유지합니다. 이 단계는 객체 경계 근처의 잠재적인 노이즈 프롬프트를 필터링합니다.

B. 적응형 포인트 희소화 (Adaptive Point Sparsification)

고정된 밀도를 사용하는 대신, CPS는 참조 이미지로부터 추론된 밀도를 기반으로 조밀한 포인트 집합 $\tilde{P}_t$를 희소화합니다.

1. 그리드 분할(Grid Partitioning): 타겟 이미지를 규칙적인 그리드로 나눕니다.
2. 중심점 선택(Centroid Selection): 포인트가 포함된 각 그리드 셀에 대해, 타겟 객체의 글로벌 중심점에 가장 가까운 포인트를 유지합니다. 이는 구조적 단서를 보존하면서 밀도를 줄입니다.

C. 조건부 밀도 룩업 (Conditional Density Lookup)

핵심 혁신은 최적의 희소화 밀도($D_{ref}$)를 동적으로 결정하는 것입니다:

1. 참조 평가(Reference Evaluation): 참조 이미지($I_r$)의 정답 마스크($M_r$)를 사용하여 후보 밀도 세트를 테스트합니다.
2. 최적화(Optimization): 각 후보 밀도에 대해 프롬프트 포인트를 샘플링하고, 이를 SAM에 입력한 후 생성된 마스크를 IoU(Intersection over Union)를 사용하여 $M_r$과 비교 평가합니다.
3. 선택(Selection): 가장 높은 IoU를 생성하는 밀도를 $D_{ref}$로 선택합니다. 이 조건부 밀도는 타겟 이미지의 포인트를 희소화하는 데 적용되어 $\hat{P}_t$를 생성합니다.

D. 사후 마스크 정제 (Post-hoc Mask Refinement)

희소한 프롬프트로 인해 발생하는 활성화 히트맵의 불연속성(예: 구멍 또는 급격한 경계 변화)을 해결하기 위해, 초기 예측 마스크($\hat{M}_t$)에 형태학적 열기(opening) 및 닫기(closing) 연산을 수행합니다. 이를 통해 공간적 연속성을 강제하고 경계를 매끄럽게 하여 최종 마스크($\tilde{M}_t$)를 생성합니다.

3. 주요 기여

1. 도메인 시프트 진단: 저자들은 기존 SAM 기반 FSS 방법들이 교차 도메인 이미지에서 성능 저하를 겪는 이유가 학습된 포인트-이미지 상호작용을 깨뜨리는 도메인 시프트 때문임을 밝혀냈으며, 특히 조밀한 포인트가 균질한 교차 도메인 객체에는 최적이 아니라는 점을 지적했습니다.
2. 조건부 포인트 희소화 (CPS): 퓨샷 참조 예시(정답 마스크 사용)로부터 적절한 프롬프트 밀도를 추론하고, 이 밀도를 타겟 이미지의 매칭된 포인트에 적용하여 희소화하는 새로운 training-free 전략을 제안합니다.
3. 포괄적 검증: 본 방법은 추가 학습이나 미세 조정 없이도 성능을 개선하는 특정 모듈들(Boundary Point Pruning, Adaptive Sparsification, Post-hoc Refinement)을 결합하여 제시합니다.

4. 실험 결과

저자들은 네 가지 교차 도메인 벤치마크인 ISIC(피부 병변), Chest X-Ray(결핵), DeepGlobe(위성/지형), SUIM(수중 장면)에서 CPS를 평가했습니다.

• 성능: CPS는 기존의 training-free SAM 기반 방법들(예: Matcher, GF-SAM) 및 전통적인 학습 기반 CD-FSS 방법들을 일관되게 능가했습니다.
  • ISIC에서 CPS는 51.3%(1-shot) 및 56.6%(5-shot) mIoU를 달성하여, 이전 최고 성능의 training-free 방법인 GF-SAM보다 각각 2.6% 및 1.4% 앞섰습니다.
  • Chest X-Ray에서 CPS는 70.0%(1-shot) 및 70.2%(5-shot)에 도달하여, Matcher보다 3.2% 및 3.9% 높은 성능을 보였습니다.
  • DeepGlobe 및 SUIM에서도 CPS는 training-free 접근 방식 중 새로운 SOTA(state-of-the-art) 결과를 기록했습니다.
• 절제 연구(Ablation Studies):
  • 적응형 희소화(Adaptive Sparsification): 가장 큰 이득(+7.9% on ISIC)을 제공하여, 고정된 밀도가 최적이 아님을 확인했습니다.
  • 경계 포인트 프루닝(Boundary Point Pruning): 경계 노이즈를 필터링하여 포인트 정확도를 향상시켰습니다.
  • 사후 정제(Post-hoc Refinement): 공간적 불연속성을 해결함으로써 ISIC에서 mIoU를 3.6% 추가로 개선했습니다.
• 일반화: CPS는 인도메인 자연 이미지 데이터셋(COCO-20i 및 FSS-1000)에서도 테스트되었으며, 여기서 경쟁력 있는 성능을 보여줌으로써 희소화 전략이 복잡한 인도메인 객체에 대한 성능을 저해하지 않음을 입증했습니다.

5. 의의 및 주장

본 논문은 조건부 포인트 희소화가 도전적인 교차 도메인 세그멘테이션 작업으로 SAM의 능력을 확장할 수 있는 실용적인 training-free 솔루션을 제공한다고 주장합니다. 정답 마스크를 활용해 프롬프트 밀도를 적응적으로 조정함으로써, CPS는 포인트-이미지 상호작용을 타겟 도메인의 특정 특성(예: 의료/위성 이미지의 균질성)에 맞춥니다.

저자들은 이 접근 방식이 적응을 위한 대규모 라벨 데이터 수집과 관련된 계산 오버헤드나 개인정보 보호 문제를 피하면서, 학습 기반 파이프라인의 무거운 계산 비용을 피할 수 있다는 점을 강조합니다. 대신, 도메인 시프트가 심각한 시나리오에서 파운데이션 모델의 일반화 능력을 크게 높이는 가벼운 추론 단계의 수정을 제공합니다.