기술 요약: ActiveSAM

문제 정의

개방형 어휘 시맨틱 세그멘테이션(Open-Vocabulary Semantic Segmentation, OVSS)은 새로운 범주별 재학습이나 픽셀 수준의 주석 없이도 임의의 클래스 어휘를 위해 조밀한 픽셀 단위 마스크를 생성하는 것을 목표로 한다. SAM 3와 같은 최근의 파운데이션 모델들은 개념 프롬프트에 기반하여 강력한 공간적 마스킹 능력을 제공하지만, 이를 OVSS에 직접 적용하면 상당한 계산 병목 현상이 발생한다. 표준적인 접근 방식은 단일 이미지 내에 소수의 활성 클래스만 존재함에도 불구하고, 모든 이미지에 대해 전체 데이터셋 어휘를 전체 해상도로 디코딩한다. 이러한 "전체 어휘 디코딩(full-vocabulary decoding)" 전략은 비효칙적이며, 클래스가 대부분 부재한 상황에서도 어휘 크기에 따라 선형적으로 증가하는 느린 추론 시간을 초래한다.

방법론: ActiveSAM

ActiveSAM은 고정된(frozen) SAM 3 모델을 "활성 어휘 세그멘터(active-vocabulary segmenter)"로 변환하도록 설계된 학습 불필요(training-free), 제로샷 추론 프레임워크이다. 이는 전체 해상도 디코딩 전에 동적으로 어휘를 가지치기(pruning)함으로써 계산 비용을 전체 어휘 크기와 분리한다. 이 프레임워크는 네 가지 주요 단계로 작동한다:

1. 문맥적 프롬프트 확장 (Contextual Prompt Expansion, CPE):
   원시 클래스 명칭의 의미론적 희소성(예: "windowpane" vs "window pane")을 해결하기 위해, ActiveSAM은 입력 레이블을 정규화하고 문맥을 풍부하게 한다.

   • 어휘 정규화(Lexical Canonicalization): 고정된 함수를 사용하여 클래스 명칭을 정규화한다 (예: "tie"를 "necktie"로 변환).
   • 의미론적 문맥(Semantic Context): 고정된 텍스트 임베딩 공간에서 $M_s$개의 최근접 이웃 클래스를 검색하여 해당 토큰들을 포함한다.
   • 상위 개념 문맥(Hypernym Context): 각 클래스에 대해 최대 $M_t$개의 WordNet 명사 상위 개념(hypernyms)을 통합한다.
     이러한 확장된 프롬프트($\bar{Z}_c$)는 사전 계산되어 캐싱되며, 고정된 SAM 3 텍스트 인코더를 위한 더 풍부한 의미론적 정렬을 제공한다.

2. 프리뷰 기반 클래스 선택 (Preview-Driven Class Selection):
   비싼 비용이 드는 전체 해상도 디코딩을 수행하기 전, ActiveSAM은 고정된 SAM 3 이미지 인코더와 존재 헤드(presence head)를 사용하여 저해상도($672 \times 672$) "존재 프리뷰(presence preview)"를 실행한다.

   • 모든 클래스에 대한 존재 점수 $q_c$를 계산한다.
   • 어휘가 큰 데이터셋($V > 40$)의 경우, 적응형 분위수 임계값(adaptive quantile threshold)을 기준으로 이미지별 활성 집합 $A(I)$를 선택한다. 존재 점수가 낮은 클래스는 폐기된다.
   • 결정적으로, 이 단계에서는 세그멘테이션 헤드 계산을 건너뛰고 오직 존재 신호만을 사용하여 후보를 필터링한다.

3. 버킷 기반 전체 해상도 디코딩 (Bucketed Full-Resolution Decoding):
   전체 해상도 이미지($1008 \times 1008$)는 한 번만 인코딩된다. 고정된 SAM 3 그라운딩 디코더는 유지된 활성 클래스 $A(I)$만을 처리한다.

   • 속도를 더욱 최적화하기 위해, 활성 프롬프트는 "버킷"(크기 $K=32$)으로 그룹화된다. 디코더는 이 버킷들을 병렬로 처리하며, 버킷 내의 프롬프트 간에 이미지 특징을 공유한다.
   • SAM 3의 인스턴스 및 시맨틱 점수는 픽셀 단위 최대화(pixel-wise maximization)를 통해 융합되어 클래스 점수 맵을 생성한다.

4. 마진 인식 배경 보정 (Margin-Aware Background Calibration, MABC):
   명시적인 배경 레이블이 있는 데이터셋의 경우, 상위 점수에 대한 단순 임계값 적용은 모호한 픽셀을 잘못 분류할 수 있다. ActiveSAM은 상위 두 클래스 점수($s_1$과 $s_2$) 사이의 마진을 기반으로 보정된 신뢰도를 계산하는 MABC를 도입한다:
   $$c_{MABC}(p) = \frac{s_1(p)}{\sqrt{s_1(p) - s_2(p)}}$$
   보정된 신뢰도가 낮은 픽셀은 배경 클래스로 재할당되어, 데이터셋별 임계값 튜닝 없이도 경계 정밀도를 개선한다.

주요 기여

• 활성 어휘 가지치기 (Active-Vocabulary Pruning): 본 논문은 존재 헤드가 사후 디코딩 필터가 아닌 조기 라우팅 신호로 작용하는 새로운 추론 패러다임을 제시한다. 이는 디코딩의 계산 복잡도를 $O(V)$에서 $O(|A(I)|)$로 줄여준다 ($|A(I)| \ll V$).
• 학습 불필요 아키텍처 (Training-Free Architecture): ActiveSAM은 타겟 데이터셋 학습, 파운데이션 모델의 가중치 업데이트, 또는 오라클 클래스 존재 레이블을 필요로 하지 않는다. 이는 전적으로 고정된 SAM 3 가중치와 보편적인 하이퍼파라미터에 의존한다.
• 강화된 프롬프팅 및 보정: 문맥적 프롬프트 확장(CPE)과 마진 인식 배경 보정(MABC)의 통합은 시각적-언어적 모호성과 배경 노이즈 문제를 해결하여 세그멘테이션 품질을 향상시킨다.

실험 결과

ActiveSAM은 제로샷 설정에서 8개의 표준 OVSS 벤치마크(Pascal VOC, Pascal Context, COCO-Stuff, Cityscapes, ADE20K 포함)를 대상으로 평가되었다.

• 정확도: ActiveSAM은 8개 벤치마크 전반에 걸쳐 **65.3%**의 최첨단(SOTA) mIoU를 달성했다. 이는 현재 가장 우수한 SAM 3 기반 방법인 SegEarth-OV3보다 +1.4 mIoU, 기본 SAM 3 모델보다 +7.8 mIoU 높은 수치이다.
• 효율성: 대규모 어휘 데이터셋에서 ActiveSAM은 SegEarth-OV3보다 약 5.5배 빠르게 실행된다. 예를 들어, ADE20K(150개 클래스)에서 mIoU를 2.4 포인트 향상시키는 동시에 1.92 FPS를 달성하여 SegEarth-OV3의 0.35 FPS를 상회했다.
• 강건성: ImageNet-C 손상(가우시안 노이즈, 모션 블러, JPEG 압축, 안개) 환경에서도 ActiveSAM은 심각한 성능 저하를 겪는 CLIP 기반 베이스라인 및 SegEarth-OV3에 비해 우수한 성능을 유지한다. 이는 SAM 3의 텍스트 접지(text-grounded) 디코더가 입력 이미지가 열화된 상황에서도 강건함을 보여준다.
• 절제 연구 (Ablation Studies): 클래스 가지치기 단계를 제거해도 정확도 손실은 미미했으나($\Delta \approx 0$), 속도 향상은 사라졌다. 이는 가지치기가 성능을 희생하지 않음을 확인시켜 준다. CPE 또는 MABC를 제거하면 mIoU가 눈에 띄게 감소하여, 각각의 기여도를 입증하였다.

의의 및 주장

본 논문은 어휘는 방대하지만 이미지별 관련성이 희소한 개방형 어휘 작업에 파운데이션 모델을 적용할 때 발생하는 비효율성을 ActiveSAM이 성공적으로 해결했다고 주장한다. "존재" 신호를 게이팅 메커니즘으로 활용함으로써, ActiveSAM은 재학습 없이도 강력한 고정 세그멘테이션 모델을 실시간 자원 제한 시나리오(예: 자율 주행, 체화된 AI)에 배포할 수 있게 한다.

저자들은 ActiveSAM이 실질적인 오픈 월드 인식을 향한 중요한 단계라고 위치시키며, 분포 변화(이미지 손상으로 시뮬레이션됨) 하에서도 높은 강건성을 유지하고 동적 어휘를 위한 확장 가능한 솔루션을 제공한다고 언급한다. 다만, 저자들은 가지치기 메커니즘이 저해상도 존재 체크를 통과하지 못하는 극도로 작거나 가려진 객체에 대해 재현율(recall)을 낮출 수 있다는 점과, WordNet 및 영어 중심의 정규화에 대한 의존도가 매우 전문적인 비영어권 도메인에서의 적용성을 제한할 수 있다는 한계를 겸허히 인정하고 있다.