기술 요약: 개념 가이드를 통한 강건한 인컨텍스트 세그멘테이션(Toward Robust In-Context Segmentation via Concept Guidance)

1. 문제 정의

**인컨텍스트 세그멘테이션(In-Context Segmentation, ICS)**은 모델 파라미터를 업데이트하지 않고, 오직 몇 개의 참조 이미지와 그에 대응하는 마스크만을 사용하여 쿼리 이미지 내의 타겟 영역을 분할하는 것을 목표로 합니다. 최근의 방법론들은 세그멘테이션 정확도를 개선해 왔으나, 시스템의 강건성(system robustness) 측면은 크게 간과하고 있습니다. 구체적으로, 기존의 ICS 모델들은 참조 인스턴스의 선택에 매우 민감하게 반응합니다. 즉, 어떤 모델은 "운 좋은" 참조를 사용하면 안정적인 결과를 내지만, 다른 참조를 사용하면 처참하게 실패할 수 있습니다.

이러한 문제에 대한 기존 접근 방식은 대개 이미 존재하는 후보 풀에서 최적의 참조를 선택하는 데 집중합니다. 그러나 실제 배포 환경에서는 사용자가 임의의 참조 이미지를 즉석에서 제공하며, 시스템은 대안을 검색할 수 없습니다. 또한, 기존의 강건성 중심 연구들(예: UNICL-SAM)은 주로 학습 과정 중의 손상된 참조(corrupted references)를 다루는 데 초점을 맞추고 있으며, 학습이 필요 없는(training-free) 설정에서의 본질적으로 저품질이거나 다양한 참조 선택 문제를 충분히 다루지 못합니다. 해결하고자 하는 핵심 문제는 다음과 같습니다: 어떤 특정 참조 인스턴스가 제공되더라도 안정적이고 고품질의 세그멘테이션 성능을 유지할 수 있는 학습 불필요(training-free) ICS 시스템을 어떻게 구축할 것인가?

2. 방법론: 개념 가이드형 인컨텍스트 세그멘테이션 (CG-ICS)

저자들은 ICS를 프롬프트 가능한 개념 세그멘테이션(Promptable Concept Segmentation, PCS) 문제로 재정의하는 학습 불필요 프레임워크인 CG-ICS를 제안합니다. CG-ICS는 취약한 저수준 시각 매칭에만 의존하는 대신, 참조로부터 고수준의 시맨틱 개념을 추출하여 동결된(frozen) SAM3 백본을 가이드합니다. 이 프레임워크는 세 개의 병렬 구성 요소로 이루어져 있습니다.

A. 개념 추론 모듈 (트리 탐색 기반)

이 모듈은 **멀티모달 거대 언어 모델(MLLM)**과 SAM3 기반 스코어링 함수를 사용하여 참조 이미지-마스크 쌍으로부터 텍스트 개념을 자율적으로 도출합니다.

1. 개념 생성: MLLM은 브랜치 확장 연산자 역할을 수행합니다. MLLM은 두 가지 뷰(원본 참조 이미지와 마스크 영역이 붉게 강조된 버전)를 입력받아 여러 개의 후보 텍스트 개념(예: "dog", "pet", "hound")을 생성합니다.
2. 개념 스코어링: SAM3 기반 스코어링 함수는 다음 두 가지 기준에 따라 각 후보 개념 $T_i$를 평가합니다.
   • 참조 충실도 (Reference Fidelity, RF): SAM3가 생성한 마스크와 실제 정답(ground-truth) 마스크 사이의 IoU를 계산하여, 해당 개념이 주석 처리된 참조 타겟을 얼마나 잘 설명하는지 측정합니다.
   • 쿼리 매치 가능성 (Query Matchability, QM): SAM3의 존재 점수(presence score)를 사용하여 해당 개념이 쿼리 이미지에 존재할 가능성을 측정합니다.
   • 최종 점수는 RF와 QM의 곱으로 산출됩니다.
3. 트리 탐색 (Tree Search): 시스템은 반복적인 확장-점수 산정-가지치기(expand–score–prune) 과정을 수행합니다. 점수가 임계값 미만인 노드는 제거되며, 살아남은 노드는 더 세밀하거나 동의어인 개념으로 확장됩니다. 이 과정은 중단 기준을 충족할 때까지 지속되어 최적의 텍스트 개념($T^*$)을 도출합니다.

B. 시각적 예시 추출 (Visual Exemplar Extraction)

텍스트 개념만으로는 불충분하거나 환각(hallucination)이 발생할 수 있음을 인지하여, CG-ICS는 시각적 사전 지식(visual priors)을 추출하는 병렬 경로를 도입합니다.

1. 참조 이미지와 쿼리 이미지를 가로로 이어 붙입니다.
2. 참조 마스크에서 유도된 바운딩 박스를 시각적 예시(visual exemplars)로 사용하여, 이어 붙여진 이미지에 대해 SAM3를 프롬프트합니다.
3. 결과로 나온 쿼리 측의 인스턴스 마스크는 거친 형태의 바운딩 박스($V^*$)로 변환되어 쿼리의 공간적 근거(spatial grounding) 역할을 수행합니다.

C. 결합 세그멘테이션 (Joint Segmentation)

최종 세그멘테이션은 쿼리 이미지, 선택된 최적의 텍스트 개념($T^*$), 그리고 시각적 예시 박스($V^*$)를 동결된 SAM3 백본에 입력함으로써 수행됩니다. SAM3에 의해 출력된 시맨틱 마스크가 최종 예측값이 됩니다.

3. 주요 기여

1. 제1순위 목표로서의 강건성: 본 연구는 단순히 평균 정확도를 극대화하는 것에서 벗어나, 다양하고 저품질인 참조에 따른 예측 분산을 최소화하는 것으로 초점을 전환하여 현재 ICS 연구의 중요한 공백을 메웠습니다.
2. 새로운 패러다임 (CG-ICS): 저자들은 개념 가이드 방식을 통해 SAM3를 활용하는 최초의 학습 불필요 ICS 시스템을 소개합니다. 이는 시각적 참조로부터 가장 신뢰할 수 있는 텍스트 개념을 자율적으로 도출하고 선택하기 위한 새로운 트리 탐색 메커니즘을 포함합니다.
3. 이중 경로 설계: 고수준 텍스트 개념(시맨틱 불변성을 위함)과 시각적 예시(공간적 근거를 위함)를 융합함으로써, 파라미터 업데이트나 도메인 내 학습 데이터 없이도 안정성을 달성합니다.

4. 실험 결과

본 방법론은 표준 및 강건성 프로토콜 하에서 네 가지 표준 벤치마크(Pascal-5i, COCO-20i, LVIS-92i, FSS-1000)를 통해 평가되었습니다.

• 표준 정확도: CG-ICS는 학습 불필요 방법론 중 SOTA(최고 수준) 성능을 달여 성과를 거두었으며, 학습 기반 방법론과도 경쟁 가능한 수준을 유지했습니다. 예를 들어, Pascal-5i (1-shot)에서 89.3 mIoU를 달성하여 가장 강력한 학습 불필요 베이스라인인 GF-SAM보다 17.2 mIoU 높은 성능을 보였습니다.
• 참조 선택에 대한 강건성: CG-ICS는 현저히 낮은 분산을 보여줍니다. Pascal-5i에서 CG-ICS는 **7.8%**의 변동 계수(CV)를 기록했는데, 이는 GF-SAM의 27.3% 및 학습 기반 모델인 SANSA의 11.1%와 비교했을 때 매우 낮은 수치입니다. 이는 참조의 선택과 관계없이 매우 안정적인 성능을 나타냅니다.
• 손상된 참조에 대한 강건성: 여섯 가지 유형의 손상(색상, 블러, 압축 등) 조건 하에서 CG-ICS는 가장 적은 성능 저하(-3.1%)를 보였으며, 학습 불료 및 학습 기반 제너럴리스트 모델들을 모두 앞질렀습니다. 특히 색상 및 블러 변화에 거의 영향을 받지 않는 불변성을 보였습니다.
• 절제 연구 (Ablation Studies): 실험을 통해 각 구성 요소(후보 샘플링, RF/QM 스코어링, 트리 탐색, 시각적 브랜치)가 정확도와 안정성을 단계적으로 향상시킨다는 것을 확인했습니다. 최적의 설정은 5개의 탐색 노드와 3번의 탐색 라운드를 사용하는 것입니다.

5. 의의 및 주장

본 논문은 CG-ICS가 정확도와 더불어 강건성을 우선시함으로써 ICS 설계의 근본적인 변화를 가져왔다고 주장합니다. 직접적인 시각 매칭에서 시맨틱 개념 추론으로 전환함으로써, 현재의 방법론들이 겪고 있는 참조 선택에 대한 민감도 문제를 완화합니다.

저자들은 이 접근 방식이 참조 품질을 보장할 수 없는 실제 배포 환경에서 실용적이고 가볍고 유연한 솔루션을 제공한다고 강조합니다. 풀(pool)에서 "최적의" 참조를 선택하는 데 의존하는 기존 연구들과 달리, CG-ICS는 임의의 참조에 대해서도 안정적인 동작을 보장합니다. MLLM을 통한 개념 생성과 SAM3를 통한 스코어링 및 세그멘테이션의 통합은 높은 정확도와 분포 변화 및 참조 변동에 대한 탄력성을 동시에 갖춘 오픈 월드 세그멘테이션의 새로운 패러다임을 구축합니다.