SAM3-I: Segment Anything with Instructions

1. 문제 정의 (Problem Statement)

• 기존 SAM3 의 한계: SAM3(Segment Anything Model 3) 은 짧은 명사구 (Noun Phrase, NP) 프롬프트 (예: "축구 선수") 를 사용하여 이미지 내 해당 개념의 모든 인스턴스를 분할하는 '프롬프트 가능 개념 분할 (PCS)'을 성공적으로 수행합니다. 그러나 실제 세계의 상호작용은 단순한 명사구보다 훨씬 풍부한 자연어 지시 (속성, 관계, 행동, 상태, 암시적 추론 등 포함) 를 포함합니다.
• 현재 해결책의 결함: 복잡한 지시를 처리하기 위해 SAM3 는 외부 멀티모달 에이전트 (예: Qwen3-VL) 에 의존합니다. 에이전트가 긴 지시를 짧은 NP 로 변환하고, SAM3 가 예측한 마스크를 반복적으로 필터링하는 방식을 사용합니다.
  • 단점: 이 과정은 계산 비용이 높고, 복잡한 지시의 세부 사항을 과도하게 단순화하여 (coarse representation) 정밀한 인스턴스 분할을 방해합니다. 또한 언어적 추론과 시각적 분할이 분리되어 있어 모델이 지시와 시각적 개념을 직접 정렬하는 능력을 제한합니다.
• 핵심 질문: SAM3 의 대규모 학습을 통해 얻은 강력한 '개념 회상 (concept recall)' 능력을 유지하면서, 복잡한 자연어 지시를 직접 해석하고 해당 인스턴스를 정확하게 분할할 수 있을까요?

2. 제안 방법론 (Methodology: SAM3-I)

저자들은 SAM3-I 을 제안하여 개념 수준의 정렬과 지시 수준의 추론을 단일 분할 프레임워크 내에서 통합합니다.

가. 프롬프트 가능 지시 분할 (Promptable Instruction Segmentation, PIS)

지시를 세 가지 계층적 수준으로 정의하여 모델이 다양한 복잡도의 입력을 처리하도록 합니다.

1. 개념 지시 (Concept): SAM3 와 호환되는 짧은 명사구 (예: "소파").
2. 단순 지시 (Simple): 명사구에 속성, 공간적 관계, 맥락적 조건이 추가된 지시 (예: "파란색 셔츠를 입은 오른쪽에 있는 축구 선수").
3. 복잡한 지시 (Complex): 명시적인 명사구 참조가 없으며, 기능, 행동, affordance(행동 가능성), 또는 광범위한 맥락 추론을 통해 대상을 식별해야 하는 지시 (예: "공을 막기 위해 잔디 위에서 미끄러지는 선수").

나. 지시 인지 캐스케이드 어댑터 (Instruction-Aware Cascaded Adapter)

SAM3 의 백본 (backbone) 은 고정 (frozen) 하고, 텍스트 인코더와 디텍터에 경량화된 어댑터 모듈을 추가하여 파라미터 효율적으로 학습합니다.

• S-Adapter (Simple Adapter): 속성, 위치, 관계 의미론을 학습하여 '단순 지시'에 대한 정렬을 담당합니다.
• C-Adapter (Complex Adapter): S-Adapter 위에 구축되어, 명시적 명사구가 없는 '복잡한 지시'를 처리하고 맥락적 추론을 수행합니다.
• 캐스케이드 구조: 복잡한 지시는 S-Adapter 를 거쳐 C-Adapter 로 전달되며, 이는 언어적 난이도의 자연스러운 계층 구조를 반영합니다.

다. 분포 정렬 손실 함수 (Distribution Alignment Losses)

단순 지시와 복잡한 지시 두 가지 브랜치가 동일한 대상을 일관되게 분할하도록 유도하기 위해 4 가지 정렬 손실을 도입합니다.

1. 지시 대비 손실 (Instruction Contrastive Loss): 동일한 대상을 가리키는 서로 다른 지시 (단순 vs 복잡) 간의 임베딩 일관성을 높이고, 다른 대상과의 구별력을 유지합니다.
2. 부모 순위 개념 고정 손실 (Parent-rank Concept Anchoring Loss): 지시 임베딩이 해당 개념의 범위를 벗어나지 않도록 SAM3 의 원래 개념 임베딩과 상대적 거리를 유지합니다 (세미-하프 개념 정렬).
3. 마스크 분포 정렬 손실 (Mask Distribution Alignment Loss): 두 브랜치가 생성한 마스크 예측 분포를 KL 발산을 통해 정렬하여 일관성을 확보합니다.
4. 불확실성 인식 하드 영역 감독 손실 (Uncertainty-Aware Hard-Region Supervision Loss): 두 브랜치 간 예측 불일치가 큰 영역 (가려짐, 복잡한 관계 등) 에 가중치를 두어 모델이 어려운 영역에 집중하도록 합니다.

라. 다단계 학습 전략 (Multi-Stage Training)

1. Stage 1: S-Adapter 만 학습 (단순 지시 데이터).
2. Stage 2: C-Adapter 를 S-Adapter 에서 초기화하여 학습 (복잡한 지시 데이터).
3. Stage 3: 모든 어댑터를 활성화하고 정렬 손실 (Alignment Losses) 을 적용하여 미세 조정 (Fine-tuning) 합니다.

3. 주요 기여 (Key Contributions)

1. SAM3-I 프레임워크: SAM3 의 강력한 개념 기반 분할 능력을 유지하면서 복잡한 자연어 지시를 직접 해석할 수 있는 최초의 SAM 계열 확장 모델입니다. 외부 에이전트 없이 단일 패스 (single-pass) 로 추론이 가능합니다.
2. HMPL-Instruct 데이터셋:
   • 기존 오픈 보카불러리 분할 벤치마크 (PACO-LVIS) 를 기반으로 구축된 대규모 지시 중심 데이터셋입니다.
   • 계층적 의미론: 개념, 단순, 복잡한 지시를 모두 포함합니다.
   • 다양한 타겟 카디널리티: 1 대 1, 1 대 다 (subset), 1 대 전체 (all instances) 시나리오를 모두 지원합니다.
   • 다중 그레인: 객체 (object) 수준과 부분 (part) 수준 분할을 모두 지원합니다.
   • 구축 프로세스: 자동 생성, 에이전트 품질 검사, 인간-인-루프 (Human-in-the-loop) 수정을 결합한 고품질 파이프라인을 사용합니다.
3. 성능 입증: 복잡한 추론 기반 분할과 지시 기반 분할에서 기존 에이전트 기반 방법 및 다른 SOTA 모델들을 능가하는 성능을 입증했습니다.

4. 실험 결과 (Results)

• 정량적 평가 (HMPL-Instruct):
  • 단순 지시: gIoU 59.7, P@50 65.3 (SAM3 Agent 대비 31.3%p, 36.4%p 향상).
  • 복잡한 지시: gIoU 49.0, P@50 51.0 (SAM3 Agent 대비 22.6%p, 23.6%p 향상).
  • 1 대 다 (One-to-Many) 시나리오: 시각적으로 유사한 객체 중 특정 부분집합을 선택하는 어려운 작업에서 SAM3-I 이 에이전트 기반 방법보다 월등히 우수한 성능을 보였습니다.
  • 개념 분할 유지: SAM3-I 은 SAM3 의 원래 개념 분할 성능 (gIoU 29.5) 을 유지하면서도 지시 추론 능력을 획득했습니다.
• 타 벤치마크 평가: RefCOCO, Ref-ZOM 등 기존 지시 분할 벤치마크에서도 경쟁력 있거나 우수한 성능을 기록했습니다.
• 정성적 분석: "크롬 배기 팁이 달린 검은색 파이프"와 같이 세부적인 속성을 요구하거나, "휴식을 위해 목과 머리를 받치는 부드러운 물체"와 같이 기능적 추론이 필요한 경우에도 SAM3-I 은 에이전트 기반 방법보다 정확하게 대상을 분할했습니다.

5. 의의 및 결론 (Significance)

• SAM 계열의 진화: SAM 이 단순한 시각적 프롬프트 (점, 상자) 에서 개념 프롬프트를 거쳐, 이제 자유 형식의 자연어 지시까지 처리하는 범용 분할 기초 모델로 진화했음을 보여줍니다.
• 효율성과 정확성: 외부 대형 언어 모델 (LLM) 에이전트와 반복적인 필터링 과정 없이, 단일 모델 내에서 지시 이해와 분할을 동시에 수행함으로써 계산 효율성을 크게 높였습니다.
• 미래 연구 방향: HMPL-Instruct 데이터셋과 SAM3-I 은 로봇 공학 (가정용 로봇), 자율 주행, 증강 현실 등 복잡한 지시를 따라야 하는 오픈 월드 애플리케이션에 중요한 기반을 제공합니다. 또한, 추론 기반 분할의 표준 벤치마크를 제시하여 향후 연구의 방향성을 제시합니다.

이 논문은 시각적 이해와 자연어 추론의 간극을 메우며, 더 정교하고 인간 친화적인 시각 분할 시스템의 실현 가능성을 입증했습니다.