Can Segmentation Models Understand the World? Towards Proactive Affordance Reasoning via Visual Chain-of-Thought

기술 요약: SegWorld – 시각적 사고 연쇄를 통한 능동적 affordance 추론을 향한 시도

1. 문제 정의: 의도와 대상 간의 격차

대규모 언어 모델 (LLM) 과 마스크 디코더를 통합한 현재 언어 기반 분할 모델들은 주로 쿼리 조건부 패러다임 하에서 작동합니다. 이 설정에서 지시문은 "대상을 참조하는" 형태로, 분할할 특정 영역을 명시적으로 이름 붙이거나, 설명하거나, 제약합니다 (예: "빨간 컵을 분할하세요"). 최근 연구들은 암시적 추론을 처리하기 위해 시각적 사고 연쇄 (Visual Chain-of-Thought, CoT) 를 도입했지만, 구체적인 쿼리가 제시될 때까지 시각적 장면은 무관한 상태로 남습니다.

그러나 실제 세계의 구체적 상호작용에서 인간의 지시문은 종종 의도 수준적이고 실용적입니다. 이러한 지시문은 특정 대상 영역을 명시하지 않고 원하는 결과를 설명합니다 (예: "머그잔, 주전자, 접시가 있는 장면에서 '물을 마시고 싶어요'"). 이러한 지시문을 수행하려면 에이전트가 다음을 수행해야 합니다:

1. 관련 객체 (머그잔) 를 추론합니다.
2. 필요한 행동 (파지) 을 결정합니다.
3. 전체 객체가 아닌, 해당 행동을 가능하게 하는 특정 affordance(행동 가능성) 를 지닌 부분 (손잡이) 을 식별합니다.

기존 모델들은 고수준 목표와 저수준 물리적 상호작용 지점을 연결하는 능동적 추론이 부족하기 때문에, 이러한 "의도에서 부분으로"의 격차에 직면하여 어려움을 겪습니다.

2. 방법론: SegWorld 프레임워크

저자들은 직접적인 지시문에서 마스크로의 매핑을 능동적이고 다수준의 추론 과정으로 대체하는 SegWorld를 제안합니다. 핵심 혁신은 능동적 관찰을 사전 정보 (prior) 로 활용하여 분할을 확률적 추론으로 공식화하는 2-pass, 3-stage 아키텍처입니다.

A. 확률적 공식화
SegWorld 는 지시문과 무관한 장면 컨텍스트 $c$에 대해 마진화 (marginalizing) 함으로써 직접적인 추정 $P_\theta(M | I, q)$를 근사합니다:
$$P_\theta(M | I, q) \approx \mathbb{E}_{c \sim P_\theta(c|I)} [P_\theta(M | I, q, c)]$$
여기서 $I$는 이미지, $q$는 지시문이며, $c$는 지시문이 알려지기 전에 생성된 언어적 장면 컨텍스트입니다.

B. 아키텍처 및 단계
모델은 공유된 비전 - 언어 백본 (LoRA 로 미세 조정됨) 과 SAM2 마스크 디코더를 활용합니다. 과정은 두 번의 순전파 (forward passes) 로 전개됩니다:

1. Stage 0: 능동적 관찰 (지시문 무관)

   • 입력: 이미지 $I$만.
   • 출력: 언어적 장면 컨텍스트 $c = (s, o_{list}, r, e)$.
   • 과정: 모델은 네 가지 수준의 추론을 생성합니다:
     • 장면 ($s$): 설정에 대한 일반적인 설명.
     • 객체 ($o_{list}$): 눈에 띄는 가시 객체 목록.
     • 관계 ($r$): 공간적 및 기능적 관계.
     • 사건 ($e$): 장면이 허용하는 가능한 상호작용 (예: "부어주기", "마시기").
   • 목표: 특정 사용자 쿼리와 무관한 정보력 있는 사전 정보로 작용하는 "언어적 장면 컨텍스트"를 확립합니다.

2. Stage 1: 지시문 조건부 추론

   • 입력: 이미지 $I$, 지시문 $q$, 그리고 컨텍스트 $c$.
   • 과정: 모델은 세 개의 하위 단계로 조직된 8 단계 시각적 사고 연쇄를 탐색합니다:
     • 의도 해결: 의도를 충족하는 데 필요한 관련 객체 ($o$) 와 행동 ($a$) 을 식별합니다.
     • Affordance 그라운딩: 행동을 지원하는 특정 객체 부분 ($p$) 을 식별하고 해당 affordance($f$) 를 명명합니다.
     • 분할: 연쇄는 특수 [SEG] 토큰으로 종료됩니다. 이 토큰의 숨겨진 상태는 SAM2 마스크 디코더를 위한 프롬프트 임베딩으로 투영되며, 이는 이미지 특징과 융합되어 이진 마스크 $M$을 예측합니다.

C. 학습 전략

• 목적: 관찰 연쇄와 추론 연쇄 모두에 대한 마스크 손실 (이진 교차 엔트로피 + Dice) 과 언어 모델링 손실의 결합 학습.
• 감독: 관찰 수준은 지시문과 무관하도록 보장하기 위해 비전 - 언어 모델을 사용하여 오프라인으로 합성됩니다. 추론 수준은 새로운 벤치마크의 ground-truth 주석을 사용합니다.
• 계획된 샘플링 (Scheduled Sampling): 학습 - 테스트 격차를 해소하기 위해, 모델은 초기에는 합성 컨텍스트에 조건부로 학습되다가 점차 자기 생성 컨텍스트로 전환되도록 학습됩니다.

3. 주요 기여

1. 의도 수준 분할 설정: 이 논문은 지시문이 대상이 아닌 목표를 명시하는 새로운 분할 패러다임을 식별하고 정의하며, 잠재적 추론 단계 ($q \to o \to a \to (p, f) \to M^\star$) 를 통해 affordance 를 지닌 객체 부분을 복원해야 함을 규정합니다.
2. SegWorld 프레임워크: 8 단계 시각적 CoT 를 수행하는 능동적 분할 모델입니다. 이는 확률적 추론에 공식적으로 기반을 두며, 능동적 관찰을 활용하여 의도 수준 쿼리에 대한 사후 분포를 선명하게 하는 장면 컨텍스트를 제공합니다.
3. Intent2Part 벤치마크: InstructPart를 기반으로 구축된 새로운 데이터셋으로, 1,800 개의 학습 샘플과 600 개의 테스트 샘플에 의도 수준 지시문을 추가했습니다. 여기에는 고수준 목표 (예: "휴식을 취하고 싶어요") 와 해당 affordance 를 지닌 부분 (예: 와인잔의 손잡이) 이 쌍을 이루어 포함됩니다.

4. 실험 결과

실험은 Intent2Part 벤치마크에서 수행되었으며, LISA, Sa2VA, Affordance-R1, SAM3-I 와 같은 베이스라인과 SegWorld 를 비교했습니다.

• 대상 참조 성능: SegWorld 는 표준 참조 및 추론 지시문에 대해 강력한 베이스라인과 일치하거나 초과하는 성능을 보여주어, 능동적 추론 메커니즘이 기존 작업의 성능을 저하시키지 않음을 입증했습니다.
• 의도 수준 성능:
  • Zero-Shot 일반화: SegWorld v1(오직 대상 참조 지시문으로만 학습됨) 은 의도 수준 test_clean 분할에서 0.514 mIoU를 달성하여, 가장 강력한 베이스라인 (Affordance-R1) 보다 3.4 포인트 더 높은 성능을 보였습니다. 이는 모델이 재사용 가능한 의도 - 대 부분 추론 패턴을 학습했음을 시사합니다.
  • 지도 학습 개선: 의도 수준 지시문으로 학습된 SegWorld v2 는 test_clean 에서 0.612 mIoU로 더 향상되어 모든 베이스라인을 크게 능가했습니다.
  • 토큰 방출: 의도 쿼리에 대해 분할 토큰을 방출하지 않고 대화식으로 응답하는 경우가 많은 오프 - 더 - 쉘 모델 (예: Sa2VA) 과 달리, SegWorld 는 일관되게 마스크를 생성합니다.
• Ablation 연구: 능동적 컨텍스트나 Stage-1 추론 연쇄를 제거하면 성능이 크게 저하되어, 객체, 행동, affordance 에 대한 명시적 추론이 의도 그라운딩에 중요함을 확인했습니다.

5. 중요성과 주장

이 논문은 SegWorld 가 명시적 지시문을 단순히 따르는 것이 아니라 장면이 무엇을 허용하는지 (afford) 추론하는 분할 시스템으로 나아가는 한 걸음이라고 주장합니다. 반응적이고 쿼리 조건부인 패러다임에서 능동적인 패러다임으로 전환함으로써, 모델은 구체적 상호작용에서 인간의 의도가 불완전하게 명시된 특성을 처리할 수 있습니다.

저자들은 시각적 사고 연쇄가 예측 과정을 해석 가능하고 추적 가능하게 만들어 예측이 어디서 기원하는지 (예: 전체 "병"이 아닌 "손잡이"로 이어지는 추론 연쇄) 를 드러낸다고 강조합니다. 그들은 한계를 인정하며, 현재 작업은 정적 이미지와 단일 단계 의도로 제한되며, 명시적 언어 기반 추론이 중간 텍스트 예측의 오류에 민감할 수 있음을 지적합니다. 그러나 결과는 능동적 관찰이 전통적인 쿼리 조건부 모델이 가장 약한 지점, 즉 고수준 목표에서 실행 가능한 부분을 복원하는 영역에서 가장 가치 있음을 시사합니다.