기술 요약: 시각적 접지(Visual Grounding)를 통한 사고

문제 정의

최근의 시각-언어 모델(VLM)은 복잡한 시각적 과제를 해결하기 위해 자연어 추론 과정(예: Chain-of-Thought)을 생성하는 능력을 보여주었습니다. 그러나 결정적인 한계가 존재합니다. 이러한 텍textual 추론 과정은 지원하는 이미지 영역을 암시적으로만 남겨둔다는 점입니다. 모델이 "빨간색 자동차가 입구 근처에 있다"라고 말할 수는 있지만, 어떤 픽셀이나 영역이 해당 주장에 대응하는지를 명시적으로 식별하지는 못합니다. 이러한 명시적 연결의 부재는 추론 과정을 검증, 감독 또는 디버깅하기 어렵게 만듭니다. 최종 답변이 우연히 맞았을 수도 있고, 추론 과정이 일관되어 보일지라도 환각된 시각적 증거에 의존하고 있을 수 있습니다. 본 논문은 진정한 시각적 사고를 위해서는 단계별 텍스트 추론뿐만 아니라, 추론 단계와 이미지 내의 특정 시각적 증거 사이의 명시적이고 검증 가능한 연결이 필요하다고 주장합니다.

방법론

1. 시각적으로 접지된 사고 형식 (Visually Grounded Thinking Format)

저자들은 모델이 자연어 사고와 명시적인 좌표 기반 접지를 교차하여 출력하는 새로운 추론 형식을 제안합니다. 모델이 시각적 객체를 참조하는 추론 단계마다, 모델은 객체의 이름과 공간 좌표를 포함하는 태그를 출력합니다. 두 가지 모드가 지원됩니다:

• 박스 모드 (Box Mode): <obj> 이름 | [x1, y1, x2, y2] </obj>
• 포인트 모드 (Point Mode): <obj> 이름 | [x, y] </obj>

2. 확장 가능한 데이터 합성 파이프라인

이러한 동작을 학습시키기 위해, 저자들은 오픈 소스 데이터셋(예: TallyQA, VSR, SpatialMQA)으로부터 정렬된 학습 데이터(SFT 및 RL 모두를 위함)를 합성하는 파이프라인을 구축했습니다. 이 파이프라인은 다음 과정을 포함합니다:

• 추론 과정 증류 (Distilling Reasoning Traces): 고성능 VLM(Qwen3-VL-Plus/Qwen3.5-Plus)을 사용하여 이미지-질문 쌍에 대한 올바른 추론 과정을 생성합니다.
• 접지 가능한 객체 추출 (Extracting Groundable Objects): LLM이 추론에 필요한 특정 시각적 객체(예: 정답 객체, 공간 앵커, 카운팅 대상 인스턴스)를 식별하고, 이름과 식별을 위한 문맥(예: "빨간색 자동차" vs "뒷줄에 있는 빨간색 자동차")을 할당합니다.
• 에이전트 기반 시각적 접지 (Agentic Visual Grounding): VLM에 의해 구동되는 SAM3 기반 에이전트가 추출된 객체들을 반복적으로 접지합니다. 에이전트는 명사구를 제안하고, 인스턴스 마스크를 위해 SAM3를 호출하며, 렌더링 및 줌을 통해 마스크를 검증하고, 최종 마스크를 선택하는 도구들을 사용합니다.
• 감독 데이터 도출 (Deriving Supervision): 결과물인 RLE(Run-Length Encoded) 마스크를 정규화된 바운딩 박스 또는 내부 점(경계에서 가장 먼 점)으로 변환하여 정렬된 SFT 및 RL 데이터셋을 생성합니다.

3. 접지 인지 강화 학습 (Grounding-Aware Reinforcement Learning, RL)

저자들은 정답의 정확성과 접지의 품질을 공동으로 최적화하는 새로운 보상 메커니즘을 도입합니다.

• 접지 객체 라우팅 (Grounding Object Routing): 점수를 매기기 전, 경량 VLM 라우터가 모델이 생성한 접지 객체를 (이름과 문맥을 바탕으로) 실제 정답 객체와 매칭하여 단어의 변화나 식별 문제를 처리합니다.
• 조밀한 접지 보상 (Dense Grounding Rewards):
  • 박스 모드: 생성된 박스와 정답 박스의 합집합에 대한 IoU(Intersection-over-Union)를 사용합니다.
  • 포인트 모드: 생성된 점이 대응하는 정답 마스크 내부에 있는지 여부에 따라 F1 스코어를 사용하며, 이를 통해 동일한 인스턴스에 대한 중복 크레딧 부여를 방지합니다.
• 최종 보상: 전체 보상은 조밀한 접지 보상을 정답의 정확성, 사고 형식 및 접지 형식에 대한 희소(sparse) 보상과 결합합니다.

주요 기여

1. 확장 가능한 데이터 파이프라인: SAM3 기반의 에이전틱 접지 에이전트를 중심으로, 수동 좌표 주석 없이도 SFT와 RL 모두를 위한 고충실도 시각적 접지 추론 데이터를 합성하는 시스템을 구축했습니다.
2. 접지 보상 설계: 중간 단계의 시각적 참조 품질을 직접 감독하는 보상 함수를 도입하였으며, 박스 및 포인트 접지 모드를 모두 지원합니다.
3. 실증적 검증: 시각적으로 접지된 사고가 카운팅 및 공간 추론 작업 성능을 유의미하게 향적인 것을 입증하는 통제된 실험을 수행하였으며, 4B 모델이 특정 공간 벤치마크에서 27B 베이스라인과 대등하거나 이를 능가함을 보여주었습니다.

실험 결과

저자들은 Gemma3-4B-IT를 베이스 모델로 하여 두 개의 카운팅 벤치마크(TallyBench, CountQA)와 네 개의 공간 추론 벤치마크(VSR-zeroshot, EmbSpatial, SpatialMQA, MultihopSpatial)를 통해 접근 방식을 평가했습니다.

• 성능 향상: 시각적으로 접지된 사고 모델은 베이스 모델인 Gemma3-4B-IT와 "비접지 사고(non-grounded thinking)" 베이스라인보다 일관되게 높은 성능을 보였습니다.
• 규모 비교: 공간 추론 작업에서, 4B 시각적 접지 모델은 훨씬 더 큰 Gemma3-27B-IT와 대등한 성능을 달성했으며, 일부 작업(SpatialMQA, MultihopSpatial)에서는 이를 능가하기도 했습니다.
• 안정성: 비접지 베이스라인은 RL 학습 중 "길이 붕괴(length collapse)" 현상(응답이 너무 짧아지는 현 현상)을 겪었으나, 접지된 변형 모델들은 구조적 제약 덕분에 안정적인 롤아웃을 유지했습니다.
• 접지 인터페이스 차이:
  • 카운팅: 포인트 접지가 박스 접지보다 일관되게 우수한 성능을 보였으며, 이는 카운팅 작업에는 인스턴스 수준의 로컬라이제이션이 충분함을 시사합니다.
  • 공간 추론: 접지 보상이 적용되었을 때 박스 접지는 명확한 이점을 제공했는데, 이는 박스가 제공하는 기하학적 정보(범위, 겹침) 때문인 것으로 보입니다. 그러나 이러한 작업의 전반적인 정확도 측면에서 포인트와 박스 접지는 대체로 유사했습니다.
• 보상의 영향: 접지 보상은 특히 공간 작업에서 박스 모드 학습에 일관된 이점을 제공했습니다. 포인트 모드의 경우, 보상 신호가 더 거칠었기(매끄러운 IoU 대비 이산적인 F1 스코어) 때문에 현재 실험에서는 다운스트림 정확도 향상이 덜 일관적이었습니다.

의의 및 주장

본 논문은 시각적 사고가 단순히 그럴듯한 텍스트를 생성하는 것을 넘어, 증거에 기반한 추론을 생산하는 방향으로 진화해야 한다고 주장합니다. 중간 사고를 특정 이미지 영역과 연결함으로써 모델을 더 효과적으로 감독할 수 있으며, 추론의 검증 가능성을 높일 수 있습니다. 저자들은 시각적 사고의 다음 단계가 단순히 "더 길게 생각하는 것"이 아니라, 체크하고 개선할 수 있는 형태로 "이미지에 결합된 사고"가 되는 것이라고 상정합니다. 실험 결과는 명시적 접지가 작은 모델(4B)이 공간 작업에서 더 큰 모델(27B)의 추론 능력을 달성할 수 있게 함으로써, 접지 기반 감독의 효율성을 강조합니다.