기술 요약: 반복적 시각적 사고 (Iterative Visual Thinking, IVT)

문제 정의

현재의 시각-언어 모델(Vision-Language Models, VLMs)은 텍스트 설명을 통해 바운딩 박스 좌표를 직접 예측하는 참조 표현 이해(Referring Expression Comprehension, REC)와 같은 단판(single-shot) 공간 접지(spatial grounding) 작업에는 탁월한 성능을 보입니다. 그러나 이러한 모델들은 자신의 예측을 관찰하고 수정하는 내재적인 메커니즘이 부족합니다. 인간은 가설을 세우고, 시각적 증거를 통해 검증하며, 이를 정교화하는 폐쇄 루프(closed-loop) 과정을 통해 공간 작업을 해결하지만, VLM은 "단일 패스(single-pass)" 패러다임에 머물러 있습니다.

본 논문은 결정적인 "자기 수정 격차(self-correction gap)"를 식별합니다. VLM에게 자신의 렌더링된 예측값을 반복하도록 단순히 프롬프팅하는 것은 **파멸적인 실패(catastrophic failure)**를 초래합니다. 실험 결과, 특정 훈련 없이 반복적 시각적 사고를 적용했을 때 IoU ≥ 0.5에서의 정확도(Acc@0.5)가 79.6%에서 48.7%로 급락했습니다(31 퍼센트 포인트 하락). 이는 VLM이 강력한 접지 능력을 갖추고 있음에도 불구하고, 자신의 오류를 시각화한 결과물을 해석하여 자기 수정을 수행하는 능력은 내재되어 있지 않음을 보여줍니다.

방법론: 반복적 시각적 사고 (IVT)

저자들은 모델이 바운딩 박스를 예측하고, 원본 이미지 위에 색상이 입혀진 오버레이 형태로 예측값이 렌더링된 것을 관찰하며, 이 시각적 피드백을 사용하여 출력을 반복적으로 정교화하는 폐쇄 루프 프레임워크인 **반복적 시각적 사고(IVT)**를 제안합니다.

훈련 파이프라인은 자기 수정 격차를 해소하기 위해 2단계 레시피를 채택합니다.

1단계: SFT 웜업 (Supervised Fine-Tuning, 지도 미세 조정)

직접적인 강화 학습(RL)은 초기 단계에서 실패하는데, 이는 베이스 모델이 공간적 자기 수정에 대한 개념이 없으며 매 단계마다 퇴보하거나 동일한 예측을 반복하는 퇴행적 양상을 보이기 때문입니다. 이를 해결하기 위해 저자들은 데이터 합성 전략을 도입했습니다:

• 학생 예측 기반 합성 (Student-Prediction-Based Synthesis): 인위적으로 변형된 정답(ground-truth) 박스를 사용하는 대신, 파이프라인은 학생 모델의 실제적인 초기 예측값(Step 0)을 오류 궤적의 시작점으로 사용합니다. 이는 모델이 훈련 데이터를 모방하기 위해 의도적으로 형편없는 초기 예측을 생성하는 "Step-0 샌드배깅(sandbagging)" 현상을 방지합니다.
• 교사 추론 흔적 (Teacher Reasoning Traces): 교사 VLM이 교정용 추론 흔적을 생성합니다. 교사는 학생의 초기 예측(또는 이전 단계의 렌더링된 오버레이)을 관찰하고, 공간적 오류(예: "치우침", "너무 큼")를 식별하며 필요한 수정 사항을 설명하는 추론 흔적을 작성합니다.
• 훈련: 학생 모델은 이러한 궤적을 바탕로 크로스 엔트로피 손실(cross-entropy loss)을 사용하여 미세 조정되며, 이를 통해 렌더링된 오버레이를 해석하고, 근거 있는 추론을 생성하며, 유효한 박스를 출력하는 반복적 시각적 사고의 구조를 학습합니다.

2단계: GRPO 미세 조정

모델이 SFT를 통해 정교화의 구조를 이해하게 되면, 다단계 프로세스를 안정화하기 위해 **그룹 상대 정책 최적화(Group Relative Policy Optimization, GRPO)**가 적용됩니다.

• 보상 함수: 단순한 보상 함수를 사용합니다: 최종 단계의 IoU(Intersection over Union)와 유효한 바운딩 박스 파싱을 위한 작은 형식 보너스(format bonus)를 합산합니다. 이러한 단순함은 복잡하고 다중 구성 요소인 보상 함수에서 관찰되는 불안정성을 피하기 위함입니다.
• 목표: GRPO는 그룹 상대적 이점을 사용하여 궤적 수준의 결과를 최적화하며, 모델이 정교화 단계에서 성능을 저하시키는 대신 예측을 유지하거나 개선하도록 유도합니다.

주요 기여

1. IVT 프레임워크: VLM이 예측하고, 렌더링된 예측을 관찰하며, 스스로 수정하는 폐쇄 루프 공간 추론 시스템입니다. 본 논문은 이러한 능력이 내재적이지 않음을 입증했습니다. 명시적인 훈련 없이는 반복적인 정교화가 심각한 성능 저하를 일으킵니다.
2. 자기 참조적 데이터 합성: 베이스 모델의 자체 예측을 SFT 훈련을 위한 실제적인 오류 소스로 활용하여, 인간이 주석을 단 교정 궤적이 필요 없는 전략을 제시합니다.
3. 비대칭 2단계 훈련: 본 논문은 SFT가 정확도 향상의 주요 동력이며, 모델에게 반복적 사고의 구조를 가르친다는 점을 확립합니다. GRPO는 안정화 장치로서, 초기 정확도 도약을 주도하기보다는 단계별 성능 저하를 줄이는 역할을 합니다.
4. 확장성 증명: 저자들은 단일 GPU에서 2,400개의 샘플이라는 적은 데이터셋만으로도 단판(single-shot) 베이스라인을 능가하는 공간적 자기 수정 능력을 주입할 수 있음을 보여줍니다.

실험 결과

실험은 Qwen3-VL-4B-Instruct 모델을 사용하여 RefCOCOg, Ref-Adv-S, Ref-L4의 혼합 벤치마크(505개 테스트 샘플)에서 수행되었습니다.

• 자기 수정 격차: 훈련되지 않은 IVT를 적용한 베이스 모델은 Acc@0.5가 79.6%에서 48.7%로 하락했습니다.
• SFT의 영향: IVT를 통한 SFT 웜업 후, 모델은 모든 지표에서 단판 베이스 모델을 넘어섰습니다:
  • Acc@0.5: 82.0% (+2.4pp)
  • Acc@0.7: 74.1% (+3.2pp)
  • Acc@0.9: 48.3% (+2.8pp)
• GRPO의 영향: SFT에 GRPO를 추가하면 SFT+IVT 단독 모델보다 전체 정확도는 약간 낮아졌으나(Acc@0.5: 80.6% vs 82.0%), 정교화 안정성은 크게 향상되었습니다.
  • 평균 단계별 IoU 저하율이 SFT 단독 모델의 0.140에서 SFT+GRPO의 0.029로, 5배 감소했습니다.
  • SFT 없이 GRPO만 적용했을 경우, 모델이 매 단계 첫 번째 예측을 단순히 복사하는 "퇴행적 정체(degenerate stagnation)" 현상이 나타났습니다.

의의 및 주장

본 논문은 공간적 자기 수정은 학습 가능한 능력이며, 시각적 피드백이 있더라도 베이스 VLM에서 자연스럽게 발현되지 않으므로 반드시 명시적으로 가르쳐야 한다고 주장합니다. 이 연구는 "접지 능력"(객체를 한 번 찾는 것)과 "자기 수정 능력"(시각적 피드백을 바탕으로 오류를 반복적으로 수정하는 것) 사이의 근본적인 차이를 강조합니다.

제안된 예측-렌더링-정교화(predict-render-refine) 루프는 체화된 에이전트(embodied agents)의 "행동-관찰-수정" 사이클을 모방하는 공간 추론의 새로운 패러다임을 제공합니다. 또한, 반복 과정은 각 단계의 추론 흔적과 렌더링된 오버레이를 통해 모델의 공간적 결정 과정을 투명하게 만들어 **해석 가능성(interpretability)**을 제공하며, 이는 단판 예측의 "블랙박스" 특성과 대조됩니다. 저자들은 현재 구현이 단일 객체 접중에 집중되어 있지만, 이 프레임워크가 표현 방식에 구애받지 않으며(representation-agnostic) 세그멘테이션, 키포인트, 다중 객체 추론으로 자연스럽게 확장될 수 있다고 언급했습니다.