기술 요약: iVGR – 강화 학습을 통한 MLLM의 시각적 근거 추론 내재화

1. 문제 정의

멀티모달 거대 언어 모델(MLLM)은 일반적인 추론 능력에서 상당한 진전을 이루었으나, 고해상도 또는 복잡한 시각적 장면에서의 미세한 지각(fine-grained perception)에는 어려움을 겪고 있다. **시각적 근거 기반 사고 사슬(Visually Grounded Chain-of-Thought, CoT)**은 동적 크롭(dynamic crops)이나 바운딩 박스(bounding boxes)를 통해 추론을 시각적 영역에 명시적으로 고정함으로써 지각 능력을 향상시키는 유망한 패러다임으로 등장했다. 그러나 이 방식의 **추론 단계(inference phase)**에서의 효용성은 아직 충분히 탐구되지 않았다.

본 연구의 경험적 분석은 다음과 같은 역설적인 발견을 제시한다: 추론 시 명시적인 객체 박스나 크롭 도구를 강제하는 것은 표준 텍스트 CoT와 비교했을 때 오히려 성능을 저하시킨다.

• 도구 기반 접근 방식(예: DeepEyes)은 외부 크롭 도구를 호출할 때, 크롭 위치 지정(localization)이 부정확할 경우 시각적 노이즈를 유입시켜 정답 예측을 방해하는 문제를 겪는다.
• 명시적 근거 생성 방식(예: TreeVGR)은 CoT 과정에서 바운딩 박스 생성을 요구하며, 이는 모든 위치 지정 품질 구간에서 텍스트 CoT보다 일관되게 낮은 성능을 보인다.

저자들은 시각적 위치 지정 능력이 텍스트 추론 과정 속으로 **내재화(internalized)**될 수 있다고 가설을 세웠다. 추론 시 명시적인 좌표 생성을 강제하는 것은 모델의 주된 목표인 정답 예측으로부터 주의를 분산시키는 불필요한 간섭을 초래한다.

2. 방법론: iVGR

이를 해결하기 위해 저자들은 위치 지정 능력을 명시적인 근거 스트림에서 순수 텍스트 추론 스트림으로 전이하도록 설계된 새로운 강화 학습(RL) 프레임워크인 **iVGR (Internalizing Visually Grounded Reasoning)**을 제안한다.

이중 스트림 학습 전략

iVGR의 핵심은 각 훈련 쿼리에 대해 정책 MLLM이 두 가지 구별된 스트림의 롤아웃(rollout)을 생성하는 이중 스트림 학습 메커니즘이다.

1. 근거 스트림 (Grounded Stream): 모델이 객체를 참조할 때 명시적으로 바운딩 박스(<box>[x1, y1, x2, y2]</box>)를 예측하도록 유도된다. 이 스트림은 형식(format), 정답 정확도, 그리고 위치 지정 품질(IoU)에 대해 보상을 받는다.
2. 텍스트 스트림 (Textual Stream): 모델은 명시적인 근거 제약 없이 표준적인 자연어 추론을 수행한다.

일관성 보상 (Consistency Reward)

핵심적인 혁신은 텍스트 스트림을 고품질의 근거 기반 추론과 정렬시키는 일관성 보상이다.

• 참조 선택 (Reference Selection): "롤아웃 아카이브(Rollout Archive)"는 각 쿼리에 대해 지금까지 발견된 가장 품질이 높은 근거 기반 CoT(IoU 및 정확도 기준)를 유지한다.
• 의미론적 정렬 (Semantic Alignment): 외부 LLM 판독기(judge)가 텍스트 CoT와 아카이브된 근거 참조 간의 의미론적 일관성을 평가한다. 판독기는 텍스트 설명이 근거 참조에서 확립된 시각적 사실과 일치하는지(예: 세부 사항 누락, 환각 추가, 또는 사실 왜곡 여부)를 바탕으로 점수(0.0 ~ 1.0)를 부여한다.
• 최적화: 텍스트 스트림은 이 일관성 보상을 최대화하도록 최적화되며, 이를 통해 좌표를 출력하지 않고도 텍스트 내에서 암묵적으로 객체를 위치 지정하고 시각적으로 "보는" 법을 학습한다.

도구 보조 테스트 타임 스케일링 (Tool-Assisted Test-Time Scaling)

iVGR은 위치 지정 능력을 내재화하도록 훈련되지만, 외부 도구를 사용할 수 있는 유연성 또한 유지한다. 테스트 시에는 모델이 먼저 근거 기반 CoT를 생성하여 바운딩 박스를 추출하는 워크플로우가 제안된다. 추출된 박스들은 이미지를 크롭하는 데 사용되며(모든 영역을 포함하는 "유니언 크롭" 포함), 모델은 이 다중 뷰 입력을 바탕으로 표준 텍스트 CoT를 사용하여 추론을 수행한다.

3. 주요 기여

• 경험적 분석: 본 논문은 명시적인 시각적 근거 생성이 추론 시 성능을 저해할 수 있음을 입증하며, 위치 지정 능력이 텍스트 CoT로 암묵적으로 전이될 수 있음을 보여준다.
• iVGR 프레임워크: 근거 기반 스트림으로부터 위치 지정 능력을 내재화하기 위해 일관성 보상을 사용하는 강화 학습 기반의 이중 스트림 전략을 제안하며, 이를 통해 추론 시 명시적인 좌표 생성의 필요성을 제거한다.
• 확장성 및 호환성: iVGR은 Qwen2.5-VL 및 Qwen3-VL 모델에서 검증되었으며, 미세한 지각 및 일반 추론 벤치마크에서 상당한 개선을 보이면서도 도구 보조 워크플로우와 호환성을 유지한다.

4. 실험 결과

미세한 지각 VQA 벤치마크(V*, HR4K, HR8K) 및 일반 추론 작업(MME-RW-Lite, POPE, RealWorldQA 등)에 대해 광범-한 실험이 수행되었다.

• 성능 향상: iVGR은 기존 베이스라인들을 크게 상회한다. Qwen2.5-VL-7B 모델에서 iVGR은 벤치마크 전반에 걸쳐 평균 **6.5%**의 향상을 달성했으며, 특히 미세한 작업(예: HR8K에서 +10.4%)에서 상당한 이득을 보였다.
• SOTA와의 비교: iVGR은 (주요 추론 단계에서) 외부 도구를 요구하지 않으면서도 도구 기반 방식(DeepEyes 등)과 명시적 근거 방식(TreeVGR 등)을 모두 능가한다.
• 내재화 증거: 어텐션 스코어 분석 결과, iVGR 텍스트 스트림은 근거 스트림 전용 모델보다 이미지 토큰에 더 강력하게 어텐션을 주는 것으로 나타났으며, 이는 모델이 시각적 근거를 성공적으로 내재화했음을 확인시켜 준다.
• 도구 시너지: 제안된 도구 보조 테스트 타임 스케일링(크롭 활용)을 장착했을 때 성능이 더욱 향상되었으며(예: Qwen3-VL-8B의 HR4K에서 +1.5%), 이는 해당 방법의 유연성을 입증한다.

5. 의의 및 주장

본 논문은 iVGR이 미세한 시각적 추론을 위한 더 효율적이고 견고한 패러다임을 제공한다고 주장한다. 시각적 위치 지정 능력을 내재화함으로써, 모델은 추론 시 명시적인 좌표 생성으로 인해 발생하는 노이즈와 간섭을 피할 수 있다.

저자들은 iVGR을 다음과 같은 특징을 가진 방법론으로 정의한다:

1. 시각적 위치 지정 능력과 명시적 출력 형식의 필요성을 **분리(Decouple)**한다.
2. 표준 텍스트 추론의 유연성을 희생하지 않으면서 미세한 지각 능력을 **강화(Enhance)**한다.
3. 외부 도구와의 **호환성(Maintain compatibility)**을 유지하여, 더 높은 정밀도가 필요한 경우 테스트 시에 도구를 활용할 수 있는 하이브리드 접근 방식을 허용한다.

이 연구는 시각적 근거 기반 추하는 모델에게 좌표 출력을 강요하는 것이 아니라, 암묵적이고 내재화된 시각적 공간 이해를 바탕으로 추론하도록 훈련하는 방향으로 나아가야 함을 시사한다.