기술 요약: 시각적 추론을 위한 기반 강화 학습 (ViGoRL)

문제 정의

시각적 추론 작업은 구조상 크게 다양하며, 종종 모델이 시각적 주의를 집중하고, 지각적 입력을 해석하며, 추상적 추론을 공간적 증거에 기반하게 할 것을 요구합니다. 사고의 연쇄 (chains of thought) 에 대한 강화 학습 (RL) 은 수학, 코딩과 같은 텍스트 기반 도메인에서 언어 모델을 발전시켰지만, 비전 - 언어 모델 (VLM) 에 적용할 때는 고유한 난관에 직면합니다. 저자들은 표준 VLM 이 종종 엔드 - 투 - 엔드 방식으로 작동하여 단일 순전파로 답변을 예측하고 입력 장면에 맞춰 계산 전략을 적응시키지 않는다고 지적합니다.

중요하게도, 이 논문은 VLM 에 대한 순진한 RL 적용이 유용한 인지 행동을 유도하지 못한다고 주장합니다. 체계적으로 영역을 탐색하거나, 하위 목표를 설정하거나, 가설을 검증하는 법을 배우는 대신, 기본 VLM 에 대한 표준 RL 최적화는 '단순화 (shortcuts)'로 수렴하는 경향이 있습니다. 이러한 단순화는 비전을 능동적으로 참조되는 입력이 아닌 정적 컨텍스트로 취급하는 추상적이고 기반이 없는 추론을 생성함으로써 즉각적인 작업 보상을 극대화합니다. 결과적으로 모델은 혼잡한 환경에서 작은 물체를 찾거나 웹 인터페이스를 탐색하는 것과 같은 복잡한 시각적 추론에 필요한 공간적 주의 메커니즘을 개발하지 못합니다.

방법론: ViGoRL

저자들은 각 추론 단계를 특정 시각 좌표에 명시적으로 고정하도록 설계된 ViGoRL (Visually Grounded Reinforcement Learning, 시각 기반 강화 학습) 프레임워크를 제안합니다. 핵심 가설은 텍스트 추론이 공간적 기반과 결합될 때 모델이 더 잘 '보고' 더 잘 '생각한다'는 것으로, 이는 작업 관련 정보를 수집하기 위해 선택적으로 시선을 이동시키는 인간의 시각적 의사결정을 모방합니다.

이 접근법은 2 단계 파이프라인과 다중 턴 확장으로 구성됩니다:

1. 몬테카를로 트리 탐색 (MCTS) 을 통한 웜 - 스타트

기본 VLM 이 백트래킹, 영역 탐색과 같은 고유한 시각적 추론 행동을 결여하고 있다는 한계를 극복하기 위해, 저자들은 고품질의 기반 추론 흔적을 생성하기 위해 MCTS 를 사용합니다.

• 교사 모델: 검색 트리의 노드를 확장하기 위해 고정된 고용량 교사 모델 (Qwen2.5-VL-72B) 을 사용합니다.
• 기반 노드: 각 추론 단계는 $n_t = \langle s_t, (x_t, y_t) \rangle$라는 튜플로 정의되며, 여기서 $s_t$는 자연어 사고이고 $(x_t, y_t)$는 사고를 이미지 영역에 고정하는 좌표입니다.
• 검색 과정: MCTS 알고리즘 (선택, 확장, 시뮬레이션, 역전파) 은 다양한 이미지 영역과 추론 경로를 체계적으로 탐색합니다. 이는 다양한 영역을 포괄하기 위한 광범위한 탐색 (분기) 과 실패하는 분기를 포기하는 백트래킹과 같은 행동을 명시적으로 장려합니다.
• 선형화: 생성된 검색 트리는 직접적인 성공적인 연쇄와 백트래킹을 보여주는 '수정된 연쇄'(예: "잠깐, 그건 이상한데...") 를 모두 포함하여 학습 예제로 선형화됩니다.
• 지도 미세 조정 (SFT): 기본 모델은 이러한 MCTS 생성 흔적에 대해 미세 조정되어 구조화되고 기반이 있는 추론을 생성하는 능력을 부트스트랩합니다.

2. GRPO 를 통한 강화 학습

SFT 이후, 모델은 그룹 상대 정책 최적화 (GRPO) 를 사용하여 강화 학습을 거칩니다.

• 보상 설계: 보상 함수는 (1) 최종 답변의 정확성 ($r_{task}$) 과 (2) 출력 형식의 유효성, 특히 모든 좌표 참조가 유효해야 한다는 요구사항 ($r_{fmt}$) 을 장려합니다. 이는 모델이 추론 전 과정에서 기반을 유지하도록 학습하게 합니다.
• 목표: RL 과정은 SFT 동안 학습된 기반 행동을 정제하여 공간적 고정 제약 조건을 유지하면서 정답으로 이어지는 시퀀스를 강화합니다.

3. 시각 피드백을 통한 다중 턴 RL

세밀한 시각적 검사 (예: 작은 GUI 요소) 가 필요한 작업의 경우, 저자들은 다중 턴 형식을 도입합니다.

• 인터랙티브 현미경: 좌표를 예측한 후, 모델은 해당 영역의 고해상도 컷아웃을 요청하는 도구 호출을 발행할 수 있습니다.
• 피드백 루프: 환경은 잘라낸 이미지를 반환하며, 이는 다음 추론 턴의 입력이 됩니다.
• 학습: 모델은 필요시 반복적으로 확대하는 법을 학습하는 다중 턴 대화로 훈련됩니다. 보상에는 동일한 영역을 반복하기보다 서로 다른 좌표를 탐색하도록 장려하기 위한 다양성 보너스가 포함됩니다.

주요 기여

1. RL 실패 모드 식별: 이 논문은 명시적 기반 인센티브 없이 VLM 에 적용된 표준 RL 이 기반이 없는 추론으로 이어지며, 시각적 하위 목표 설정이나 백트래킹과 같은 행동을 유도하지 못함을 보여줍니다.
2. ViGoRL 프레임워크: 기반 추론 사전 지식을 주입하기 위한 MCTS 기반 웜 - 스타트와 이러한 행동을 정제하기 위한 GRPO 를 결합하여 추론 단계를 이미지 좌표에 명시적으로 연결하는 새로운 파이프라인입니다.
3. 다중 턴 시각 피드백: 모델이 추론 중에 이미지 영역을 동적으로 확대할 수 있게 하는 메커니즘으로, 세밀한 작업에서 성능을 크게 향상시킵니다.
4. 행동 분석: 기반 추론이 영역 탐색, 시각적 검증, 백트래킹과 같은 인지 행동을 증폭시킨다는 경험적 증거를 제시하며, 이는 표준 베이스라인에는 부재합니다.

실험 결과

ViGoRL 은 공간적 추론 (SAT-2, BLINK, RoboSpatial), 시각적 검색 (V*Bench), 웹 기반 (ScreenSpot, VisualWebArena) 을 포함한 다양한 벤치마크에서 평가되었습니다.

• 공간적 추론: SAT-2 에서 ViGoRL-3B 는 **62.9%**의 정확도를 달성하여, Vanilla GRPO 대비 12.9 포인트, 기본 모델 대비 16.8 포인트 향상되었습니다. BLINK 와 RoboSpatial 에서도 유사한 향상이 관찰되었습니다.
• 웹 기반: 고해상도 GUI 기반인 ScreenSpot-Pro 에서 ViGoRL-3B 는 **31.1%**에 도달하여 기본 모델보다 21.8 포인트, Vanilla GRPO 보다 2.1 포인트 더 높은 성능을 보였습니다.
• 시각적 검색: V*Bench 에서 다중 턴 ViGoRL-7B 는 **86.4%**의 정확도를 달성하여 GPT-4o(66.0%) 와 Sketchpad-GPT-4o(80.3%) 와 같은 독점 모델 및 고급 도구 사용 파이프라인을 능가했습니다.
• 실시간 웹 상호작용: HTML 텍스트 접근이 없는 상태에서도 VisualWebArena(시각만 입력) 에서 ViGoRL 은 동일한 모델 크기의 이전 최고 성능 (ICAL) 을 능가했습니다.
• 결손 연구: 명시적 기반이나 MCTS 웜 - 스타트를 제거하면 성능이 크게 저하되어, 기반 행동의 초기화와 RL 정제 모두 중요함을 확인했습니다.
• 인간 평가: 인간 평가자들은 모델의 기반 예측이 공간적으로 정확하며 (72.8% 정확도), 특히 예측이 정확할 때 추론 단계를 이해하는 데 도움이 된다고 평가했습니다.

중요성과 주장

저자들은 시각 기반 강화 학습이 모델에 범용 시각적 추론을 부여하기 위한 강력한 패러다임이라고 주장합니다. 그들은 기반이 단순한 시각화 도구가 아니라 핵심적인 아키텍처 및 알고리즘 원칙이라고 주장합니다. 지시적 참조 (지시, 확대, 검증) 를 통해 추론하도록 모델을 훈련시킴으로써, 이 접근법은 모델 행동을 인간의 인지 전략 (시각적 루틴, 공간적 주의) 과 정렬시킵니다.

이 논문은 추론 단계를 공간적 좌표에 명시적으로 고정함으로써 모델이 구조화되고 인간과 정렬된 인지에 참여하도록 강제한다고 결론지었습니다. 이러한 발판은 모델이 복잡한 문제를 지각적으로 기반이 있는 관리 가능한 단계로 분해하게 하여, 분포 외 (out-of-distribution) 설정에서 더 나은 일반화와 향상된 해석 가능성을 이끌어냅니다. 이 연구는 미래 시스템이 기반을 부수적인 신호가 아니라 추론을 위한 핵심 메커니즘으로 취급해야 함을 시사합니다.