VTool-R1: VLMs Learn to Think with Images via Reinforcement Learning on Multimodal Tool Use

이 논문은 강화 학습 미세 조정 (RFT) 을 통해 비주얼 언어 모델 (VLM) 이 텍스트와 중간 시각적 추론 단계를 교차하며 차트 및 표와 같은 구조화된 시각적 질문 답변을 수행할 때 '이미지로 사고'하는 능력을 학습하도록 하는 최초의 프레임워크인 VTool-R1 을 제안합니다.

핵심

VTool-R1: 그림을 보며 '생각'하는 AI 의 탄생

이 논문은 **"AI 가 그림을 보고 답을 찾을 때, 단순히 눈으로만 보는 게 아니라 직접 그림을 수정하며 생각할 수 있게 했다"**는 획기적인 연구 결과를 담고 있습니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴겠습니다.

---

1. 문제: "눈만 뜨고 있는" AI 의 한계

기존의 최신 AI(비전 - 언어 모델) 들은 아주 똑똑합니다. 하지만 그림을 볼 때 오직 '텍스트(글자)'로만 생각하는 경향이 있었습니다.

• 비유: 마치 수학 문제를 풀 때, 문제지 (그림) 를 눈으로만 보고 머릿속으로만 계산하는 학생과 같습니다.
• 문제점: 만약 문제지에 "손가락이 6 개 달린 손"이 그려져 있고 "손가락이 몇 개인가?"라고 물으면, 이 학생은 "손은 보통 5 개야"라는 **기억 (텍스트 지식)**만 믿고 "5 개"라고 답해버립니다. 실제 그림을 자세히 보지 않고, 글자만 믿는 '지름길'을 걷는 것입니다.

2. 해결책: "VTool-R1" - 그림을 직접 고쳐보는 AI

저자들은 이 문제를 해결하기 위해 VTool-R1이라는 새로운 시스템을 만들었습니다. 이 시스템은 AI 에게 **"그림을 직접 수정해 보면서 생각해보라"**고 가르칩니다.

• 비유: 이제 학생은 형광펜, 가림막, 자 같은 도구를 가지고 문제를 풀게 됩니다.
  • "어디가 중요한지 형광펜으로 칠해보자."
  • "불필요한 부분은 가림막으로 가려보자."
  • "이렇게 그림을 정리하면 답이 명확해지네!"
• 핵심: AI 는 그림을 보고 답을 바로 말하지 않고, 파이썬 코드를 짜서 그림을 수정 (편집) 한 후, 그 수정된 그림을 다시 보고 최종 답을 도출합니다.

3. 어떻게 가르쳤을까? (강화 학습의 마법)

이 AI 를 가르치는 방법은 매우 독특합니다. 정답을 알려주는 게 아니라, 결과만 보고 칭찬하거나 혼내는 방식입니다.

• 비유: 미스터리 게임을 상상해 보세요.
  • 플레이어 (AI) 는 그림을 보고 "이 부분을 칠해야겠다"라고 생각하며 그림을 수정합니다.
  • 게임 마스터는 중간 과정 (형광펜을 잘 썼는지, 가림막을 잘 썼는지) 을 보지 않습니다.
  • 오직 **최종 정답이 맞았을 때만 "잘했다!" (보상)**라고 합니다.
  • 만약 그림을 고치는 과정에서 실수해서 정답을 못 맞췄다면, "아쉽다, 다음엔 다르게 해봐"라고 합니다.
• 결과: AI 는 스스로 **"언제 그림을 고쳐야 정답에 가까워지는지"**를 깨닫게 됩니다. 정답을 맞추기 위해 그림을 고치는 것이 '필요한 행동'임을 학습한 것입니다.

4. 실제 성과: 차트와 표를 읽는 능력이 급상승

이 연구는 특히 **차트 (그래프) 나 표 (테이블)**를 읽는 능력에서 놀라운 결과를 보여줍니다.

• 기존 AI: 차트의 막대기 높이를 눈으로만 대충 보고 "아마 50% 일 거야"라고 추측합니다.
• VTool-R1: "이 막대기가 가장 높네? 이 부분을 형광펜으로 강조해서 숫자를 다시 읽어보자"라고 생각하며, 실제로 그림을 수정한 후 정확한 숫자를 읽어냅니다.
• 결과: 작은 모델 (30 억 개 파라미터) 이더라도, 이 훈련을 받으면 거대한 상용 AI(GPT-4o 등) 보다도 차트 분석 능력이 뛰어날 수 있었습니다.

5. 요약: 왜 이것이 중요한가?

이 논문은 **"AI 가 그림을 볼 때, 단순히 보는 것을 넘어 그림을 '다루고' '수정하며' 생각할 수 있다"**는 것을 증명했습니다.

• 과거: AI 는 그림을 보고 "글로만" 생각했습니다.
• 현재 (VTool-R1): AI 는 그림을 보고 "그림을 고쳐가며" 생각합니다.

이는 마치 수학 문제를 풀 때, 계산기를 두드리고 연필로 그림을 그리며 답을 찾는 과정을 AI 가 스스로 터득하게 만든 것입니다. 앞으로 AI 는 복잡한 데이터나 의료 영상, 공학 도면 등을 분석할 때, 단순히 보는 것을 넘어 직접 조작하며 더 정확한 판단을 내릴 수 있게 될 것입니다.

한 줄 평:

"이제 AI 는 그림을 볼 때, 단순히 '보는' 것을 넘어 직접 '손을 대고' 생각하며 답을 찾습니다."

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 현재의 한계: 최근 대규모 언어 모델 (LLM) 은 강화 학습 미세 조정 (RFT, Reinforcement Learning Finetuning) 을 통해 긴 사고 과정 (Chain of Thought), 자기 교정, 도구 사용 능력을 크게 향상시켰습니다. 그러나 비전 - 언어 모델 (VLM) 로의 확장 시, 기존 연구들은 주로 텍스트 기반의 추론에 집중했습니다. 즉, 이미지 입력은 초기 인코딩 단계에서만 처리되고, 추론 과정은 고정된 이미지 토큰을 기반으로 한 텍스트로만 이루어집니다.
• 텍스트 중심 추론의 실패: 텍스트만 의존할 경우, 모델은 이미지의 실제 시각적 정보보다 언어적 편견 (예: "손에는 5 개의 손가락이 있다"는 상식) 에 의존하여 잘못된 결론을 내리는 경우가 많습니다.
• 기존 시각적 추론 방법의 부족: 'Visual Sketchpad'나 'Refocus'와 같은 기존 방법들은 추론 과정에서 중간 시각적 단계를 포함하지만, 이는 추론 시간 (Inference-time) 에만 적용되거나 강력한 상용 모델 (GPT-4o 등) 에 의존하여 오픈소스 모델에서는 성능이 떨어지는 문제가 있었습니다. 또한, 이러한 방법들은 모델이 스스로 도구를 언제, 어떻게 사용해야 하는지 학습시키는 훈련 메커니즘이 부재했습니다.

2. 제안 방법론: VTOOL-R1 (Methodology)

저자들은 VLM 이 텍스트와 중간 시각적 추론 단계를 교차하며 "이미지로 생각 (Think with images)"할 수 있도록 하는 최초의 RFT 프레임워크인 VTOOL-R1을 제안합니다.

핵심 구성 요소

1. 멀티모달 도구 사용 (Multimodal Tool Use):

   • VLM 이 Python 기반의 **시각 편집 도구 (Visual Editing Tools)**를 호출하여 입력 이미지를 수정 (하이라이팅, 마스킹, 테두리 그리기 등) 할 수 있도록 합니다.
   • 이 수정된 이미지는 모델의 추가 입력으로 다시 주어지며, 모델은 이를 바탕으로 더 풍부한 추론을 수행합니다.
   • 프로세스: 입력 이미지 + 질문 $\rightarrow$ (Thought 0) $\rightarrow$ 도구 호출 (Action 0) $\rightarrow$ 수정된 이미지 생성 $\rightarrow$ (Thought 1) $\rightarrow$ 최종 답변.

2. 결과 기반 보상 (Outcome-based Rewards):

   • 기존 RFT 와 달리, 모델이 시각적 단계를 생성했는지 여부에 대한 **프로세스 기반 보상 (Process-based reward)**은 제공하지 않습니다.
   • 대신, **최종 답변의 정확성 (Outcome-based reward)**만을 기준으로 보상을 부여합니다.
   • 이를 통해 모델은 스스로 "언제 도구를 사용해야 최종 답변의 정확도가 높아지는지"를 전략적으로 학습하게 됩니다. 이는 보상 해킹 (Reward Hacking) 을 방지하고 더 견고한 학습을 유도합니다.

3. 훈련 알고리즘 (GRPO):

   • **Group Relative Policy Optimization (GRPO)**을 기반으로 합니다.
   • 별도의 크리틱 (Critic) 모델 없이, 그룹 내 샘플링된 응답들의 상대적 이득을 계산하여 정책 (Policy) 을 최적화합니다.
   • 훈련 중 모델은 도구 사용 여부와 수정된 이미지를 포함한 멀티모달 추론 경로를 스스로 탐색합니다.

3. 주요 기여 (Key Contributions)

1. 최초의 RFT 프레임워크: VLM 이 외부 시각 편집 도구와 상호작용하며 텍스트와 이미지를 혼합한 멀티모달 사고 체인 (Multimodal Chain of Thought) 을 생성하도록 학습시키는 첫 번째 RFT 프레임워크를 제시했습니다.
2. 전략적 도구 사용 학습: 결과 기반 보상 설계만으로도 모델이 추론 정확도를 높이기 위해 시각적 추론 단계를 언제, 어떻게 생성해야 하는지 학습할 수 있음을 증명했습니다.
3. 구조화된 이미지 추론에서의 검증: 차트 (Chart) 와 테이블 (Table) 기반의 복잡한 시각적 추론 작업에서 VTool-R1 의 유효성을 광범위한 실험을 통해 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋: Refocus 데이터셋을 기반으로 한 구조화된 이미지 추론 태스크 (VWTQ, VTabFact, ChartQA 등) 를 사용했습니다.
• 모델: Qwen-VL 2.5 (3B, 7B, 32B) 모델을 기반으로 훈련을 수행했습니다.
• 성능 향상:
  • 도구 사용 능력: RFT 전에는 오픈소스 모델들이 도구 사용 지시를 따르거나 의미 있는 시각적 단계를 생성하는 데 실패했으나, VTool-R1 훈련 후 3B 및 7B 모델이 도구를 효과적으로 사용하여 중간 추론을 수행하게 되었습니다.
  • 정확도:
    • 차트 (Chart) Split: 3B 모델은 51.8% (Pure Run) 에서 **64.0%**로, 7B 모델은 76.2% 에서 **80.7%**로 향상되었습니다.
    • 테이블 (Table) Split: 3B 모델은 41.3% 에서 **57.9%**로, 7B 모델은 64.7% 에서 **71.7%**로 크게 개선되었습니다.
  • 비교: 동시 연구인 'Deepeyes' (7B 기준 60.0%) 보다 VTool-R1 (7B 기준 80.7%) 이 훨씬 높은 성능을 보였습니다. 이는 도구 설계와 훈련 레시피의 우수성 때문입니다.
• 학습 역동성: 훈련 초기에는 모델이 지시사항에 따라 도구를 과도하게 사용했으나, 훈련이 진행됨에 따라 상황에 맞는 선택적 도구 사용을 학습하게 되었습니다. 즉, 도구가 필요 없는 경우 직접 추론하고, 필요한 경우에만 도구를 사용하는 적응적 행동을 보였습니다.

5. 의의 및 결론 (Significance)

• 패러다임 전환: VLM 이 단순히 이미지를 "읽는" 것을 넘어, 추론 과정에서 이미지를 수정하고 조작하며 "생각"하는 능력을 학습할 수 있음을 보여주었습니다.
• 효율성: 복잡한 프로세스 기반 감독 (Process-based supervision) 없이, 최종 결과만으로도 모델이 복잡한 멀티모달 추론 전략을 스스로 습득할 수 있음을 증명했습니다.
• 미래 전망: 이 프레임워크는 더 다양한 도구 세트로 확장 가능하며, 다중 턴 (Multi-turn) 상호작용 및 에이전트 시스템으로 발전할 잠재력을 가지고 있습니다.

요약하자면, VTool-R1 은 강화 학습을 통해 VLM 이 시각적 도구를 능동적으로 활용하여 텍스트와 이미지를 결합한 심층 추론을 수행하도록 만드는 획기적인 접근법으로, 구조화된 시각 정보 이해 분야에서 새로운 기준을 제시했습니다.