Vision-R1: Incentivizing Reasoning Capability in Multimodal Large Language Models

이 논문은 기존 MLLM 과 DeepSeek-R1 을 활용해 인간 주석 없이 고품질 다중 모달 CoT 데이터를 구축하고, 점진적 사고 억제 훈련 (PTST) 과 GRPO 를 적용하여 다중 모달 추론 능력을 강화한 'Vision-R1'모델을 제안하며, 이를 통해 MathVista 벤치마크에서 OpenAI O1 과 유사한 성능을 달성했음을 보여줍니다.

핵심

비전-R1 (Vision-R1): 그림을 보고 깊이 생각하게 만든 AI 의 비밀

이 논문은 **"그림과 글을 함께 이해하는 AI(멀티모달 LLM)"**가 어떻게 수학 문제를 풀 때처럼 복잡한 논리 추론 능력을 갖게 되었는지 설명합니다.

기존의 AI 는 그림을 보고 "이건 개구리야"라고 바로 대답하는 데는 능숙했지만, "왜 개구리가 저기 있는 걸까?"라고 단계별로 깊이 생각하거나, 복잡한 기하학 문제를 풀 때는 종종 엉뚱한 답을 내놓곤 했습니다.

이 연구는 **"DeepSeek-R1"**이라는 텍스트 전용 AI 가 강화학습 (RL) 을 통해 스스로 사고하는 능력을 키운 데서 영감을 받아, 그림을 보는 AI 도 똑같은 능력을 갖게 하려고 했습니다. 하지만 단순히 AI 에게 "더 많이 생각해보라"고 강요만 해서는 실패했습니다. 그래서 저자들은 **'비전-R1(Vision-R1)'**이라는 새로운 모델을 만들었습니다.

이 과정을 쉽게 이해할 수 있도록 세 가지 단계로 나누어 설명해 드릴게요.

---

1 단계: "눈먼 천재"를 위한 안경 쓰기 (모달리티 브리징)

상황:
그림을 볼 수 있는 AI 는 있지만, 논리 추론을 잘하는 AI 는 그림을 못 봅니다. 반대로 논리 추론을 잘하는 AI(DeepSeek-R1) 는 그림을 못 봅니다. 마치 수학 천재가 안경을 쓰지 못해 칠판의 그림을 못 보는 상황과 같습니다.

해결책 (모달리티 브리징):
저자들은 두 AI 를 팀으로 꾸렸습니다.

1. 그림 보는 AI가 그림을 보고 "개구리가 연못에 있어요"라고 설명합니다.
2. 하지만 이 설명만으로는 수학 문제를 풀기엔 부족합니다. 그래서 그림 보는 AI에게 "이 그림을 보고 추론 과정까지 포함해서 설명해 줘"라고 시켰습니다.
3. 이렇게 만들어진 상세한 설명을 논리 천재 AI에게 주었습니다.
4. 논리 천재 AI 는 이제 "아, 그림에 개구리가 있고, 연못의 크기가 10m 라면..."이라고 사람처럼 단계별로 생각하며(Chain-of-Thought) 정답을 도출합니다.

이 과정을 통해 사람처럼 깊이 생각하며 그림을 분석하는 데이터 20 만 개를 만들었습니다. 이것이 바로 비전-R1 의 '콜드 스타트(초기 학습)' 자료입니다.

---

2 단계: "생각이 너무 많은" 학생을 다스리기 (과도한 생각 억제)

문제 발생:
초기 학습을 마친 AI 는 이제 그림을 보고 생각할 줄 알았습니다. 하지만 새로운 문제가 생겼습니다. 생각이 너무 길어지고 엉뚱한 길로 빠지는 '과도한 생각 (Overthinking)' 현상이 생긴 것입니다.

비유:
마치 시험을 치는 학생이 있습니다.

• 초기 학습 후: 학생은 문제를 풀 때 "이게 정답일까? 아니다, 저게 정답일까? 아, 잠깐, 내가 실수했나? 다시 생각해보자..." 하며 10 분 동안 고민만 하고 정작 답을 못 내는 경우가 생깁니다.
• 문제: AI 도 마찬가지로, 복잡한 추론을 하려다 보니 정답에 도달하는 가장 짧은 길을 찾지 못하고, 불필요하게 긴 생각의 미로에 빠졌습니다.

해결책 (PTST: 점진적 사고 억제 훈련):
저자들은 AI 에게 **"생각의 길이를 조절하는 훈련"**을 시켰습니다.

1. 1 단계: "일단 생각은 짧게 하라. 핵심만 짚어라." (4K 토큰 제한)
   • AI 는 불필요한 고민을 줄이고 정답에 맞는 핵심 논리를 익힙니다.
2. 2 단계: "이제 조금 더 길게 생각해보라." (8K 토큰으로 확장)
   • 핵심 논리를 익힌 상태에서, 복잡한 문제를 풀기 위해 생각의 깊이를 더합니다.

이처럼 단계별로 생각의 길이를 조절하면서 AI 는 "불필요한 고민은 줄이고, 필요한 때는 깊이 생각하는" 균형 잡힌 사고력을 갖게 되었습니다.

---

3 단계: 놀라운 결과 (작은 몸집, 거대한 능력)

이 훈련을 마친 비전-R1은 어떤 성과를 냈을까요?

• 작은 몸집, 큰 실력: 파라미터가 **70 억 개 (7B)**인 작은 모델임에도 불구하고, **700 억 개 (70B)**가 넘는 거대 모델들과 경쟁할 수 있는 수준이 되었습니다.
• 최고의 기록: 유명한 수학 벤치마크인 MathVista에서 **73.5%**의 정확도를 기록했습니다. 이는 OpenAI 의 O1(가장 강력한 추론 모델 중 하나)과 거의 비슷한 수준입니다. (O1 은 73.9%)
• 확장성: 모델을 더 크게 (32B, 72B) 키우면 정확도는 더 올라가 **78.2%**까지 도달했습니다.

요약: 비전-R1 이教여주는 교훈

이 연구는 AI 에게 단순히 "더 많이 생각하라"고 강요하는 것만으로는 안 된다는 것을 보여줍니다.

1. 좋은 자료 (데이터): 사람이 생각하는 방식처럼 질 높은 사고 과정을 가르쳐야 합니다.
2. 단계적 훈련: 처음부터 복잡한 생각을 하려 하면 AI 는 혼란에 빠집니다. 짧은 생각부터 시작해 점차 길게 훈련해야 합니다.
3. 균형: 정답을 빠르게 찾는 능력과 복잡한 문제를 깊이 파고드는 능력 사이의 균형을 맞추는 것이 핵심입니다.

결론적으로, 비전-R1은 AI 가 그림을 볼 때 단순히 '보는' 것을 넘어, 사람처럼 '생각하고 추론하는' 단계로 도약하게 만든 획기적인 기술입니다. 이는 앞으로 AI 가 의료 진단, 과학 연구, 복잡한 문제 해결 등 더 높은 영역에서 활약할 수 있는 발판이 될 것입니다.

기술 요약

Vision-R1: 멀티모달 대규모 언어 모델 (MLLM) 의 추론 능력 고취를 위한 기술 요약

본 논문은 ICLR 2026 에 제출된 **"Vision-R1: INCENTIVIZING REASONING CAPABILITY IN MULTIMODAL LARGE LANGUAGE MODELS"**로, DeepSeek-R1 의 성공적인 사례를 바탕으로 강화 학습 (RL) 을 통해 멀티모달 대규모 언어 모델 (MLLM) 의 복잡한 추론 능력을 어떻게 향상시킬 수 있는지를 탐구합니다.

1. 문제 정의 (Problem)

• MLLM 의 추론 한계: 기존 MLLM 은 복잡한 추론 작업 (예: 수학 문제 해결, 논리적 추론) 에서 구조화된 중간 추론 단계 (Chain-of-Thought, CoT) 없이 직접적인 답변을 생성하는 경향이 있어 성능이 낮습니다.
• RL 만의 한계: DeepSeek-R1-Zero 와 같이 텍스트 모델에서 RL 만으로 추론 능력을 유도하는 방식은 MLLM 에서는 실패했습니다. 고품질의 멀티모달 추론 데이터가 부족하고, RL 학습 초기에 모델이 복잡한 추론 (질문, 성찰 등) 을 스스로 학습하기 어렵기 때문입니다.
• 과도한 사고 (Overthinking) 문제: 단순히 RL 을 적용하면 모델이 올바른 추론 경로보다 길고 불필요한 사고 과정을 생성하거나, 반대로 짧은 CoT 에만 의존하는 '과도한 사고' 최적화 문제를 겪게 되어 성능 향상에 실패합니다.
• 가짜 CoT (Pseudo-CoT) 의 부재: 기존에 수동으로 제작된 CoT 데이터는 인간의 자연스러운 인지 과정 (질문, 실수 인정, 재검토 등) 을 포함하지 않아 복잡한 시각 추론 작업에 한계가 있습니다.

2. 방법론 (Methodology)

저자들은 Vision-R1이라는 새로운 추론형 MLLM 을 제안하며, 다음과 같은 3 단계 프로세스를 통해 문제를 해결합니다.

2.1. 모달리티 브리징 (Modality Bridging) 을 통한 고품질 데이터 구축

• 목표: 인간 주석이 없는 고품질 멀티모달 CoT 데이터 (20 만 개) 인 Vision-R1-cold 데이터셋 구축.
• 프로세스:
  1. 기존 MLLM 에 이미지와 질문을 입력하여 이미지 설명과 추론 과정을 포함한 "가짜 CoT(Pseudo-CoT)"를 생성.
  2. 생성된 Pseudo-CoT 와 원본 이미지를 다시 MLLM 에 입력하여, 추론에 필요한 모든 시각적 정보를 텍스트로 상세히 기술하도록 유도 (모달리티 브리징).
  3. 이렇게 생성된 상세한 텍스트 설명을 텍스트 전용 추론 모델인 DeepSeek-R1에 입력하여 고품질의 복잡한 CoT 를 추출.
  4. 정답이 일치하는 데이터만 선별하고 규칙 기반 필터링을 거쳐 Vision-R1-cold 데이터셋 완성.

2.2. 콜드 스타트 초기화 (Cold-Start Initialization)

• 구축된 Vision-R1-cold 데이터셋을 사용하여 베이스 MLLM 을 지도 미세 조정 (SFT) 합니다.
• 이를 통해 모델이 DeepSeek-R1 의 자연스러운 인간형 추론 패턴 (질문, 성찰, 자기 교정 등) 을 학습하도록 초기화합니다. 이 단계를 거친 모델을 Vision-R1-CI라고 합니다.

2.3. 점진적 사고 억제 훈련 (Progressive Thinking Suppression Training, PTST)

• 문제: Vision-R1-CI 는 RL 학습 시 올바른 추론이 짧은 시퀀스에 집중되는 반면, 잘못된 추론은 길어지는 '과도한 사고' 문제를 겪습니다.
• 해결책: PTST 전략을 도입하여 GRPO(그룹 상대 정책 최적화) 와 하드 포맷팅 결과 보상 함수 (Hard Formatting Result Reward Function) 를 결합합니다.
  • Stage 1 (4K 토큰 제한): 초기 RL 학습에서 사고 길이를 짧게 제한 (4K) 하여 모델이 올바른 추론 경로를 내부화하도록 유도.
  • Stage 2 (8K 토큰 제한): 올바른 추론이 정착된 후, 점차 길이 제한을 완화 (8K) 하여 더 복잡한 문제를 해결할 수 있도록 점진적으로 사고를 확장.
  • 이 전략은 모델이 초기에는 간결하고 정확한 사고를 학습하게 하고, 이후 복잡한 문제 해결을 위해 사고를 확장하도록 유도합니다.

3. 주요 기여 (Key Contributions)

1. Vision-R1 아키텍처 제안: 콜드 스타트 초기화와 RL 학습을 결합하여 MLLM 의 추론 능력을 고취하는 새로운 프레임워크를 제시했습니다.
2. 20 만 개 규모의 고품질 데이터셋 (Vision-R1-cold): 인간 주석 없이 생성된, 인간의 인지 과정 (질문, 성찰, '아하 순간') 을 모방한 멀티모달 CoT 데이터셋을 공개했습니다.
3. PTST 전략 개발: RL 학습 중 발생하는 '과도한 사고' 최적화 문제를 해결하기 위해 사고 길이를 점진적으로 조절하는 PTST 알고리즘을 제안했습니다.
4. 파라미터 효율성: 7B 파라미터 모델이 70B+ 파라미터의 기존 최상위 모델들과 경쟁할 수 있는 성능을 달성함을 증명했습니다.

4. 실험 결과 (Results)

• MathVista 벤치마크:
  • Vision-R1-7B: 73.5% 정확도 달성 (OpenAI O1 의 73.9% 와 불과 0.4% 차이).
  • Vision-R1-32B: 76.4% 정확도.
  • Vision-R1-72B: 78.2% 정확도.
• 성능 향상: RL 학습 중 1 만 개의 멀티모달 수학 데이터만 사용했음에도 다양한 벤치마크에서 평균 약 6% 의 성능 향상을 보였습니다.
• 비교 우위: Vision-R1-7B 는 70B 이상의 모델들 (Qwen2.5-VL-72B 등) 과 비교하여 수학 추론 작업에서 동급 이상의 성능을 보였으며, 특히 복잡한 수학 문제 해결 능력에서 두드러진 개선을 입증했습니다.
• 생성된 추론의 질: 모델이 문제를 해결하는 과정에서 "Wait", "Hmm", "Let me check"와 같은 인간의 자연스러운 질문과 자기 성찰 (Self-reflection) 을 포함하는 'Aha moment'를 생성하는 것을 시각적으로 확인했습니다.

5. 의의 (Significance)

• MLLM 추론의 새로운 패러다임: 단순히 데이터를 늘리는 것을 넘어, RL 과 콜드 스타트 초기화의 시너지를 통해 MLLM 이 복잡한 추론 능력을 '자발적으로' 획득할 수 있음을 입증했습니다.
• 데이터 효율성: 인간의 수동 주석 없이도 고품질의 복잡한 추론 데이터를 생성할 수 있는 방법을 제시하여, 추론 모델 개발의 비용과 시간을 크게 절감할 수 있는 가능성을 열었습니다.
• 규모의 경제 극복: 소규모 모델 (7B) 이 대규모 모델과 경쟁할 수 있는 능력을 갖추게 함으로써, 추론 능력 향상이 반드시 모델 크기 증가에만 의존하지 않음을 보여주었습니다.

이 연구는 멀티모달 AI 가 단순한 인식 단계를 넘어, 인간과 유사한 복잡한 논리적 추론과 문제 해결 능력을 갖추는 데 중요한 이정표가 될 것으로 기대됩니다.