💬 NLP

Vero: An Open RL Recipe for General Visual Reasoning

이 논문은 600K 개의 다양한 시각 추론 데이터셋과 작업별 보상 설계를 기반으로 한 강화 학습 레시피인 'Vero'를 제안하여, 폐쇄형 모델에 버금가는 성능을 내는 오픈 가중치 비전 - 언어 모델을 개발하고 광범위한 데이터 커버리지가 강화 학습 확장성의 핵심임을 입증했습니다.

원저자: Gabriel Sarch, Linrong Cai, Qunzhong Wang, Haoyang Wu, Danqi Chen, Zhuang Liu

게시일 2026-04-07

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Gabriel Sarch, Linrong Cai, Qunzhong Wang, Haoyang Wu, Danqi Chen, Zhuang Liu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

비전의 '만능 천재'를 만드는 비밀 레시피: Vero 이야기

이 논문은 인공지능(AI)이 그림을 보고 이해하고 추론하는 능력을 어떻게 극대화할 수 있는지에 대한 놀라운 발견을 담고 있습니다. 마치 다양한 분야의 전문가들을 한 명으로 합쳐 '만능 천재'를 만드는 레시피를 공개한 것과 같습니다.

이제부터 이 복잡한 연구를 일상적인 언어와 비유로 쉽게 설명해 드릴게요.

1. 문제: 왜 AI 는 '한 가지'만 잘할까?

지금까지의 AI 모델들은 보통 특정 분야에 치중되어 있었습니다.

어떤 AI 는 수학 문제는 잘 풀지만, 지도에서 길을 찾는 것은 엉망입니다.
또 다른 AI 는 차트나 그래프를 잘 읽지만, 사람의 표정을 읽는 데는 서툴러요.

이는 마치 수학 천재가 축구는 못 하고, 축구 선수가 수학은 못 하는 상황과 비슷합니다. 기존에는 이런 AI 들을 훈련시키는 방법이 '비밀 레시피'로 숨겨져 있어서, 누구나 똑같이 좋은 모델을 만들 수 없었습니다.

2. 해결책: 'Vero'와 '600,000 개의 레시피'

연구팀은 **Vero(베로)**라는 새로운 AI 모델을 만들었습니다. Vero 의 핵심 비결은 60 만 개 (600k) 의 다양한 데이터를 섞어 훈련시킨 것입니다.

이 데이터는 마치 6 가지 다른 요리 클래스로 나뉩니다:

STEM (과학/수학): 복잡한 공식과 도해 해석.
지도 및 행동 (Spatial & Action): 로봇이 길을 찾거나 UI 를 조작하는 것.
지식 및 인식 (Knowledge): 사물의 이름이나 사실을 아는 것.
차트 및 OCR (Chart & OCR): 그래프나 문서의 글자를 읽는 것.
위치 찾기 및 세기 (Grounding & Counting): "저기 빨간 공 몇 개 있니?"라고 물으면 찾아서 세는 것.
설명 및 지시 따르기 (Captioning & IF): 그림을 보고 감성적인 설명을 쓰거나, "이 그림을 3 줄로 요약해줘" 같은 지시를 따르는 것.

핵심 아이디어: 연구팀은 이 6 가지 클래스를 균형 있게 섞어서 훈련시켰습니다. 마치 요리사에게 한 달 동안 매일 다른 나라의 요리를 가르쳐서, 어느 나라 요리든 척척 해내는 '만능 요리사'를 만든 것과 같습니다.

3. 훈련 방법: "정답을 맞히면 칭찬, 틀리면 다시 생각하게 하기"

이 모델은 단순히 정답을 외우는 게 아니라, 스스로 생각하며 (Chain-of-Thought) 답을 찾도록 훈련됩니다.

상상해 보세요: AI 가 그림을 보고 "아, 이건 빨간 사과네. 그런데 사과가 3 개야. 아, 아니야. 저기 숨어 있는 게 하나 더 있네. 그럼 4 개야!"라고 스스로 말하며 생각을 정리합니다.
보상 시스템: AI 가 생각한 과정이 논리적이고, 최종 답이 맞으면 **칭찬 (보상)**을 받습니다. 만약 생각 과정이 엉뚱하거나 답이 틀리면 재수강을 시킵니다.
중요한 점: 이 연구는 어떤 질문에는 어떤 생각 방식이 필요한지를 AI 가 스스로 배우게 했습니다. 예를 들어, 수학 문제는 깊이 있게 고민하게 하고, 위치 찾기 문제는 빠르게 눈으로 훑게 만드는 식입니다.

4. 놀라운 결과: 비밀 레시피를 공개한 대가

기존에 비공개로만 존재하던 '최고의 AI'들 (예: Qwen3-VL-Thinking 등) 과 비교했을 때, Vero 는 공개된 데이터와 코드만으로도 그들을 능가하거나 견줄 만한 성능을 냈습니다.

비유: 남들이 비싼 비밀 레시피를 써서 만든 '세계 일류 셰프'와, 우리가 공개한 '일반적인 재료와 레시피'로 만든 '신인 셰프'가 요리 대회를 했을 때, 신인 셰프가 오히려 더 맛있는 요리를 낸 상황입니다.
특히, 수학 문제뿐만 아니라 지도 찾기, 차트 읽기, 그림 설명 등 모든 분야에서 골고루 실력이 뛰어났습니다.

5. 중요한 교훈: "한 가지에 특화되면 다른 건 망가진다"

연구팀은 흥미로운 사실을 발견했습니다.

만약 AI 를 수학 문제만 풀게 훈련시키면, 그림 설명을 잘 쓰던 능력이 사라집니다. (수학 천재가 시를 못 쓰게 되는 것)
반대로 그림 설명만 훈련시키면, 수학 문제를 푸는 논리력이 떨어집니다.

하지만 모든 분야를 골고루 섞어 훈련시키면, AI 는 상황에 따라 적절한 두뇌 회로를 켜고 끄는 능력을 갖게 됩니다. 마치 다재다능한 스포츠 선수가 되어, 축구장에서는 축구, 농구장에서는 농구를 잘하는 것처럼요.

6. 결론: 투명함이 곧 힘이다

이 논문은 "AI 를 더 똑똑하게 만드는 비결은 더 많은 비밀 데이터가 아니라, 다양하고 균형 잡힌 공개 데이터와 명확한 훈련 방법에 있다"고 말합니다.

Vero는 이제 누구나 이 레시피를 따라 할 수 있도록 모든 데이터와 코드를 공개했습니다.
이는 AI 연구가 '비밀 유지'에서 벗어나, 함께 발전하는 오픈 소스 문화로 나아가야 함을 보여줍니다.

한 줄 요약:

"한 가지 일만 잘하는 전문가가 아니라, 모든 일을 척척 해내는 '만능 천재' AI 를 만들려면, 다양한 경험을 골고루 섞어 훈련시켜야 합니다. 그리고 그 비결은 이제 누구나 공유할 수 있습니다!"

Vero: 일반적 시각 추론을 위한 오픈 RL 레시피 (Vero: An Open RL Recipe for General Visual Reasoning) 기술 요약

이 논문은 시각 - 언어 모델 (VLM) 이 차트, 과학, 공간 이해, 개방형 질문 등 다양한 시각적 추론 작업에서 광범위하게 작동할 수 있도록 하는 완전 오픈 소스 강화 학습 (RL) 레시피인 Vero를 제안합니다. 기존 최첨단 모델들은 비공개 데이터와 독점적인 RL 파이프라인에 의존하고 있어 재현성과 분석이 어렵다는 문제를 해결하기 위해, 저자들은 60 만 개의 샘플로 구성된 대규모 데이터셋과 정교한 보상 설계를 통해 오픈 소스 기반의 SOTA(최고 성능) 모델을 달성했습니다.

1. 문제 정의 (Problem)

비공개 레시피의 한계: 현재 가장 강력한 시각 추론 모델들 (예: GPT-5, Qwen3-VL 등) 은 비공개 데이터와 독점적인 RL 파이프라인을 사용하여 훈련됩니다. 이로 인해 어떤 설계 선택이 성능 향상을 주도하는지 체계적으로 연구하거나, 실패 원인을 진단하기 어렵습니다.
작업 범위의 제한: 기존 오픈 소스 RL 연구들 (예: OpenMMReasoner, VL-Rethinker) 은 주로 시각 수학 (Visual Math) 에 집중하여, 차트, OCR, 공간 이해, 개방형 대화 등 다양한 시각 작업으로의 일반화가 부족합니다.
다중 작업 학습의 어려움: 이질적인 시각 작업들을 혼합하여 학습할 경우, 작업 간 간섭 (interference), 약한 전이 (weak transfer), 최적화 불균형이 발생하기 쉽습니다.

2. 방법론 (Methodology)

저자들은 Vero-600K라는 대규모 데이터셋과 VeroEval 평가suite, 그리고 작업 라우팅 보상 (Task-routed Reward) 시스템을 포함한 단일 단계 RL 레시피를 제안합니다.

A. 데이터 구성: Vero-600K

규모 및 구성: 59 개의 데이터셋에서 추출한 60 만 개의 샘플로 구성되었습니다.
6 가지 작업 카테고리: 시각적 추론 능력을 균형 있게 학습시키기 위해 다음 6 가지 카테고리로 분류하여 각 10 만 개씩 균일하게 샘플링했습니다.
1. STEM: 수학적 다이어그램, 과학적 그림, 의료 영상 이해.
2. Spatial & Action: embodied reasoning, UI 탐색, 3D 공간 이해.
3. Knowledge & Recognition: 객체/장면 인식과 외부 지식 결합.
4. Chart & OCR: 차트, 표, 인포그래픽의 구조화된 정보 추출 및 추론.
5. Grounding, Counting & Search: 객체 위치 파악 (Bounding Box), 개수 세기, 시각적 방해물 탐색.
6. Captioning & Instruction Following: 개방형 이미지 설명 및 지시 따르기.
데이터 정제 파이프라인:
- 히어리스틱 및 수동 필터링: 250 개 이상의 후보 데이터셋 중 해상도, 질문 명확성, 정답 검증 가능성 등을 기준으로 59 개를 선별.
- 질문 필터링: LLM 을 활용하여 모호하거나 이미지와 무관한 질문 제거.
- 정답 필터링: 정답 형식을 정규화하고 검증 가능한 형태로 변환 (예: 수치 단위 제거, 객관식 정답 단일화).

B. 학습 알고리즘 및 보상 설계

RL 알고리즘: **GSPO (Group Sequence Policy Optimization)**를 기반으로 합니다. 기존 GRPO 의 토큰 단위 중요도 비율을 시퀀스 수준으로 통합하여 더 안정적인 학습을 유도하고, KL 페널티를 제거하여 정책 업데이트의 제약을 줄였습니다.
작업 라우팅 보상 (Task-routed Rewards): 다양한 작업 유형에 따라 다른 보상 함수를 적용합니다.
- 정확도 보상 ( $R_{acc}$ ): 문자열 매칭, 수치 검증 (Math-Verify), 객관식, 리스트 매칭, 순서 평가, 웹 액션, Grounding (IoU), LLM 어드바이저 (Open-ended) 등 10 가지 유형으로 세분화.
- 형식 보상 ( $R_{fmt}$ ): <thought>...</thought><answer>...</answer> 구조 준수 및 \boxed{} 사용 유무 확인.
- 과장 길이 페널티 ( $R_{overlong}$ ): 불필요하게 긴 응답을 억제하기 위한 소프트 페널티.
데이터 혼합 전략: 작업 카테고리별 균일한 샘플링 (Uniform Mixture) 이 정확도 기반, 난이도 기반, 데이터 크기 기반 혼합보다 전체 성능이 가장 뛰어났습니다.

C. 평가 suite: VeroEval

6 가지 카테고리 전체를 아우르는 30 개의 벤치마크로 구성된 포괄적인 평가 세트를 구축했습니다.

3. 주요 기여 및 결과 (Key Contributions & Results)

A. 성능 결과 (SOTA 달성)

전체 성능: Vero-Qwen3T-8B(Thinking 모델 기반) 와 Vero-Qwen3I-8B(Instruct 모델 기반) 는 8B 파라미터 VLM 중 30 개 벤치마크에서 SOTA를 기록했습니다.
비교 우위:
- Vero-Qwen3T-8B는 비공개 데이터로 훈련된 Qwen3-VL-8B-Thinking보다 30 개 벤치마크 중 24 개에서 더 높은 성능을 보였습니다.
- Vero-MiMo-7B는 동일한 초기 모델에서 훈련되었으나 독점 RL 파이프라인을 사용한 MiMo-VL-7B-RL 보다 6 개 카테고리 중 3 개 (STEM, 지식, 지시 따르기) 에서 더 높은 성능을 기록하여 오픈 레시피의 우수성을 입증했습니다.
- 기초 모델 격차 해소: Qwen2.5-VL-7B(약한 베이스) 로 훈련된 Vero-Qwen25-7B 는 Qwen3-VL-8B-Instruct(강한 베이스) 보다 Chart & OCR 및 Knowledge & Recognition 카테고리에서 더 높은 점수를 기록했습니다.

B. 실험적 발견 (Ablation Studies)

데이터 다양성의 중요성: 단일 작업 카테고리 (예: STEM 만) 로 훈련된 모델은 다른 작업으로 전이되지 않으며, 오히려 성능이 저하되는 **부정적 전이 (Negative Transfer)**가 발생했습니다. 반면, **다양한 작업의 혼합 (Mixing)**은 모든 카테고리에서 일관된 개선을 이끌어냈습니다.
추론 패턴의 이질성: 각 작업 카테고리는 고유한 추론 패턴을 유도합니다.
- STEM: 높은 수준의 백트래킹 (Backtracking) 과 자기 평가 (Self-evaluation) 발생.
- Grounding/Search: introspective(내성적) 행동은 억제되고 시각적 탐색 (Visual Foraging) 에 집중.
- Captioning: 개방형 생성 능력을 유지하기 위해 별도의 작업 카테고리와 LLM 어드바이저 보상이 필수적입니다.
보상 설계: 단순한 수학 검증기 (Math-Verify) 보다 작업 유형별 라우팅 보상이 모든 카테고리에서 더 우수한 성능을 보였습니다.

C. 추론 행동 분석

인지 행동 프로파일: 훈련된 모델은 작업 카테고리에 따라 질적으로 다른 인지 행동 (예: 공간 작업은 '정신적 시뮬레이션', 차트 작업은 '체계적 지역 합성') 을 보입니다.
기술 (Skill) 분리: 추출된 추론 기술 (Skills) 을 분석한 결과, 각 작업 카테고리는 고유한 기술 집합을 형성하며, 이는 다중 작업 학습이 필수적인 이유를 설명합니다.

4. 의의 및 결론 (Significance)

오픈 소스 RL 의 실현 가능성: 비공개 데이터나 독점 파이프라인 없이도, 잘 설계된 데이터 다양성과 보상 메커니즘을 통해 최첨단 수준의 시각 추론 모델을 구축할 수 있음을 입증했습니다.
다양성이 핵심: 시각 추론 RL 에서 알고리즘의 복잡성보다 **작업 범위의 다양성 (Data Diversity)**이 모델의 일반화 능력을 결정하는 가장 중요한 요소임을 규명했습니다.
재현성과 투명성: 모든 데이터 (Vero-600K), 코드, 모델 가중치를 공개하여 향후 연구의 재현성과 메커니즘적 이해를 촉진합니다.
인지 과학적 통찰: VLM 의 추론이 단일한 메커니즘이 아니라, 작업 유형에 따라 동적으로 전환되는 여러 인지 행동의 집합체임을 보여주었습니다.

이 연구는 시각 - 언어 모델의 발전이 '블랙박스' 방식이 아닌, 투명하고 검증 가능한 오픈 레시피를 통해 이루어져야 함을 강조하며, 향후 광범위한 시각 이해를 위한 새로운 표준을 제시합니다.