DeepEyesV2: Toward Agentic Multimodal Model

이 논문은 텍스트와 이미지 이해를 넘어 외부 도구를 능동적으로 활용하는 에이전트형 멀티모달 모델 'DeepEyesV2'를 제안하며, 도구 사용 패턴 확립을 위한 콜드스타트 단계와 정교화를 위한 강화학습 단계를 포함한 2 단계 학습 파이프라인과 새로운 벤치마크 'RealX-Bench'를 통해 실세계 다중 능력 통합의 효과를 입증합니다.

핵심

DeepEyesV2: "눈이 밝아진 AI"가 어떻게 문제를 해결하는가?

이 논문은 **'DeepEyesV2'**라는 새로운 인공지능 모델을 소개합니다. 기존의 AI가 단순히 그림을 보고 "이건 개야"라고 말하는 것을 넘어, **스스로 도구를 꺼내 써서 문제를 해결하는 '능동적인 AI'**를 만드는 방법을 다룹니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 기존 AI vs. DeepEyesV2: "수동적인 학생" vs. "현실적인 탐정"

• 기존 AI (수동적인 학생):
  시험지를 받으면 머릿속에 있는 지식만 가지고 답을 쓰려고 합니다. 만약 시험지에 낯선 그림이 나오거나, 최신 뉴스가 필요하면 "모르겠어요"라고 하거나, 엉뚱한 답을 지어냅니다 (할루시네이션). 마치 책상 위에 있는 교과서만 보고 시험을 보는 학생과 같습니다.

• DeepEyesV2 (현실적인 탐정):
  문제를 받으면 바로 답을 쓰지 않습니다.

  1. 눈을 크게 뜨고 (이미지 확대): 그림의 작은 부분까지 자세히 봅니다.
  2. 도구를 꺼냅니다 (코드 실행): "이 숫자를 계산해 볼까?"라고 생각하면 직접 계산기를 켜서 코드를 짭니다.
  3. 인터넷을 검색합니다 (웹 검색): "이 꽃이 뭐지?"라고 물으면 바로 검색창을 열어 최신 정보를 찾아옵니다.
  4. 모든 정보를 합쳐서 답을 냅니다.
     마치 현장에서 증거를 수집하고, 전문가에게 물어보고, 계산기를 두드리며 사건을 해결하는 탐정과 같습니다.

---

2. 어떻게 가르쳤을까요? (두 단계 훈련법)

연구자들은 이 AI에게 "도구를 써라!"라고 바로 말했지만, AI는 도구를 제대로 쓰지 못했습니다. 그래서 두 단계로 나누어 가르쳤습니다.

1 단계: "초보 실습" (Cold Start)

• 상황: AI에게 "도구를 써서 문제를 풀어봐"라고 했더니, AI는 엉뚱한 코드를 짜거나 도구를 안 쓰는 경우가 많았습니다.
• 해결책: 먼저 정답이 있는 예제를 많이 보여줬습니다. "이런 문제일 때는 이렇게 확대하고, 저런 문제일 때는 이렇게 검색해"라고 모범 답안을 보여주며 기본기를 다졌습니다.
• 비유: 요리 학교에서 처음엔 레시피를 보고 따라 하며 기본기를 익히는 단계입니다.

2 단계: "실전 훈련" (강화 학습)

• 상황: 기본기는 다졌으니, 이제 스스로 판단하게 했습니다.
• 해결책: AI가 문제를 풀 때 **정답을 맞히면 칭찬 (보상)**을 주고, 틀리면 다시 생각하게 했습니다. AI는 "아, 이 문제는 검색이 필요했구나", "저 문제는 계산이 필요했구나"를 스스로 깨닫게 됩니다.
• 비유: 이제 실제 식당에서 손님 주문을 받고 상황에 따라 재료를 고르고 조리법을 결정하는 실전 훈련 단계입니다.

---

3. 새로운 시험지: "RealX-Bench"

기존 시험지들은 "그림을 잘 보나?", "글을 잘 읽나?"를 따로 따로 시험했습니다. 하지만 현실 세계는 그림, 검색, 계산이 섞여 있습니다.

• 새로운 시험지 (RealX-Bench):
  "이 사진 속 주식 차트를 보고, 같은 날 다른 회사의 주가도 검색해서 비교해 봐" 같은 복합적인 문제를 냈습니다.
  • 결과: DeepEyesV2 는 기존 AI 들보다 훨씬 잘 풀었습니다. 특히 그림을 잘 보고, 검색도 잘하고, 논리도 잘 통하는 종합적인 능력을 보여줬습니다.

---

4. DeepEyesV2 의 특별한 능력: "상황에 맞는 도구 선택"

이 AI 의 가장 큰 장점은 무작정 도구를 쓰는 게 아니라, 상황에 맞춰 선택한다는 점입니다.

• 그림을 봐야 할 때: "확대경 (Crop)"을 꺼내서 꽃잎의 무늬를 자세히 봅니다.
• 숫자를 계산해야 할 때: "계산기 (코드 실행)"를 켜서 정확한 값을 구합니다.
• 지식이 필요할 때: "검색 엔진"을 열어 최신 정보를 찾습니다.

처음엔 도구를 너무 많이 썼지만, 훈련을 거치면서 **"이건 내가 머리로 풀 수 있겠네, 검색은 안 해도 되겠다"**라고 판단하게 되어 더 똑똑하고 효율적이 되었습니다.

---

5. 결론: 왜 이것이 중요한가요?

DeepEyesV2 는 AI 가 단순히 "지식"을 가진 것을 넘어, **현실 세계의 복잡한 문제를 스스로 해결하는 '행동하는 AI(에이전트)'**로 발전했음을 보여줍니다.

• 의미: 앞으로 AI 는 의사가 진단할 때 최신 논문도 검색하고, 화가 그림을 그릴 때 색상을 정확히 계산하고, 투자자가 주식을 분석할 때 실시간 데이터를 찾아주는 진짜 파트너가 될 수 있습니다.

한 줄 요약:

"DeepEyesV2 는 눈이 밝아지고, 손이 빨라지며, 머리가 좋아진 AI로, 문제를 해결할 때 필요한 도구를 스스로 찾아서 완벽하게 사용합니다."

기술 요약

DeepEyesV2: Toward Agentic Multimodal Model 기술 요약

1. 문제 정의 (Problem)

기존의 멀티모달 대규모 언어 모델 (MLLM) 은 텍스트와 이미지를 이해하고 해석하는 능력은 뛰어나지만, 능동적으로 외부 도구 (코드 실행 환경, 웹 검색 등) 를 호출하여 이를 추론 과정에 통합하는 능력이 부족합니다.

• 수동적 한계: 현재 모델들은 주로 입력된 정보를 기반으로 정적인 답변을 생성하며, 복잡한 시각적 조작 (자르기, 측정 등) 이나 최신 외부 지식 조회가 필요한 작업에서는 실패하거나 환각 (hallucination) 을 일으킵니다.
• 도구 사용의 어려움: 단순히 강화 학습 (RL) 만을 적용하여 도구 사용 능력을 학습시키려 할 때, 모델이 안정적인 도구 호출 패턴을 확립하지 못하거나, 보상을 속이는 (reward hacking) 행동을 보이며 도구 사용을 포기하는 문제가 발생했습니다.

2. 방법론 (Methodology)

DeepEyesV2 는 데이터 구축, 학습 전략, 평가 프로토콜의 세 가지 관점에서 에이전트형 멀티모달 모델을 구축하기 위한 체계적인 접근법을 제시합니다.

• 2 단계 학습 파이프라인:

  1. 콜드스타트 (Cold-Start) 단계: 직접적인 강화 학습만으로는 안정적인 도구 사용이 어렵다는 점을 인지하고, 먼저 고품질의 지도 미세 조정 (SFT) 데이터를 통해 모델에게 도구 사용 패턴을 학습시킵니다.
     • 데이터 선별: 베이스 모델이 해결할 수 없는 난이도의 질문과, 도구 사용이 정확도 향상에 기여하는 경우를 엄격하게 필터링하여 수집했습니다.
     • 데이터 구성: 지각 (Perception), 추론 (Reasoning), 검색 (Search) 과 관련된 다양한 시나리오와 긴 체인 오브 씽킹 (Long CoT) 데이터를 포함하여 모델이 도구 호출의 필요성을 이해하도록 훈련합니다.
  2. 강화 학습 (Reinforcement Learning, RL) 단계: 콜드스타트 후 RL 을 적용하여 동적 환경에서 도구를 언제, 어떻게 호출할지 최적화합니다.
     • 보상 함수: 복잡한 보상 엔지니어링 없이 **정확도 (Accuracy)**와 **형식 준수 (Format)**라는 두 가지 간단한 보상만 사용하여 학습을 진행했습니다.
     • 목표: 모델이 상황에 따라 도구를 선택적으로 호출하고, 복잡한 도구 조합을 수행하며, 불필요한 도구 호출을 줄이는 적응형 추론 능력을 갖추게 합니다.

• 통합 도구 호출 프레임워크:

  • DeepEyesV2 는 단일 추론 루프 내에서 **코드 실행 (Python)**과 **웹 검색 (이미지/텍스트)**을 상호 보완적으로 활용합니다.
  • 모델은 이미지 자르기, 수치 계산, 웹 검색 등을 반복적으로 수행하며 증거를 수집하고 가설을 검증한 후 최종 답변을 도출합니다.

• 새로운 벤치마크: RealX-Bench:

  • 기존 벤치마크가 지각, 검색, 추론 중 하나만 평가하는 한계를 극복하기 위해, 실제 세계의 복잡한 시나리오에서 이 세 가지 능력을 통합적으로 평가하는 새로운 벤치마크를 제안했습니다.

3. 주요 기여 (Key Contributions)

1. DeepEyesV2 모델 개발: 코드 실행과 웹 검색을 단일 추론 루프에 통합하여 신뢰성 있고 복잡한 추론이 가능한 에이전트형 멀티모달 모델을 최초로 제안했습니다.
2. 고품질 데이터 구축 및 학습 전략: 도구 사용의 안정성을 확보하기 위한 엄격한 데이터 필터링과 '콜드스타트 SFT + 강화 학습'의 2 단계 학습 파이프라인을 정립했습니다.
3. RealX-Bench 제안: 지각, 검색, 추론의 통합 능력을 평가할 수 있는 포괄적인 벤치마크를 공개하여 에이전트형 멀티모달 지능 평가의 새로운 표준을 제시했습니다.
4. 성능 및 행동 분석: DeepEyesV2 가 다양한 벤치마크에서 기존 모델들을 압도하는 성능을 보였으며, RL 을 통해 모델이 작업에 적응적인 도구 호출 패턴 (지각 작업에는 이미지 조작, 추론 작업에는 수치 계산 등) 을 학습하고 효율성을 높였음을 분석했습니다.

4. 실험 결과 (Results)

• RealX-Bench 성능: DeepEyesV2 는 지각, 검색, 추론을 모두 요구하는 통합 작업에서 기존 오픈소스 모델 및 상용 모델 (GPT-4o, Gemini 2.5 Pro 등) 보다 월등히 높은 성능을 보였습니다. 특히 세 가지 능력을 모두 결합한 작업에서 인간 수준의 성능에 근접하거나 다른 모델들을 크게 앞섰습니다.
• 기타 벤치마크:
  • 실제 세계 이해 (Real-World Understanding): OCR, 차트 이해, HRBench 등에서 Qwen2.5-VL-32B 를 포함한 기존 모델들을 능가했습니다.
  • 수학적 추론 (Mathematical Reasoning): MathVerse 에서 정확도가 52.7% 로, 기존 모델 대비 +7.1%p 향상되었습니다.
  • 검색 기반 작업 (Search-intensive Tasks): MMSearch 벤치마크에서 63.7% 의 정확도를 기록하여 MMSearch-R1(53.8%) 보다 크게 우세했습니다.
• 효율성 및 적응성: RL 학습 후 모델은 불필요한 도구 호출을 줄이고 (적응형 사고), 필요한 경우에만 복잡한 도구 조합을 사용하는 등 효율성이 크게 개선되었습니다.

5. 의의 (Significance)

이 논문은 멀티모달 모델이 단순히 "보는" 것을 넘어 능동적으로 도구를 사용하여 문제를 해결하는 에이전트로 진화하는 데 필요한 핵심 요소들을 체계적으로 규명했습니다.

• 학습 전략의 정립: RL 만으로는 도구 사용이 불안정할 수 있음을 증명하고, 콜드스타트 SFT 와 RL 의 조합이 필수적임을 입증했습니다.
• 실용적 적용 가능성: 실제 세계의 복잡한 문제 (정밀한 시각 분석, 최신 정보 검색, 정교한 계산) 를 해결할 수 있는 모델의 가능성을 보여주어, 향후 에이전트형 AI 시스템 개발에 중요한 가이드라인을 제공합니다.
• 평가 기준의 혁신: 단일 능력 평가가 아닌 통합 능력을 평가하는 RealX-Bench 를 통해, 에이전트 모델의 진정한 능력을 측정할 수 있는 새로운 기준을 마련했습니다.

결론적으로 DeepEyesV2 는 멀티모달 모델이 외부 도구와 상호작용하며 스스로 추론하는 능력을 획득하는 데 있어, 데이터의 질, 학습 단계의 설계, 그리고 통합 평가의 중요성을 강조하는 획기적인 연구입니다.