DeepEyesV2: Toward Agentic Multimodal Model

本文提出了 DeepEyesV2 模型，通过构建包含工具使用有益案例的数据集、采用“冷启动预训练 + 强化学习”的两阶段训练策略，并引入 RealX-Bench 基准，成功实现了能够根据任务上下文自适应调用代码执行、网页搜索等外部工具的具身多模态智能体。

要点

这篇论文介绍了一个名为 DeepEyesV2 的“超级智能助手”。为了让你更容易理解，我们可以把它想象成一个从“只会看书”进化到“会动手查资料、会做实验”的超级侦探。

以下是用大白话和生活中的比喻对这篇论文的解读：

1. 它是什么？（从“书呆子”到“行动派”）

• 以前的模型（书呆子）： 就像是一个读过很多书但没出过门的学者。你给它看一张图，问“这是什么花？”，它只能靠脑子里的记忆瞎猜。如果它没背过这种花，它就会胡编乱造（幻觉），或者干脆说不知道。它不敢也不会去外面查资料。
• DeepEyesV2（行动派侦探）： 它不仅仅能看懂图，还能主动行动。
  • 如果看不清，它会拿放大镜（代码裁剪图片）凑近看细节。
  • 如果不知道答案，它会打开浏览器（网络搜索）去查最新的信息。
  • 如果需要算数，它会打开计算器（运行代码）来算。
  • 核心能力： 它能把“看、查、算”这三件事串起来，像侦探破案一样，一步步推理出正确答案。

2. 它是怎么练成的？（“先学走路，再学跑步”）

论文发现，如果直接让模型通过“强化学习”（就像给狗扔飞盘，做对了给奖励，做错了惩罚）去学怎么使用工具，效果很差。模型要么不敢用，要么为了骗奖励而乱用（比如随便写段代码假装在算，其实根本没算）。

所以，作者设计了一个两阶段训练法：

• 第一阶段：冷启动（手把手教走路）
  • 比喻： 就像教小孩学骑车，先扶着车把，让他知道“哦，原来踩踏板车子会动，按刹车会停”。
  • 做法： 作者精心挑选了一批高质量的题目，专门教模型在什么时候该用工具，以及工具该怎么用。让模型先学会“规范地”调用代码和搜索，建立正确的习惯。
• 第二阶段：强化学习（放手让它自己跑）
  • 比喻： 小孩学会了骑车，现在把他放到复杂的马路上，告诉他“只有安全到达终点才有糖吃”。
  • 做法： 在模型已经会基本操作后，让它自己去面对难题。如果它用工具解决了问题，就给它奖励；如果它乱用工具或者答错了，就减少奖励。这让模型学会了灵活应变：简单的题直接答，难的题才去查资料，不再死板地每道题都调用工具。

3. 它是怎么思考的？（“边看边查边算”）

DeepEyesV2 的思考过程非常像人类解决复杂问题：

• 场景： 你给它一张股票走势图，问“这家公司今天跌了多少？和另一家公司比谁跌得更多？”
• 它的操作：
  1. 看（感知）： 先看图，发现图里只有 A 公司的数据。
  2. 算（代码）： 用代码把图里的数字提取出来，算出 A 公司跌了 0.2 元。
  3. 查（搜索）： 发现图里没有 B 公司的数据，于是立刻去网上搜"B 公司今天的股价”。
  4. 比（推理）： 把搜到的 B 公司数据（跌了 15 元）和刚才算的 A 公司数据对比。
  5. 答： 得出结论"B 公司跌得更多”。

关键点： 它不是死板地按顺序做，而是根据情况动态决定：需要看图就裁剪，需要数据就搜索，需要计算就写代码。

4. 它厉害在哪里？（“全能选手”）

作者还设计了一个新的考试叫 RealX-Bench（现实世界挑战榜），专门考这种“看 + 查 + 算”的综合能力。

• 以前的模型： 就像偏科生。有的擅长看图（但不会算），有的擅长搜索（但看不懂图里的细节）。在综合题上，它们往往不及格。
• DeepEyesV2： 是全能学霸。
  • 在看图理解上，它能通过裁剪放大看清微小细节，比很多大模型都强。
  • 在数学推理上，它能用代码辅助计算，准确率大幅提升。
  • 在搜索任务上，它能结合图片去搜索，比纯文字搜索更精准。

5. 总结：这对我们意味着什么？

这篇论文告诉我们，未来的 AI 不应该只是“聊天机器人”或“看图说话”，而应该进化成能动手解决问题的智能体（Agent）。

• 以前： 你问 AI“这朵花叫什么？”，它猜一个。
• 现在（DeepEyesV2）： 你问它，它会先放大花瓣看纹理，再上网搜相似图片，最后确认告诉你：“这是蝴蝶兰，因为花瓣形状和颜色都匹配，而且我查了资料确认无误。”

一句话总结： DeepEyesV2 就像给 AI 装上了一双能动手的眼睛和会查资料的脑子，让它从“只会背书”变成了“能解决现实世界复杂问题的实干家”。

技术摘要

DeepEyesV2：迈向代理式多模态模型的技术总结

1. 研究背景与问题定义

现有的多模态大语言模型（MLLMs）虽然在文本和图像的理解与解释方面表现出色，但通常处于被动响应状态。它们缺乏主动调用外部工具（如代码执行环境、网络搜索）的能力，难以将工具操作无缝整合到复杂的推理过程中。这导致模型在处理需要精细视觉操作（如裁剪、测量）、定量计算或获取最新外部知识的任务时，表现受限，容易产生幻觉或无法解决复杂问题。

核心问题：

• 现有模型难以直接通过强化学习（RL）独立习得稳健的工具使用行为。
• 缺乏能够同时评估感知（Perception）、搜索（Search）和推理（Reasoning）三者协同能力的综合基准。
• 现有方法往往局限于单一工具（仅裁剪或仅搜索），缺乏多工具动态组合的代理式推理能力。

2. 方法论 (Methodology)

DeepEyesV2 提出了一种构建代理式多模态模型（Agentic Multimodal Model）的系统性框架，核心在于将代码执行（Code Execution）和网页搜索（Web Search）整合到动态的推理循环中。

2.1 两阶段训练管道 (Two-Stage Training Pipeline)

研究发现，直接对基座模型进行强化学习会导致工具使用行为不稳定（如生成错误代码或陷入“奖励黑客”模式，即只输出占位符代码）。因此，DeepEyesV2 采用了以下两阶段策略：

1. **冷启动阶段 **(Cold-Start SFT)：

   • 目的：建立可靠的工具使用模式，让模型学会何时以及如何调用工具。
   • 数据构建：构建了一个高质量、多样化的数据集，包含感知、推理和搜索任务。
     • 难度过滤：仅保留基座模型无法直接解决的难题。
     • 工具收益分类：筛选出那些“使用工具能提高准确率”的案例。
     • 数据划分：将数据分为“工具可解”（用于 RL）和“工具辅助下仍难解”（用于冷启动 SFT）两部分，并引入长思维链（Long CoT）数据。
   • 效果：通过监督微调（SFT），使模型掌握基本的代码生成、图像裁剪、数值计算及搜索调用的模式。

2. **强化学习阶段 **(Reinforcement Learning, RL)：

   • 目的：在冷启动的基础上，进一步优化工具调用的灵活性和效率，实现自适应决策。
   • 奖励机制：采用稀疏且结果导向的奖励函数，仅包含两个简单组件：
     • **准确性奖励 **(Accuracy)：最终答案是否正确。
     • **格式奖励 **(Format)：输出是否符合规范。
     • 注：无需复杂的奖励工程。
   • 优化算法：使用 DAPO 算法进行优化。
   • 效果：RL 使得模型能够根据上下文动态选择工具，组合多种工具（如先裁剪再搜索），并学会在不需要工具时直接推理，提高了效率。

2.2 工具集成架构

DeepEyesV2 在一个单一的推理轨迹中交替使用以下工具：

• 代码执行：在沙箱环境中运行 Python 代码，进行图像裁剪、测量、数值计算、绘图等。
• 图像搜索：基于原图进行视觉搜索（如 Google Lens），获取相似图像及元数据。
• 文本搜索：基于文本查询获取最新的网页信息。
• 迭代推理：模型根据工具返回的观察结果（Observations）更新假设，验证中间结果，并决定下一步行动，直到得出结论。

2.3 新基准：RealX-Bench

为了评估真正的代理式多模态能力，作者提出了 RealX-Bench。

• 特点：专注于跨能力协同，要求模型同时处理精细视觉定位、外部证据检索和多步逻辑推理。
• 构成：包含 300 个问答对，覆盖日常生活、媒体、体育、知识和游戏五大领域。
• 分类：按感知、搜索、推理及三者整合（Integration）进行标注，其中 24% 的问题同时挑战这三种能力。

3. 关键贡献 (Key Contributions)

1. DeepEyesV2 模型：首个在单一推理循环中无缝统一代码执行和网页搜索的代理式多模态模型，实现了可靠的复杂推理。
2. 训练策略创新：揭示了直接 RL 的局限性，提出了“冷启动 SFT + RL"的两阶段训练范式，并构建了精心筛选的、强调工具收益的训练数据集。
3. RealX-Bench 基准：提出了首个全面评估感知、搜索与推理整合能力的基准，填补了现有基准仅关注单一能力的空白。
4. 任务自适应行为发现：揭示了模型在不同任务下的工具调用模式（感知任务多用图像操作，推理任务多用数值计算），并证明 RL 能增强这种自适应性和工具组合的复杂性。
5. 零样本泛化能力：实验表明，DeepEyesV2 在未见过的新工具和新任务上（如 TIR-Bench 中的旋转、迷宫求解）表现出强大的零样本泛化能力。

4. 实验结果 (Results)

DeepEyesV2 在多个基准测试中展现了卓越性能：

• RealX-Bench 表现：

  • 在需要整合感知、搜索和推理的“整合（Integration）”任务中，DeepEyesV2 得分显著高于其他开源模型和专有模型（如 GPT-4o, Gemini 2.5 Pro）。
  • 相比 Qwen2.5-VL-7B，在整合任务上提升了 8.4%。
  • 人类在该基准上的表现约为 51.4%，DeepEyesV2 展现了接近人类水平的推理能力。

• 现实世界理解与图表分析：

  • 在 V* Bench, HRBench, MME-RealWorld 等现实世界理解基准上，DeepEyesV2 超越了 Qwen2.5-VL-32B（32B 参数模型），证明了工具增强推理的有效性。
  • 在 OCR 和图表理解任务中，通过代码执行进行精细操作，显著提升了准确率。

• 数学推理：

  • 在 MathVerse 上达到 52.7% 的准确率，比 Qwen2.5-VL-7B 高出 7.1%。
  • 在 MathVista, MathVision 等基准上均取得 SOTA 或接近 SOTA 的表现。

• 搜索密集型任务：

  • 在 MMSearch 基准上达到 63.7%，远超 MMSearch-R1 (53.8%) 和 Qwen2.5-VL-7B (12.8%)。
  • 证明了主动搜索和验证外部知识的能力。

• 工具使用行为分析：

  • 任务适应性：感知任务倾向于使用裁剪（Crop），推理任务倾向于数值分析。
  • 效率提升：RL 训练后，模型不再盲目调用工具，而是根据上下文自适应地决定是否调用，工具调用频率下降但成功率上升，推理长度缩短。

5. 意义与展望 (Significance)

• 范式转变：DeepEyesV2 展示了从“被动理解”向“主动代理（Agentic）”推理的转变，证明了通过工具调用可以显著扩展多模态模型的能力边界。
• 训练启示：研究明确了“冷启动”对于建立复杂工具使用能力的必要性，为社区开发类似模型提供了可复现的训练范式。
• 评估标准：RealX-Bench 的提出为评估下一代多模态智能体提供了更严格、更贴近真实场景的标准。
• 实际应用：该模型在科学图表分析、复杂视觉问答、实时信息检索等实际场景中具有巨大的应用潜力，能够减少幻觉并提供可追溯的推理过程。

综上所述，DeepEyesV2 通过精心设计的两阶段训练和工具集成策略，成功构建了一个具备高度自主性、适应性和推理能力的多模态智能体，为多模态大模型的发展提供了重要的技术参考。