Vision-DeepResearch: Incentivizing DeepResearch Capability in Multimodal Large Language Models

本文提出了 Vision-DeepResearch，一种通过冷启动监督与强化学习训练多轮、多实体及多尺度视觉文本搜索能力的多模态大模型新范式，使其在复杂噪声环境下能进行深度推理与广泛证据聚合，从而显著超越现有模型及基于 GPT-5 等闭源强基座的工作流。

要点

这篇论文介绍了一个名为 Vision-DeepResearch（视觉深度研究）的新系统。简单来说，它让 AI 变得更像一个**“拥有侦探直觉和超级搜索技能的调查员”**，而不仅仅是一个只会看图说话的“百科全书”。

为了让你更容易理解，我们可以把现有的 AI 和这个新系统比作两种不同的**“找东西”**的方式：

1. 以前的 AI：像“拿着整张地图乱撞的游客”

想象一下，你给以前的 AI 一张很乱的照片（比如一张有很多人的体育场照片），问它：“那个穿红色球衣的人是谁？”

• 以前的做法（全图搜索）： AI 会直接把整张照片扔给搜索引擎。
  • 比喻： 就像你走进一个巨大的图书馆，把整栋大楼的照片扔给图书管理员，问：“这本书在哪？”管理员可能会因为照片里人太多、背景太乱，完全找不到重点，或者给你一堆无关的书（这就是论文里说的“命中率低”的问题）。
• 以前的做法（浅尝辄止）： 如果第一次没找到，AI 可能就直接放弃了，或者只问一两个简单的问题就给出一个猜测的答案。
  • 比喻： 就像游客问路，问了一次没得到准确答案，就随便指个方向走了，根本不会去问路人、看路牌或者换条路再试。

结果： 面对复杂、嘈杂的现实世界，以前的 AI 经常答非所问，或者根本找不到答案。

---

2. 新的 Vision-DeepResearch：像“经验丰富的私家侦探”

这个新系统改变了策略，它学会了像人类侦探一样思考：

A. 学会“切蛋糕”式搜索（多尺度、多实体）

• 做法： 当 AI 看到那张体育场照片时，它不会扔整张图。它会先把照片放大，把那个穿红衣服的人单独裁剪出来，再扔给搜索引擎。如果还没找到，它可能会再裁剪一下旁边的广告牌，或者换个角度再搜。
• 比喻： 就像侦探在案发现场，不会把整个房间的照片给法医，而是会拿着放大镜，先对准那个关键的指纹，再对准那把刀，一步步缩小范围。这就是论文里说的“多尺度视觉搜索”。

B. 学会“死磕”到底（长链条推理）

• 做法： 如果第一次搜索没结果，AI 不会放弃。它会想：“也许名字拼错了？也许需要查一下这个人的球队？也许需要查一下比赛日期？”它会连续进行几十次搜索，像剥洋葱一样，一层一层地深入。
• 比喻： 就像侦探在破案时，如果线索断了，他会去查电话记录、去问邻居、去查监控，甚至去查十年前的旧报纸。它愿意花几个小时（几十步推理）去拼凑真相，而不是只问一句就结束。

C. 图文结合，互相验证

• 做法： 它不仅能看图，还能看图搜出来的文字，再结合文字去反推图里的细节。
• 比喻： 侦探不仅看现场照片，还会去查相关的新闻报道，把文字信息和照片里的细节对得上号，确保证据链完整。

---

3. 它是如何练成的？（数据流水线）

为了让 AI 学会这种“侦探技能”，作者们没有让它瞎猜，而是给它造了一个**“超级特训营”**：

1. 制造难题（合成数据）： 他们故意制造了很多很难的“看图问答题”。比如，把照片里的关键信息藏起来，或者把问题绕得很弯（比如不问“猫叫什么”，而问“猫主人的女儿的老师是谁”）。
2. 模拟演练（轨迹生成）： 他们让强大的 AI 先模拟一遍“侦探破案”的全过程：怎么裁剪图片、怎么搜索、怎么失败、怎么换思路、最后怎么找到答案。
3. 实战训练（强化学习）： 让新 AI 在这些模拟的“破案现场”里反复练习。做对了给奖励，做错了（比如死循环、搜不到）就让它重来。经过成千上万次的“试错”，它终于学会了如何高效地找到真相。

4. 最终效果：小身材，大能量

• 结果： 这个新系统（Vision-DeepResearch）在六个不同的测试题上都拿到了第一名，甚至超过了那些由昂贵闭源大模型（如 GPT-5、Gemini 等）组成的复杂工作流。
• 亮点： 最厉害的是，它用较小的模型（比如 80 亿参数，相当于一个普通手机能跑的大小）就达到了超级大模型的效果。这意味着未来我们手机里的 AI 助手，也能像顶级侦探一样，帮你解决复杂的现实问题。

总结

这篇论文的核心思想就是：别指望 AI 一眼看穿所有秘密。
以前的 AI 是“一眼定生死”，现在的 Vision-DeepResearch 是**“抽丝剥茧，死磕到底”。它教会了 AI 在面对混乱的现实世界时，如何像人类一样，通过多次尝试、多角度观察、深度思考**，最终找到那个正确的答案。

技术摘要

Vision-DeepResearch 技术总结

1. 研究背景与核心问题 (Problem)

现有的多模态大语言模型（MLLMs）在处理需要大量事实信息的视觉问答（VQA）任务时，通常采用“先推理后调用工具”（Reasoning-then-Tool-Call）的范式。然而，现有方法在现实世界的复杂搜索场景中存在两个关键局限性：

1. 命中率问题（Hit-Rate Problem）：
   • 现有方法通常假设单次全图检索（Full-Image Retrieval）或少量实体级文本查询足以获取关键证据。
   • 在充满视觉噪声的现实搜索引擎中，全图检索往往因背景杂乱而失败；且同一实体在不同尺度（Scale）下的裁剪图检索结果差异巨大，导致检索命中率低且不稳定。
2. 推理深度与搜索广度受限（Constrained Depth & Breadth）：
   • 现有方法生成的搜索轨迹通常较短（平均少于 5 轮），缺乏长程规划能力。
   • 难以处理需要聚合多源（多模态、多跳）证据的复杂问题，无法像人类一样通过试错（Trial-and-Error）过程，自适应地调整查询策略（如多尺度裁剪、多轮文本搜索）来逐步逼近答案。

2. 方法论 (Methodology)

为了解决上述问题，作者提出了 Vision-DeepResearch，一种新的多模态深度研究范式。其核心在于构建一个能够执行多轮、多实体、多尺度视觉与文本搜索的自动化系统，并通过冷启动监督（SFT）和强化学习（RL）将深度研究能力内化到 MLLM 中。

2.1 数据流水线 (Data Pipeline)

为了训练模型，作者构建了一个高度自动化的数据合成流水线，生成高质量的长程多模态深度研究轨迹：

• 高质量事实 VQA 合成与验证：
  • 从开源数据集中筛选包含多实体、复杂背景的高质量图像。
  • 双重过滤： 剔除模型无需外部证据即可回答的样本，以及全图检索能直接完美匹配的样本（确保问题的挑战性）。
  • 模糊多跳 VQA 合成（Fuzzy Multi-hop VQA Synthesis）：
    • 实体与答案混淆（Obfuscation）： 交替使用“答案链式推理”（增加推理深度）和“实体混淆”（通过网页随机游走替换实体，增加搜索广度），模拟真实用户查询的复杂性。
    • 自动化设计流程： 模拟人类设计问题的过程（确定目标 -> 搜索验证 -> 生成候选 -> 自我解答），确保问题的合理性和客观性。
• 多模态轨迹生成：
  • 多实体与多尺度视觉裁剪搜索： 诱导 MLLM 生成多个边界框（Bounding Boxes），对图像进行多尺度裁剪并依次进行视觉搜索，模拟人类“试错”式的视觉探索。
  • 视觉 - 文本桥接（Text Bridging）： 利用 MLLM 将视觉搜索轨迹（图像、裁剪框、搜索结果）转化为文本描述，无缝衔接至基于文本的深度研究基础大模型（DeepResearch LLM），生成后续的文本搜索轨迹（网页访问、总结、代码执行）。
  • 轨迹合并与筛选： 将视觉与文本轨迹合并为完整的多模态轨迹，并通过拒绝采样（Rejection Sampling）保留最终答案与真值一致的轨迹。

2.2 训练策略 (Training Strategies)

• 监督微调 (SFT)：
  • 使用合成的 30K 高质量多模态深度研究轨迹（包含 16K 事实 VQA、8K 纯文本 QA、6K 模糊 VQA）对基座模型进行 SFT。
  • 目标：让模型学习多轮、多实体、多尺度的搜索模式，并掌握长程规划能力。
• 强化学习 (RL)：
  • 算法： 采用 GRPO（Group Relative Policy Optimization）结合 Leave-One-Out 技巧。
  • 环境： 模型在真实的在线搜索环境（视觉搜索、文本搜索、网页访问）中进行交互。
  • 奖励机制： 采用 LLM-as-Judge 范式，仅当最终答案正确时给予奖励（1.0），否则为 0。
  • 工程优化：
    • 高吞吐异步 Rollout： 解决长程推理带来的延迟瓶颈，支持并发工具调用，吞吐量提升 10 倍以上。
    • 轨迹中断与掩码（Masking）： 针对死循环、格式错误等长尾问题，设计自动中断机制；对异常轨迹进行梯度掩码，避免负反馈破坏训练稳定性。

3. 关键贡献 (Key Contributions)

1. 新范式提出： 提出了 Vision-DeepResearch 范式，打破了传统单次检索的局限，实现了数十步推理和数百次引擎交互的长程多模态深度研究。
2. 数据合成创新： 设计了包含“多尺度视觉裁剪”、“实体/答案混淆”及“视觉 - 文本桥接”的自动化数据合成流水线，解决了高质量长程多模态轨迹数据稀缺的问题。
3. 工程与训练突破： 设计了高吞吐异步 RL 训练架构，并解决了长程推理中的稳定性问题（如死循环检测、梯度掩码），使得在 30B 甚至 8B 参数规模下训练长程 Agent 成为可能。
4. 性能突破： 证明了通过深度研究能力内化，小参数模型（8B/30B）可以超越基于强闭源模型（如 GPT-5, Gemini-2.5-Pro, Claude-4-Sonnet）构建的 Agent 工作流。

4. 实验结果 (Results)

在六个多模态事实基准测试（VDR, FVQA, MMSearch+, MMSearch, LiveVQA, BC-VL）上进行了全面评估：

• SOTA 性能： Vision-DeepResearch-30B-A3B 模型在平均得分上达到 56.9%，显著优于现有的多模态深度研究模型（如 WebWatcher-32B）和基于闭源大模型的 Agent 工作流。
• 对比提升：
  • 相比基座模型 Qwen3-VL-30B-A3B-Instruct (Agentic)，平均提升 +16.0%。
  • 在 MMSearch+ 和 VDR 等具有挑战性的基准上，提升幅度分别达到 +18.5% 和 +17.6%。
  • 8B 版本模型（Vision-DeepResearch-8B）也达到了 50.5% 的平均分，超越了许多更大参数的闭源模型。
• 消融实验验证：
  • 多尺度裁剪 + 文本搜索（CIS+TS）： 相比全图搜索（WIS），多尺度裁剪结合文本搜索将平均准确率从 16.0% 提升至 40.0%，证明了“局部视觉锚点 + 全局文本证据”的必要性。
  • 数据与训练： SFT 带来了显著的基础提升，而 RL 训练进一步在复杂基准上提升了约 3.1%，证明了在线交互对优化长程决策的重要性。

5. 意义与影响 (Significance)

• 重新定义多模态搜索： 该工作表明，在噪声严重的现实网络环境中，简单的“全图检索”是无效的，必须引入类似人类的“试错 - 迭代 - 多尺度探索”机制。
• 小模型大能力： 证明了通过高质量的数据合成和先进的 RL 训练，中等参数规模（8B-30B）的开源模型可以具备超越顶级闭源模型（如 GPT-5）的复杂推理与搜索能力，降低了多模态深度研究的门槛。
• 开源生态贡献： 提供了完整的数据合成流水线、训练代码及模型权重，为社区研究长程多模态 Agent 提供了重要的基础设施和基准。

总结： Vision-DeepResearch 通过解决“命中率”和“推理深度”两大痛点，构建了一个能够进行长程、多模态、自适应搜索的智能体，显著提升了 MLLM 在复杂事实性任务中的表现，是迈向通用多模态智能体的重要一步。