MM-DeepResearch: A Simple and Effective Multimodal Agentic Search Baseline

该论文提出了 MM-DeepResearch，一种通过引入基于超图的多模态问答数据生成方法（Hyper-Search）、基于工具专家分解与树搜索的轨迹优化策略（DR-TTS）以及支持离线强化学习的多工具搜索引擎，来有效解决多模态深度研究智能体在数据稀缺、轨迹缺乏及训练成本高昂方面挑战的基线模型。

要点

这篇论文介绍了一个名为 MM-DeepResearch 的“超级智能助手”。你可以把它想象成一个拥有“火眼金睛”和“超级搜索技能”的侦探，专门用来解决那些光靠看书（训练数据）根本答不上来的复杂问题。

为了让你更容易理解，我们把整个研究过程比作培养一名“全能侦探”，而这篇论文就是他的训练手册。

1. 为什么要培养这个侦探？（背景与挑战）

现在的 AI 就像是一个博学的学生，读过很多书，但有两个大问题：

1. 知识有保质期：它不知道昨天发生的新闻，也不知道网上最新的图片信息。
2. 不会主动找资料：遇到不会的题，它只会瞎猜，或者死记硬背，不知道去图书馆（搜索引擎）查资料。

以前的方法（RAG）就像是让老师把书翻到某一页读给学生听，学生再回答问题。但这不够灵活，学生不知道什么时候该翻哪一页，也不知道该查什么。

这篇论文的目标是训练一个能自己思考、自己决定查什么资料、自己把图片和文字信息拼凑起来的“深度研究侦探”。

2. 培养侦探的三大绝招（核心创新）

为了培养这个侦探，作者遇到了三个大麻烦，并想出了三个绝妙的解决办法：

第一招：制造“超级考题” —— Hyper-Search（超图搜索）

• 麻烦：市面上没有足够多的“需要查很多资料才能答对”的练习题。
• 比喻：就像你想教学生查资料，但手里只有一堆“苹果是什么颜色”这种不用查就能答的简单题。
• 绝招：作者发明了一个叫 Hyper-Search 的“出题机器”。
  • 它把互联网上的图片和文字看作一个个节点（像地图上的点）。
  • 它用超线（像蜘蛛网一样）把这些点连起来。比如，一张“埃菲尔铁塔”的图片，可以连到“铁塔高度”的文字，再连到“铁塔设计师”的另一张图。
  • 效果：这个机器能自动生成那种必须查好几轮、看好几张图、读好几段文字才能答对的“超级难题”。这就像给侦探准备了无数种复杂的“寻宝图”，逼着他必须学会查资料。

第二招：分科特训 + 组队实战 —— DR-TTS（分解 - 重组工具树搜索）

• 麻烦：让侦探直接去网上乱搜，他经常用错工具（比如该查文字时去查图），或者搜不到重点。
• 比喻：就像让一个刚入行的侦探同时学“查档案”、“看监控”和“问线人”，他很容易手忙脚乱。
• 绝招：作者用了 DR-TTS 策略，分两步走：
  1. 分科特训：先把任务拆开。专门训练一个“查文字专家”，专门训练一个“查图片专家”。每个专家只练好自己那一招，练得炉火纯青。
  2. 组队实战：把这些专家聚在一起，像玩树状游戏一样。面对一个问题，他们一起尝试不同的搜索路径（比如：先查图 -> 再查文字 -> 再查图）。
  • 效果：通过这种“分而治之，再合而用之”的方法，他们能自动找到最高效的搜索路线，并把这些路线记录下来，教给主侦探。

第三招：建立“离线模拟城” —— 离线搜索引擎

• 麻烦：训练侦探需要查很多次网，如果用真实的搜索引擎（如 Google），每次查询都要花钱，而且慢，训练一次可能要花几千美元。
• 比喻：就像想教学生开车，但每次练车都要去真实的公路上跑，既危险又烧油，根本练不起。
• 绝招：作者建了一个巨大的“离线模拟城”。
  • 他们提前把网上大量的图片和文字下载下来，存成一个巨大的数据库。
  • 训练时，侦探在这个“模拟城”里查资料，速度极快，而且完全免费。
  • 效果：这让侦探可以无限制地“疯狂练车”，直到练成老司机，最后再上真实公路（真实互联网）去考试。

3. 最终成果：MM-DeepResearch 侦探

经过这套“超级考题 + 分科特训 + 模拟城”的训练，MM-DeepResearch 诞生了。

• 它的能力：

  • 看到一张图，它能主动思考：“这图里有个奇怪的建筑，我得先查它在哪，再查谁建的，最后查它的历史。”
  • 它能灵活切换工具：一会儿用“以图搜图”，一会儿用“文字搜索”，一会儿用“知识问答”。
  • 它能像人类一样，把查到的碎片信息拼凑起来，给出一个完美的答案。

• 表现：

  • 在各项考试（基准测试）中，它的表现超过了之前很多昂贵的、依赖真实搜索 API 的模型。
  • 它证明了：不需要花大价钱去网上乱搜，只要方法对（用离线模拟 + 好的训练数据），也能训练出顶级的搜索专家。

总结

这篇论文就像是在说：“别再用钱堆出 AI 了，我们要用聪明的方法（超图出题、分科训练、离线模拟）来培养 AI。这样，AI 就能像真正的侦探一样，在信息的海洋里游刃有余地找到真相。”

这不仅让 AI 变得更聪明，也让未来的 AI 研究变得更便宜、更可行。

技术摘要

MM-DeepResearch 技术总结

1. 研究背景与问题 (Problem)

多模态大语言模型（MLLMs）在处理复杂推理任务时表现出色，但受限于固定参数和固有知识，难以应对需要外部信息检索的“深度研究”任务（Deep Research Tasks）。现有的多模态智能体（Agentic Search）在开发过程中面临三大核心挑战：

1. 搜索密集型多模态 QA 数据稀缺：缺乏包含多轮搜索和多工具调用的公开数据集，导致模型难以获得足够的监督信号来学习智能体搜索能力。
2. 缺乏有效的搜索轨迹：传统的提示词合成方法主要面向单轮搜索，难以生成复杂的多轮交互、多工具协同的搜索轨迹。
3. 在线搜索 API 训练成本高昂：现有方法依赖在线搜索 API（如 SerpAPI）进行训练，单次训练成本可达数千美元，严重限制了大规模实验和系统性探索。

2. 核心方法论 (Methodology)

为了解决上述挑战，作者提出了 MM-DeepResearch，一个简单且高效的多模态智能体搜索基线。该方法包含三个核心组件：

2.1 Hyper-Search：基于超图的 QA 数据生成

• 机制：提出了一种基于超图（Hypergraph）的 QA 生成方法。将网页图像和文本内容建模为节点（Image Nodes 和 Text Nodes），利用超边（Hyperedges）连接同一轮次或跨轮次的节点，捕捉多源、多模态信息的依赖关系。
• 流程：
  1. 节点扩展：通过图像反向搜索、图像视觉搜索、文本链接提取等操作，从初始节点扩展出新的图文节点。
  2. QA 生成：基于超图结构生成两类问题：
     • Level 1（超边内）：基于单个超边内的多模态信息生成问题，要求模型结合图文证据。
     • Level 2（超边间）：基于多个超边的聚合信息生成问题，强制模型进行多轮、多类型的工具调用以解决问题。
  3. 数据过滤：利用 MLLM 过滤低质量、不可验证或无需搜索的问题，最终构建出 Hyper-Search-3K 数据集。

2.2 DR-TTS：分解 - 重组工具树搜索

• 目标：合成高质量的搜索轨迹（Search Trajectories），用于监督微调（SFT）。
• 机制：
  1. 分解（Decompose）：根据搜索工具类型（如文本到文本、图像到图像等）将任务分解，分别训练专门针对单一工具的专家模型（Tool Experts）。这降低了学习复杂度，提升了单工具的专业性。
  2. 重组（Recompose）：将训练好的工具专家重组，通过树搜索（Tree Search）共同探索搜索空间。
  3. 轨迹提取：从树搜索中筛选出成功解决问题的路径，提取为 DR-TTS-10K 轨迹数据。相比单模型直接生成，该方法减少了工具使用偏差，提高了轨迹的多样性和成功率。

2.3 离线多模态搜索引擎

• 设计：构建了一个支持信息检索（Information-based）和知识检索（Knowledge-based）的离线搜索引擎。
  • 信息检索：从预构建的多模态语料库（包含网页文本和图像）中检索事实信息。
  • 知识检索：利用专家模型生成针对复杂查询的知识密集型内容。
• 优势：完全替代了昂贵的在线 API，支持强化学习（RL）训练，显著降低了训练成本并提高了响应速度。

2.4 训练流程

1. SFT（监督微调）：使用 DR-TTS 生成的搜索轨迹对模型进行多轮 SFT，使其学习工具调用模式和跨模态信息整合能力。
2. RL（强化学习）：基于离线搜索引擎，使用 GRPO（Group Relative Policy Optimization）算法进行多轮强化学习。奖励函数结合了格式奖励（工具调用规范性）和结果准确性奖励（LLM 判题）。

3. 主要贡献 (Key Contributions)

1. Hyper-Search：首次将超图概念引入搜索密集型 QA 数据合成，通过建模跨模态节点关系，生成了高质量、需多轮搜索的 QA 对。
2. DR-TTS：设计了“分解 - 重组”策略，通过训练专用工具专家并重组进行树搜索，有效解决了多工具协同搜索轨迹合成难的问题。
3. 离线搜索引擎：构建了支持多工具的多模态离线搜索环境，实现了无需昂贵在线 API 的智能体强化学习训练。
4. MM-DeepResearch 基线：提出并验证了一个强大的多模态深度研究智能体，在多个基准测试中超越了现有 SOTA 模型。

4. 实验结果 (Results)

在六个多模态深度研究基准（SimpleVQA, MMSearch, LiveVQA, FVQA, InfoSeek, Browsecomp-VL）上进行了广泛评估：

• 性能提升：
  • MM-DeepResearch-8B 在平均得分上比基线模型 Qwen3-VL-8B 提升了 17%。
  • 相比之前的 SOTA 智能体 SenseNova-MARS-8B，平均提升了 3.4 分，在 SimpleVQA 上提升了 4.2%。
  • MM-DeepResearch-32B 相比 Qwen3-VL-32B 基线提升了 14.9%。
• 从零开始的能力：即使在没有原生工具调用能力的模型（Qwen2.5-VL-7B）上，该方法也能赋予其强大的智能体搜索能力，性能超越现有的 7B 级智能体模型（如 Visual-ARFT, MMSearch-R1）。
• 消融实验：
  • Hyper-Search 数据显著增加了搜索深度（平均工具调用次数）和准确率。
  • DR-TTS 轨迹数据有效提升了 SFT 阶段的搜索行为整合能力。
  • 离线搜索引擎在保持竞争力的同时，将训练成本降低了数千美元（在线搜索每百步约 640 美元，离线为 0）。

5. 意义与影响 (Significance)

• 低成本高效训练：通过离线搜索引擎和合成数据，打破了多模态深度研究智能体训练对昂贵在线 API 的依赖，使得大规模系统性探索成为可能。
• 新范式：提出了“超图数据合成 + 工具专家树搜索 + 离线 RL"的完整技术路线，为未来多模态智能体研究提供了简单且有效的基线（Baseline）。
• 通用性：该方法不仅适用于原生具备工具能力的模型，也能从无到有地赋予普通 MLLM 深度研究和多工具协同能力，推动了多模态智能体在开放世界复杂任务中的应用。

代码开源：https://github.com/HJYao00/MM-DeepResearch