Vision-DeepResearch Benchmark: Rethinking Visual and Textual Search for Multimodal Large Language Models

本文针对现有基准在视觉搜索导向性和评估场景真实性方面的不足，构建了包含 2000 个实例的 Vision-DeepResearch 基准（VDR-Bench）以评估多模态大模型的复杂图文检索能力，并提出了一种有效的多轮裁剪搜索工作流以提升模型在真实场景下的表现。

要点

这篇论文就像是在给现在的“超级 AI 侦探”们做了一次严格的“体检”和“特训”。

为了让你更容易理解，我们可以把现在的多模态大模型（MLLM）想象成一位博学的侦探，而**Vision-DeepResearch（视觉深度研究）**就是这位侦探去破案的过程：他需要看图、上网查资料、把线索拼凑起来，最后给出答案。

这篇论文主要讲了三个故事：“以前的考题太假了”、“我们造了个真考场”、以及**“教侦探学会了新招数”**。

---

1. 以前的考题太假了（现有基准的两大漏洞）

作者发现，以前用来测试这些 AI 侦探的“考卷”有两个大毛病，导致 AI 即使没真本事也能拿高分：

• 毛病一：不用看图也能猜对（“文字作弊”）

  • 比喻：想象一下，考题问：“图片里那个穿黄色球衣的球员在哪个球场踢球？”选项有 A、B、C、D。
  • 问题：聪明的 AI 根本不用看图片！它只要读题目里的文字线索（比如“黄色球衣”、“德国”），结合它脑子里背过的知识（“多特蒙德队穿黄衣，主场是信号伊杜纳公园”），就能直接猜出答案 C。
  • 后果：这就像考试时，题目里直接泄露了答案，根本测不出 AI 有没有真的“看”懂图片。

• 毛病二：搜索太容易了（“完美匹配”）

  • 比喻：以前的考试规则是，把整张原图发给搜索引擎，搜索引擎立马就跳出一模一样的原图，还附带标题说“这是某年某月某地的比赛”。
  • 问题：这就像侦探去查案，直接把嫌疑人全身照给警察，警察立马说“就是他，档案在这”。但在现实生活中，你往往只有一张模糊的局部照片（比如只看到一个 Logo 或一个角），需要去翻找、去比对。
  • 后果：以前的考试太理想化，没测出 AI 在模糊、嘈杂的真实世界里找线索的能力。

2. 我们造了个“真考场”（VDR-Bench）

为了解决这些问题，作者们造了一个全新的、更难的考场，叫 VDR-Bench。

• 怎么造出来的？

  • 他们先找了很多真实的图片，然后人工把图片里重要的局部剪下来（比如只剪下一个 Logo，或者一个建筑的角落）。
  • 用这些剪下来的小图去网上搜，找到对应的真实信息。
  • 再基于这些信息，设计出一连串需要多步推理的问题。
  • 比喻：这就像给侦探一张“局部特写”（比如只看到一只鞋的鞋带），让他去网上查“这是什么牌子的鞋？谁穿的？他在哪场比赛？”。侦探必须先认出鞋带，再查品牌，再查比赛，最后推理出地点。如果只靠猜或者只搜整张图，是绝对做不出来的。

• 考什么？

  • 这个考场有 2000 道题，涵盖了体育、电影、建筑、自然等 10 个领域。
  • 它强制要求 AI 必须真的去“看”局部，必须真的去“搜”细节，不能靠死记硬背。

3. 教侦探学会了“新招数”（多轮裁剪搜索）

在测试中，作者发现很多强大的 AI 侦探有个坏习惯：“偷懒”（Lazy Search）。

• 现象：有些 AI 脑子太好使，看到题目就觉得自己“大概知道答案”，懒得去搜图，结果反而错了。
• 新招数：作者提出了一种叫 “多轮裁剪搜索”（Multi-round Cropped-Search） 的方法。
  • 比喻：这就好比教侦探不要拿着整张图去问“这是谁？”，而是教他：
    1. 先剪下那个奇怪的标志；
    2. 拿着标志去搜，发现是“法拉利”；
    3. 再剪下旁边那个人的脸，去搜发现是“某赛车手”；
    4. 把这两个线索拼起来，再问“他在哪场比赛？”
  • 效果：这种“切蛋糕”式的一步一步搜索，让 AI 在真实复杂的场景下，找线索的能力大大提升，准确率显著提高。

总结

这篇论文的核心思想就是：
以前的考试太简单、太假，AI 靠猜和背就能过关；现在我们造了一个必须“真看、真搜、真推理”的硬核考场，并且发现，教 AI 学会“把大问题拆成小问题、一步步去搜”的方法，才是让它们真正变聪明的关键。

这就好比：以前是考“背地图”，现在是考“在迷宫里找路”。只有掌握了在迷宫里一步步探索的方法，AI 才能真正成为实用的“超级侦探”。

技术摘要

1. 研究背景与问题定义 (Problem)

随着多模态大语言模型（MLLMs）的发展，能够结合图像理解、网络搜索和多跳推理的“视觉深度研究系统”（Vision-DeepResearch Systems）应运而生。然而，现有的评估基准在衡量这些系统的真实能力时存在两个核心缺陷：

1. 非视觉搜索中心化（Not Visual Search-Centric）：

   • 文本线索泄露： 许多基准问题可以通过交叉验证文本实体（Textual Cues）直接推断出答案，无需真正的视觉验证。
   • 先验知识捷径： 模型可以利用其内部的世界知识（World Knowledge）直接回答，而无需检索外部视觉信息。
   • 后果： 现有基准往往测试的是模型的文本检索能力或记忆能力，而非真正的视觉定位与验证能力。

2. 评估场景过于理想化（Overly Idealized Evaluation Scenario）：

   • 图像检索： 现有基准常使用“整图检索”（Whole-Image Search），即输入原图即可通过近 exact 匹配找到带有元数据的完全相同图片。这忽略了现实世界中视觉搜索的噪声、模糊性和迭代性。
   • 文本检索： 问题设计过于直接浅显，无法有效测试多跳推理（Multi-hop Reasoning）和证据聚合的复杂性。
   • 后果： 这种设置无法反映真实世界中需要迭代定位、多轮裁剪和跨模态证据验证的复杂场景。

2. 方法论：VDR-Bench 构建 (Methodology)

为了解决上述问题，作者构建了 VDR-Bench (Vision-DeepResearch Benchmark)，这是一个包含 2,000 个高质量 VQA 实例的大规模基准。其核心构建流程是一个严格的、以视觉为中心的流水线：

• 数据构建流程 (Data Curation Pipeline)：

  1. 多领域图像预筛选： 从不同领域收集图像，过滤低分辨率图片，确保场景包含多个实体且视觉丰富。
  2. 人工裁剪与视觉搜索 (Manual Cropping & Search)： 标注者手动裁剪图像中的显著区域（如物体、Logo、地标），而非使用整图。利用裁剪后的区域进行网络级视觉搜索，获取候选结果。
  3. 视觉实体提取与验证： 从搜索结果中提取实体名称，并通过 MLLM 辅助和人工验证，确保实体无法仅通过整图搜索轻易获得，必须依赖局部裁剪。
  4. 种子 VQA 生成： 基于验证后的视觉实体，生成需要显式识别和定位的种子问答对。
  5. 基于知识图谱的复杂度扩展： 将视觉实体链接到外部知识图谱，通过随机游走获取相关文本实体（如创始人、年份、所属组织），构建多跳推理问题（例如：图中 Logo 所属公司的总部在哪里？）。
  6. 可解性与质量验证： 双重验证确保答案必须依赖视觉证据和检索轨迹，排除纯文本捷径。

• 评估指标：

  • 答案准确率 (Answer Accuracy)： 评估最终答案的正确性。
  • 实体召回率 (Entity Recall, ER)： 提出新指标，评估模型是否成功检索到了任务相关的核心实体序列。采用 LLM-as-a-Judge 模式，评估检索实体与金标准实体的语义等价性，而非简单的字符串匹配。

• 提出的改进策略：多轮裁剪搜索工作流 (Multi-round Cropped-Search Workflow)：

  • 针对当前 MLLM 视觉检索能力不足的问题，提出了一种简单的多轮裁剪搜索策略。
  • 核心思想： 引导模型对输入图像进行细粒度、多尺度的视觉检索（迭代裁剪感兴趣区域），进行多轮视觉查询，并通过跨模态证据验证来细化假设。
  • 引入了 多轮视觉强制 (Multi-turn Visual Forcing, MVF) 机制，强制模型在推理过程中进行迭代裁剪和验证，而非依赖先验知识直接作答。

3. 主要贡献 (Key Contributions)

1. 揭示了现有基准的局限性： 通过定量分析（控制实验），证明了现有基准中大量实例可通过纯文本线索或模型先验解决，且整图检索过于理想化，无法反映真实视觉搜索的噪声和迭代特性。
2. 发布了 VDR-Bench： 一个包含 2,000 个实例的基准，涵盖 10 个视觉领域。其特点包括：
   • 视觉优先 (Visual-First)： 强制依赖视觉证据。
   • 多跳推理： 结合视觉定位与知识图谱推理。
   • 去捷径化： 消除文本泄露和完美检索偏差。
3. 提出了有效的改进策略： 证明了简单的多轮裁剪搜索策略能显著提升模型在真实视觉检索场景下的性能，为未来多模态深度研究系统的设计提供了实践指导。

4. 实验结果 (Results)

• 现有模型表现：

  • 在 VDR-Bench 上，所有模型在“直接回答”（无搜索）设置下得分极低，证明该基准确实需要外部搜索。
  • 懒惰搜索现象 (Lazy Search)： 拥有强大先验知识的闭源模型（如 Gemini 2.5 Pro, GPT-5）倾向于依赖文本推理或避免使用搜索工具，导致其视觉搜索能力未能充分发挥。相比之下，部分开源模型表现出更强的搜索能力。
  • 检索策略的影响： 引入裁剪图像搜索（CIS）和文本搜索（TS）后，性能有所提升，但仍有很大空间。

• MVF 策略的效果：

  • 引入多轮视觉强制 (MVF) 后，所有模型的性能均有显著提升。
  • Gemini 2.5 Pro 在 MVF 辅助下，整体准确率从 16.2% 提升至 30.0%。
  • Qwen3-VL-235B 在 CIS+TS 设置下表现优异（21.2%），加入 MVF 后进一步提升至 27.4%，甚至超过了部分闭源模型。
  • 相关性分析： 实验显示，实体召回率 (Entity Recall) 与最终答案准确率呈强正相关。成功检索到关键实体是解决复杂多模态问题的前提。

5. 意义与启示 (Significance)

1. 重新定义评估标准： 论文指出，评估多模态深度研究系统不能仅看最终答案，必须关注其视觉定位能力、迭代搜索策略以及跨模态证据聚合的过程。
2. 打破“整图检索”迷思： 现实世界的视觉搜索往往是基于局部、模糊且需要多次尝试的。VDR-Bench 推动了从“完美匹配”向“迭代定位”的范式转变。
3. 指导系统架构设计： 研究结果表明，单纯扩大模型参数或增强预训练知识不足以解决视觉深度研究问题。设计能够强制模型进行多轮视觉交互、裁剪和验证的 Agent 工作流（如 MVF）是提升系统鲁棒性的关键路径。
4. 开源与复现： 代码和基准已开源，为社区提供了构建更可靠、更实用的多模态深度研究系统的测试平台。

总结： 该论文通过构建 VDR-Bench 揭示了当前多模态搜索基准的严重缺陷，并证明了通过多轮裁剪搜索和强制视觉验证可以显著提升模型在复杂现实场景下的深度研究能力，为下一代多模态 AI 代理的发展指明了方向。