VisBrowse-Bench: Benchmarking Visual-Native Search for Multimodal Browsing Agents

该论文针对现有基准在视觉推理评估和网页原生视觉信息利用方面的不足，提出了包含 169 个实例的 VisBrowse-Bench 基准及相应的智能体工作流，通过严格的跨模态证据验证评估发现，当前最先进的多模态大模型（如 Claude-4.6-Opus 和 o3-deep-research）在视觉原生搜索任务中的准确率仍低于 50%。

要点

这篇论文介绍了一个名为 VisBrowse-Bench 的新“考试”，专门用来测试现在的 AI 智能体（Agent）在上网搜索时，到底能不能真正“看懂”图片，而不仅仅是读文字。

我们可以把这篇论文的核心内容想象成一场**“超级侦探挑战赛”**。

1. 以前的“侦探考试”有什么毛病？

想象一下，以前的 AI 侦探考试是这样的：

• 题目：给你一张照片，问“这是哪座建筑？”
• AI 的做法：它不需要真的去“看”照片里的细节，只需要把照片扔给一个“以图搜图”的工具，工具马上告诉它：“这是札幌啤酒博物馆”。AI 只要把答案抄下来就行。
• 问题：这就像让侦探去破案，但他根本不需要观察现场，只要打个电话问路人就能得到答案。这测不出侦探真正的观察力和推理能力。

而且，以前的考试一旦查到了名字，剩下的问题就全是文字搜索了。比如查到是“爱因斯坦”，接下来的问题就变成纯文字问答，完全不需要再看图了。这就像侦探到了案发现场，只看文字报告，却对现场留下的指纹、脚印视而不见。

2. 这次的新考试（VisBrowse-Bench）有多难？

作者设计了一个全新的“地狱级”侦探考场，里面有 169 道 精心设计的题目。它的核心规则是：“答案藏在图片里，文字只是线索。”

举个生动的例子：

• 题目：图片里有个拿着魔法棒指着右上角的人。这个人在某系列电影的第一部海报里也出现过。请问，海报里站在这个人下面的人，是什么种族？
• 正确答案：半巨人（海格）。
• AI 必须怎么做？
  1. 看图：先认出拿魔法棒的是“赫敏”。
  2. 搜索：去搜“哈利波特第一部海报”。
  3. 再找图：在搜到的海报里，再次看图，找到赫敏下面站着的是谁（海格）。
  4. 推理：最后确认海格的种族。

关键点：如果 AI 只读文字描述，它永远找不到“赫敏下面是谁”这个信息，因为文字里不会写“赫敏下面站着海格”。它必须主动去网页里找图、看图、再找图。这就是所谓的“视觉原生搜索”（Visual-Native Search）。

3. 给 AI 配了什么“装备”？

为了让 AI 能完成这种高难度任务，作者给它们配了一套**“五件套”工具**：

1. 文字搜索：像百度/谷歌一样搜文字。
2. 图片搜索：搜相关的图片。
3. 反向搜图：拿一张图去搜它来自哪里。
4. 图片裁剪：把图片里模糊的地方放大，像用放大镜看细节。
5. 网页浏览：打开网页，像人一样阅读里面的图文信息。

这套流程要求 AI 像一个真正的侦探：先观察线索（看图），再查资料（搜图/搜文），再对比证据（交叉验证），最后破案。

4. 考试结果：AI 们表现如何？

结果非常残酷，甚至有点让人“泄气”：

• 最强选手：即使是目前最厉害的模型 Claude-4.6-Opus，满分 100 分，它只考了 47.6 分。
• 其他选手：大多数模型只能考 30 分 左右。
• Deep Research 模型：号称能深度研究的 o3-deep-research，也只考了 41.1 分。

为什么这么难？
因为现在的 AI 太依赖“背答案”和“读文字”了。一旦遇到需要**“看图找茬”、“在图片里找关系”**的任务，它们就容易犯迷糊。它们往往还没开始看图，就急着去搜文字，结果发现文字里没答案，就卡住了。

5. 这篇论文的意义是什么？

这就好比在 AI 发展的道路上，作者立了一块**“警示牌”**：

“嘿，现在的 AI 虽然能写诗、能聊天，但在真正复杂的现实世界搜索中，它们的‘眼睛’还不够亮，‘脑子’还不会结合图片去推理。如果我们不解决‘视觉推理’这个问题，AI 就永远无法成为真正的全能助手。”

总结一下：
这篇论文就是给现在的 AI 智能体出了一套**“看图破案”的难题，告诉我们要想造出真正的“超级侦探”，光会读文字是不够的，必须让它们学会主动去观察图片、理解图片，并把图片和文字结合起来思考**。目前的 AI 离这个目标还有很长的路要走。

技术摘要

VisBrowse-Bench：多模态浏览智能体视觉原生搜索基准测试技术总结

1. 研究背景与问题定义

随着多模态大语言模型（MLLMs）和智能体技术的发展，深度研究（Deep Research）领域的智能体已具备在现实世界中获取和推理多模态信息的能力。然而，现有的多模态浏览基准测试存在两个核心局限性，导致无法真实评估智能体在复杂场景下的能力：

1. 视觉推理能力评估不足：现有基准（如 MMSearch, BrowseComp-VL）通常允许模型仅通过图像搜索工具将查询图像转化为文本实体，随后完全依赖文本检索完成推理。这种模式使得视觉理解被简化为工具调用，未能真正挑战模型对细粒度多模态信息的理解能力。
2. 忽视推理链中的“视觉原生”信息：在现实世界的浏览环境中，网页包含丰富的多模态信息。但现有基准一旦通过图像检索获得实体名称，后续推理过程便退化为纯文本遍历。它们未能评估模型是否能在搜索过程中主动发现、定位并推理必须通过视觉感知才能获取的新证据（即无法被文本描述替代的视觉信息）。

核心问题：如何构建一个基准，强制智能体在搜索和推理过程中必须依赖视觉能力，并实现多模态信息的深度融合，而非退化为纯文本搜索？

2. 方法论：VisBrowse-Bench 与智能体工作流

2.1 VisBrowse-Bench 基准构建

作者提出了 VisBrowse-Bench，这是一个由人类专家构建的、包含 169 个高质量视觉问答（VQA）实例的基准测试，涵盖媒体、生活、艺术、地理、科技、体育和金融 7 个领域。

核心设计原则：

• 多模态信息融合（Multimodal Information Integration）：
  • 查询阶段：问题必须结合初始图像和文本，理解问题需要视觉感知。
  • 证据获取阶段：搜索空间包含交错的文本和视觉资产。模型必须主动发起多模态查询，并排序混合模态的结果。
• 视觉能力强制（Visual Competency Enforcement）：
  • 所有视觉信息在结构上都是不可或缺的，无法被文本标题或语义描述替代。
  • 任务要求模型进行空间定位（如“图片右上角的人”）、属性感知（如“左边的牙齿颜色”）和跨图推理（如“对比两张图中的人物关系”）。
  • 答案的得出必须经过跨图像推理和视觉对齐，而非简单的文本匹配。

数据构建流程：

1. 专家引导：领域专家选择具有视觉歧义性的种子实体。
2. 多跳推理链构建：递归构建多跳推理链，要求定位并推理新的视觉证据（这些证据不能仅通过文本描述获得），同时结合文本来源作为补充。
3. 严格验证：
   • 每个问题需经两名专家审核，确保视觉信息不可或缺。
   • 验证解决方案必须跨越至少 3 跳，且包含至少 2 个视觉证据块，防止单跳捷径。
   • 确保所有证据在公开网络中可获取且答案唯一。

2.2 智能体工作流（Agentic Workflow）

为了驱动模型在 VisBrowse-Bench 上有效工作，作者设计了一个包含 5 个核心工具的多轮交互工作流：

1. text_search：自然语言文本搜索。
2. image_search：基于文本描述的图像搜索。
3. reverse_image_search：基于图像的逆向搜索。
4. image_crop：裁剪图像以提取感兴趣区域（ROI），支持局部视觉推理。
5. webpage_visit：访问网页并提取结构化信息。

工作流机制：
模型作为一个闭环系统，解析多模态查询，制定搜索策略，根据当前证据缺口调用工具，处理返回结果更新内部状态，并迭代优化查询，直到收集到足够的多模态证据以合成答案。该设计防止了模型过早退化为单模态搜索模式。

3. 关键贡献

1. 任务形式化与问题识别：明确了现有基准在视觉推理评估不足和忽视推理链中视觉原生信息方面的缺陷。
2. VisBrowse-Bench 基准发布：
   • 包含 169 个经严格验证的实例，覆盖 7 大领域。
   • 强制要求搜索过程中的多模态融合，确保视觉能力是完成任务的关键。
   • 提供了专家构建的高质量数据，解决了现有基准中视觉证据可被文本替代的问题。
3. 多轮视觉信息检索 - 推理工作流：提出了一套高效的智能体工作流，驱动模型主动收集并推理视觉信息。实验表明，该工作流显著提升了模型性能，但也暴露了当前模型的局限性。

4. 实验结果与分析

4.1 模型表现

作者在 VisBrowse-Bench 上评估了闭源 MLLM（如 Claude, GPT, Gemini, Kimi）、开源 MLLM（Qwen）以及深度研究模型（o3-Deep-Research）。

• 整体表现：即使是表现最好的模型 Claude-4.6-Opus，其准确率也仅为 47.6%。
• 深度研究模型：专有的 o3-deep-research 准确率仅为 41.1%。
• 开源模型：表现相对较弱，Qwen3-VL-235B 在 +IS（图像搜索）模式下准确率仅为 14.2%。
• 工具使用的影响：
  • Direct Answer（无工具）：所有模型表现极差，证明参数化知识不足以应对此类动态证据需求。
  • + Text Search：性能有所提升，但提升有限，表明仅靠文本检索无法获取关键视觉证据。
  • + Image Search（全工具）：性能进一步提升，证明了视觉证据的必要性。但部分模型（如 Claude-4.6-Sonnet）因无法正确使用图像搜索工具导致性能下降。

4.2 工具使用分析

• 策略差异：不同模型对工具的偏好显著不同。例如，Kimi-K2.5 更频繁地使用 image_search，从而在 +IS 模式下获得了最大的性能提升；而 Claude-4.6-Opus 则能更均衡地使用五种工具，表现最佳。
• 交互深度：成功解决问题通常需要深度的工具交互（平均 10+ 轮次），涉及多跳推理和跨模态验证。

4.3 案例分析

• 成功案例：模型能够正确裁剪图像识别人物，结合文本搜索确认电影信息，再通过图像搜索定位海报和特定场景，最终通过视觉观察确定人物衣着颜色。
• 失败案例：模型虽然找到了关键视觉证据（如海报图片），但未能利用强大的视觉推理能力从图像中提取信息（如领带颜色），反而错误地调用网页访问工具试图从文本描述中寻找答案，导致最终答案错误。

5. 意义与展望

VisBrowse-Bench 的提出填补了多模态浏览智能体评估领域的空白。它揭示了当前最先进的多模态大模型和深度研究模型在视觉原生搜索（Visual-Native Search）方面的显著短板：

1. 视觉推理仍是瓶颈：模型倾向于依赖文本捷径，缺乏主动进行细粒度视觉定位和跨图推理的能力。
2. 工具协同能力待提升：模型在复杂的多轮交互中，难以根据上下文动态选择最合适的视觉工具（如裁剪、逆向搜索）。
3. 未来方向：该基准为训练具备真正“视觉思维”（Thinking with Image）能力的智能体提供了严格的评估标准，推动了从“文本搜索 + 图片展示”向“视觉驱动的深度搜索”的范式转变。

资源获取：代码和数据已开源，地址为 https://github.com/ZhengboZhang/VisBrowse-Bench。