AgentVista: Evaluating Multimodal Agents in Ultra-Challenging Realistic Visual Scenarios

本文提出了名为 AgentVista 的基准测试，旨在通过涵盖 25 个子领域、结合高保真视觉场景与混合工具调用的长程任务，评估并揭示当前多模态智能体在应对现实世界复杂问题时的显著能力差距。

要点

这篇论文介绍了一个名为 AGENTVISTA 的新测试，我们可以把它想象成给现在的“全能 AI 助手”们举办的一场**“超级现实生存挑战赛”**。

为了让你更容易理解，我们把这篇论文的核心内容拆解成几个生动的部分：

1. 为什么要搞这个比赛？（背景与痛点）

想象一下，现在的 AI 助手（比如能看图说话的机器人）就像是一个刚拿到驾照的新手司机。

• 以前的考试（旧基准）： 就像是在封闭的驾校里练车。题目很简单，比如“看到红灯停，看到绿灯行”，或者“把这张图里的苹果圈出来”。这些考试只测试 AI 能不能认出物体，或者能不能做简单的单步操作。
• 现实世界（真实需求）： 但真正的生活是在早高峰的复杂城市里开车。你需要一边看导航（网页搜索），一边看后视镜（图片识别），还要根据路况调整路线（代码计算），甚至要处理突发的修路情况（多步骤工具调用）。

问题在于： 现有的 AI 考试太简单了，无法测试它们能不能在真实的、混乱的、需要多步操作的环境中生存。很多 AI 在驾校满分，一上路就撞车。

2. AGENTVISTA 是什么？（比赛规则）

AGENTVISTA 就是那个**“早高峰城市生存挑战赛”**。

• 题目有多难？
  它包含了 209 个 极其烧脑的任务，覆盖了 7 大类（比如购物、旅游、修家电、做科研等）。

  • 举个栗子： 题目给你一张家里地板的照片，问你：“我想在卧室铺这种地板，但我要避开右边的门。请帮我算出需要买多少材料，去网上查一下‘生活防水（Lifeproof）’品牌的地板价格，最后算出总花费是多少？”
  • 这个任务需要 AI：
    1. 看图： 识别地板样式，测量房间尺寸（视觉理解）。
    2. 搜索： 去网上找这种地板的规格和价格（网页搜索）。
    3. 计算： 用代码算出面积和总价（代码执行）。
    4. 推理： 结合图片里的门的位置，排除不需要铺的区域（逻辑推理）。

• 它怎么考？
  AI 不能只靠“猜”或“背答案”。它必须像人一样，反复使用工具：

  • 用放大镜看细节（图像搜索/处理）。
  • 用浏览器查资料（网页搜索/访问）。
  • 用计算器算账（代码执行）。
  • 而且，它需要在这些工具之间来回切换，就像厨师一边切菜一边看食谱，还要时不时去冰箱拿东西一样。

3. 考试结果如何？（现状与差距）

这是最让人“扎心”的部分。作者找来了目前世界上最厉害的 AI 模型（比如 GPT-5 系列、Gemini-3、Claude 等）来参加考试。

• 成绩惨不忍睹：
  即使是目前最强的模型 Gemini-3-Pro，在用了所有工具的情况下，正确率也只有 27.3%。
  • 比喻： 这就像让一个满分学霸去参加高考，结果连及格线（60 分）都差得远，只考了 27 分。
• 为什么这么难？
  • 容易看走眼： AI 经常把图片里的一个小细节看错（比如把“红色”看成“粉色”），一旦第一步看错了，后面查资料、算账全都会错。这叫**“视觉误识别”**，是主要的失败原因。
  • 记不住路： 任务需要很多步（平均要调用工具 12 次以上），AI 做着做着就忘了最初的目标，或者在复杂的步骤中迷路。
  • 瞎编乱造： 有时候查不到资料，AI 就开始“幻觉”，编造一些看起来很像真的数据。

4. 这个比赛有什么用？（意义）

虽然成绩不好，但这个比赛非常有价值：

1. 照妖镜： 它暴露了当前 AI 的短板。以前我们以为 AI 很聪明，现在发现它们在处理**“长链条、多工具、真实场景”**的任务时，还非常笨拙。
2. 指路明灯： 它告诉科学家和工程师，未来的 AI 不能只练“认图”或“聊天”，必须加强**“视觉定位”（看清细节）和“长期规划”**（记住多步任务）的能力。
3. 未来的希望： 只有通过了这种“地狱级”难度的测试，AI 才能真正帮人类做复杂的事，比如：
   • 帮你修好家里坏掉的电器（看图 + 查手册 + 买零件）。
   • 帮你规划完美的旅行路线（看地图 + 查时刻表 + 算预算）。
   • 帮你诊断植物的病（看图 + 查植物百科 + 买药）。

总结

AGENTVISTA 就像是一个**“现实世界的压力测试场”。它告诉我们：现在的 AI 虽然能写诗、能画画，但在面对真实、复杂、需要动真格的生活难题时，它们还像个刚学会走路的婴儿**，跌跌撞撞，容易摔倒。

这篇论文的目的，就是给这些“婴儿”制定一套严格的训练计划，让它们早日成长为能独当一面的**“全能生活管家”**。

技术摘要

AgentVista 论文技术总结

1. 研究背景与问题定义 (Problem)

核心问题：
现有的多模态智能体（Multimodal Agents）在解决现实世界复杂任务时面临巨大挑战。尽管大模型在视觉感知和单轮推理上取得了进展，但在长程（Long-horizon）、多步骤且基于视觉证据的工具使用任务中表现不佳。

现有基准的局限性：

1. 能力单一化：现有基准（如 VisualToolBench, MMSearch-Plus 等）通常侧重于特定技能（如纯视觉操作、纯网页浏览或代码生成），缺乏对通用智能体在混合工具流中综合能力的评估。
2. 真实性与难度失衡：许多基准为了增加难度，简化了视觉状态（如预处理图像）或使用了非日常的工具模式，导致评估瓶颈偏离了真实的“视觉 grounding"和“交互”能力。
3. 缺乏长程交互：现有任务往往步骤较短，无法模拟真实场景中需要反复验证、检索和修正的复杂工作流。

目标：
构建一个名为 AGENTVISTA 的基准，用于评估通用多模态智能体在超挑战性（Ultra-Challenging）、高保真现实场景下的长程工具使用能力。

---

2. 方法论与数据集构建 (Methodology)

2.1 数据集概览

• 规模：包含 209 个精心设计的任务。
• 覆盖范围：跨越 7 个主要类别（科技、商业、地理、娱乐、社会、学术、文化）和 25 个子领域。
• 输入形式：包含单图（72.2%）和多图（27.8%）输入，图像来源包括真实照片、截图和技术图表。
• 核心特征：
  • 视觉中心（Vision-centric）：任务的关键证据必须从视觉输入中提取，无法仅通过关键词搜索解决。
  • 自然混合工具使用：任务要求智能体在至少两类工具之间进行交错调用（Interleaved calls）。
  • 可验证答案：每个任务都有确定的、短格式的标准答案（如数字、实体名），便于自动化评估。

2.2 构建流程 (Data Construction Pipeline)

数据集构建分为四个严格阶段，从 30 万 + 候选图像筛选至最终 209 个任务：

1. Agent 中心过滤 (Stage 1)：利用模型（Claude-Opus-4）辅助筛选，剔除视觉信息匮乏或无需多步推理的图像，生成初始任务查询。
2. 专家定稿 (Stage 2)：人工标注员重写查询，确保符合真实用户意图，强化视觉依赖和约束条件，并生成确定性答案。
3. 执行过滤 (Stage 3)：在工具环境中执行任务，验证答案的可复现性。剔除仅靠提示词即可解决（无需工具）或工具调用多样性不足（未跨类别）的任务。
4. 两轮验证 (Stage 4)：双重检查视觉证据的充分性、工具步骤的合理性及答案的有效性，剔除模糊或不稳定的样本。

2.3 工具环境 (Tool Environment)

AgentVista 提供了一个受控但实用的工具集，模拟真实智能体工作流：

• Web Search：检索网页信息。
• Image Search：支持文本搜索和反向图片搜索。
• Visit：访问特定 URL 并提取主要内容。
• Code Interpreter：执行 Python 代码，支持图像处理（裁剪、缩放、测量、对比）和复杂计算。

---

3. 主要贡献 (Key Contributions)

1. 首个超挑战性现实多模态基准：提出了 AGENTVISTA，填补了现有基准在“真实视觉场景 + 长程混合工具使用”评估上的空白。
2. 严格的构建标准：确立了“视觉中心”、“自然交错工具使用”和“时间稳定性”三大设计原则，确保任务既真实又难以通过捷径解决。
3. 全面的评估框架：不仅评估最终准确率，还分析工具调用轨迹、错误类型及测试时扩展（Test-time scaling）的效果。
4. 开源资源：发布了基准数据集及轻量级通用智能体框架，促进可复现研究。

---

4. 实验结果 (Results)

4.1 模型表现

对 14 个前沿多模态模型（包括 GPT-4.1/5 系列、Gemini-3 系列、Claude 系列、Qwen3-VL 等）进行了评估：

• 整体难度极高：表现最好的模型 Gemini-3-PRO 在整体任务中的准确率仅为 27.3%。
• 长程交互需求：平均每个任务需要 12.67 次工具调用（Turns），部分模型（如 GPT-5.2）平均调用次数高达 13.85 次，远超现有基准（通常<5 次）。
• 开源模型差距：开源模型（如 Qwen3-VL-235B）表现显著低于闭源模型，整体准确率仅约 12.9%。
• 多图输入优势：有趣的是，对于大多数模型，多图输入的准确率高于单图输入（Gemini-3-PRO 从 23.7% 提升至 36.8%），表明额外的视觉视角有助于减少歧义。

4.2 工具消融分析

• 混合工具必要性：完整工具集（视觉操作 + 检索）表现最佳。
• 模型偏好差异：
  • Gemini/Claude：更依赖 Web Search 进行检索。
  • GPT 系列：更频繁使用 Code Interpreter 进行图像处理和计算。
• 视觉操作的作用：裁剪（Crop）是最频繁的操作，表明智能体常需先进行局部视觉定位（Grounding）再进行推理。

4.3 错误分析

主要失败模式包括：

1. 视觉误识别 (Visual Misidentification)：占比最高（约 40%）。模型无法正确读取标签、混淆相似组件或忽略细微视觉线索，导致后续检索方向错误。
2. 知识幻觉 (Knowledge Hallucination)：模型编造事实或过度依赖通用规则，而非基于当前视觉证据。
3. 工具执行失败：代码执行错误或工具调用格式问题。

4.4 测试时扩展 (Test-Time Scaling)

通过增加采样数量（K=16）并使用奖励模型选择最佳答案（Best-of-K），Gemini-3-Flash 的准确率从 21% 提升至 30.6%，Pass@16 可达 51.7%。这表明通过推理扩展可以部分缓解问题，但仍有巨大提升空间。

---

5. 意义与影响 (Significance)

• 揭示当前瓶颈：实验证明，当前的多模态智能体在细粒度视觉理解和长程工具链的可靠性方面存在显著短板，距离解决真实世界复杂任务仍有很大差距。
• 推动研究方向：AGENTVISTA 为社区提供了一个高标准的评估平台，引导研究重点从单纯的“视觉问答”转向“基于视觉的复杂决策与行动”。
• 应用前景：该基准直接关联到购物助手、旅行规划、设备故障排查等实际应用场景，其进展将直接推动通用智能体在现实世界中的落地能力。
• 安全与责任：通过强调可验证的短答案和过滤隐私信息，该工作也探讨了在提升智能体能力的同时，如何降低幻觉风险和隐私泄露隐患。

总结：AgentVista 不仅是一个基准，更是一个信号，表明多模态智能体要真正进入“通用”阶段，必须克服在混乱视觉环境中进行长程、多模态、交错式工具调用的巨大挑战。