💬 NLP

OpenVisTool: An Open Recipe for Synthesizing Instructive Visual Tool-Use Trajectories

该论文介绍了 OpenVisTool，这是一个通过同时筛选答案正确性和工具观测结果的因果贡献来合成指令性视觉工具使用轨迹的框架，从而产生了一个能够显著提升多模态智能体性能的数据集和基准测试，教导模型将工具使用扎根于证据而非仅仅模仿调用模式。

原作者： Changhao Xiang, Shilin Zhang, Zheng Ma, Kanzhi Cheng, Ruize Ma, Yi Feng, Jianbing Zhang, Zhi Wang, Zhen Wu, Xinyu Dai, Lewei Lu

发布于 2026-08-11

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Changhao Xiang, Shilin Zhang, Zheng Ma, Kanzhi Cheng, Ruize Ma, Yi Feng, Jianbing Zhang, Zhi Wang, Zhen Wu, Xinyu Dai, Lewei Lu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人如何破解谜题。你拥有一个巨大的线索（图像）图书馆，以及一套特殊的放大镜（工具），它们可以放大、裁剪或突出显示图片的特定部分。在人工智能的世界里，这些“多模态智能体”正变得越来越聪明，但它们经常会遇到一个瓶颈：它们只能看到初始快照中的内容。如果线索隐藏在微小的文字或模糊的角落里，机器人就会错过它。为了解决这个问题，科学家们正在教机器人如何在回答之前，主动使用它们的放大镜来收集新的证据。但棘手的部分在于：仅仅因为机器人使用了工具并得到了正确答案，并不意味着这个工具真的起到了作用。也许机器人早就从记忆中知道了答案，只是因为被要求使用工具而假装在使用。这篇文章提出了一个至关重要的问题：我们如何教机器人仅在真正需要时才使用工具，而不是仅仅模仿使用工具的习惯？

这项研究背后的研究人员提出了名为 OpenVisTool 的观点，认为目前训练这些机器人的方式是有缺陷的。他们说，仅仅向机器人展示一个使用工具并得到正确答案的“成功”故事，就像是给学生看一份数学考试卷，学生虽然猜对了答案，但仍然写下了每一个复杂的公式步骤。学生学到的是“写公式能拿到高分”，但他们并没有学到为什么需要这个公式。作者提出了一种更严格的新型训练数据配方。他们坚持认为，只有当两件事同时发生时，一个训练样本才是有效的：首先，机器人得到了正确答案（结果有效性，Outcome Validity）；其次，机器人确实需要该工具才能达到目标（因果效用，Causal Utility）。如果机器人无需工具也能解决问题，那么这个样本就会被剔除。

为了证明这一点，团队构建了一个庞大的新数据集 OpenVisTool-42K，其中包含 42,000 个经过精心筛选的样本，涵盖了五种不同的视觉世界：阅读图表、分析表格、导航计算机屏幕、搜索视觉细节以及将网页转化为代码。他们使用了一个三步走的过程来创建这个数据集。首先，他们筛选出了机器人不使用工具就无法解决的“难题”。第二，他们让一个超级聪明的“老师”机器人利用针对每种谜题设计的特定策略来解决这些问题。最后，他们进行了一项严格的“监督验证”测试：他们提取老师的解决方案，并让一个较弱的“学生”机器人解决同一个问题。如果学生机器人在没有老师的工具笔记时失败，但在有了笔记后成功了，那么这个样本就会被保留；如果学生机器人无论有没有工具都能解决问题，该样本就会被视为“冗余”并被丢弃。

结果令人印象深刻。当研究人员使用这个新数据集对四种不同的机器人模型（参数量从 40 亿到 270 亿不等）进行微调时，这些机器人在使用工具方面变得明显更好。在他们的自定义测试平台 OpenVisTool-Bench 上，模型的表现平均提升了 10.7 分。最大的飞跃出现在视觉搜索领域，模型提升了 23.8 分。更令人兴奋的是，在这些数据上训练的小型开源模型，其表现几乎可以媲美通常在领域内占据主导地位的巨型闭源模型（如 GPT-5.5）。例如，经过 OpenVisTool-42K 训练的 Qwen3.5-9B 模型平均得分 45.8，超过了不带工具的 GPT-5.5（得分为 41.9），并且非常接近带工具的 GPT-5.5（得分 49.0）。

研究还发现，这种新的训练方法教授了一种适用于不同类型谜题的“元技能”。当他们测试经过训练的机器人在处理从未见过的任务（分布外任务）时，这些机器人的表现仍然优于那些使用旧的、不够严格的数据进行训练的机器人。然而，作者也发现，仅针对一种类型的谜题（如仅针对图表）进行训练有时会损害在其他类型（如网页）上的表现，这表明混合多种挑战是最好的。最终，论文表明，教机器人使用工具的秘诀不仅是向它们展示成功的案例，更是要向它们展示那些工具作为“真正英雄”的案例。通过过滤掉“虚假”的工具使用，OpenVisTool 不仅帮助机器人学习如何使用放大镜，还帮助它们学习何时真正需要拿起放大镜。

技术摘要：OpenVisTool

问题陈述

视觉工具的使用已成为多模态智能体获取超越固定图像编码的细粒度证据的关键能力。目前主流的智能体训练方法依赖于基于结果的拒绝采样（outcome-based rejection sampling），即如果教师生成的轨迹是可执行的且能得出正确答案，则予以保留。

作者认为这种方法存在根本性缺陷，因为它混淆了结果有效性（outcome validity）与因果效用（causal utility）。一个强大的教师模型可能拥有足够的参数化知识或推理捷径来正确回答查询，而无需实际使用其生成的工具观测结果。因此，模仿此类轨迹会教导学生模型工具调用与正确答案“共现”，而不是教导工具观测如何“锚定”答案。这导致了“伪监督（spurious supervision）”，即模型学习到的是相关性，而非获取视觉证据的因果必要性。

方法论：OpenVisTool 框架

为了解决这一问题，作者提出了 OpenVisTool，这是一个旨在合成**启发式（instructive）**视觉工具使用轨迹的三阶段框架。其核心洞察在于：只有当一条轨迹同时满足以下两个条件时，对学习才是有益的：

结果有效性： 轨迹必须产生正确的最终答案。
因果效用： 工具观测必须对答案产生因果贡献；具体而言，将这些观测提供给一个固定的“探测（probe）”模型，必须比无工具基准提升答案的可靠性。

该框架通过以下阶段运行：

1. 难度筛选 (Difficulty Screening)

流水线首先对源池（涵盖图表、表格、GUI 定位、视觉搜索和 Web-to-HTML 五个领域）进行过滤，仅保留那些能力较强的探测模型（Qwen3.5-9B）在没有工具的情况下无法可靠解决的查询。

机制： 探测模型运行 $K$ 次独立的无工具试验。如果经验成功率低于阈值（ $\gamma = 0.5$ ），则保留该查询。
目标： 确保所选问题确实需要外部视觉证据，避免冗余的工具调用。

2. 特定领域轨迹合成 (Domain-Specific Trajectory Synthesis)

对于保留的查询，更强大的教师模型（Qwen3.5-Plus）使用共享的视觉工具集合成轨迹。

机制： 教师模型并非使用通用提示词，而是受定制的领域特定工具使用模式（ $P_d$ ）引导，这些模式针对每个领域的视觉瓶颈进行了优化（例如，针对图表的序列隔离，或针对 GUI 的渐进式定位）。
目标： 诱导出连贯的、获取证据的行为，而非任意或装饰性的工具调用。

3. 监督验证 (Supervision Verification)

最后阶段根据双重标准严格验证每个候选轨迹。

结果有效性检查： 使用领域特定的评估器验证最终答案是否正确。
因果效用检查： 将来自轨迹的工具调用和观测结果输入到用于筛选阶段的相同探测模型中（排除教师的推理过程和最终答案以防止信息泄露）。比较探测模型在有工具情况下的成功率（ $\bar{p}_{tool}$ ）与无工具情况下的成功率（ $\bar{p}_0$ ）。
保留规则： 只有当轨迹满足结果有效性且 $\bar{p}_{tool} - \bar{p}_0 \ge \delta$ （其中 $\delta = 0.25$ ）时，才予以保留。

核心贡献

OpenVisTool 框架： 一个通过共同强制执行结果有效性和因果效用，使“启发式监督”概念具体化的新型三阶段流水线。
OpenVisTool-42K： 一个大规模开源数据集，包含 42,000 条经过验证的轨迹，涵盖五个视觉推理领域及统一的工具集。
OpenVisTool-Bench： 一个旨在隔离主动获取视觉证据增量价值的基准测试，侧重于工具访问能实质性提升性能的实例。
实证验证： 证明了在该数据集上进行微调可以提升四种骨干模型（参数量从 4B 到 27B 不等）的视觉工具使用性能，其结果接近或超过领先的闭源系统。

实验结果

作者使用 Qwen3.5 变体（4B, 9B, 27B）和 Qwen3-VL-8B 在 OpenVisTool-Bench 和分布外（OOD）基准测试（Agentic-MME, VTC-Bench）上评估了该框架。

性能提升： 在 OpenVisTool-42K 上进行微调在所有模型和领域中均带来了持续的提升。OpenVisTool-Bench 上的平均增益为 10.7 分。最显著的提升出现在视觉搜索领域（9B 模型提升了 23.8 分），该领域需要细粒度的空间推理，工具在此填补了感知与任务需求之间的鸿沟。
与 SOTA 对比： 使用 OpenVisTool-42K 训练的 9B 模型达到了 45.8 的平均分，超过了 GPT-5.5 的无工具性能（41.9），并接近 GPT-5.5 的工具增强性能（49.0）。
泛化能力： 在多领域数据集上训练的模型在 OOD 基准（Agentic-MME 和 VTC-Bench）上也表现出持续的增益，表明所学能力是一种可迁移的元技能，而非仅仅是对特定工具调用模式的过拟合。
消融研究：
- 过滤器的必要性： 同时使用结果有效性和因果效用过滤器的表现，优于仅使用其中之一或仅使用无工具轨迹 SFT 的表现。
- 跨领域协同效应： 在全量多领域混合数据上进行训练，比单领域训练能更好地解决策略冲突（例如，搜索中的局部裁剪与 Web 中的全局渲染之间的冲突），单领域训练往往会导致不兼容领域的性能下降。
- 轨迹回放： 当探测模型以经过启发式训练的模型生成的工具交互（不包括其推理/答案）为条件时，其表现优于仅在正确性上进行训练的模型生成的交互。这证实了训练诱导了一种更有效的证据获取策略。

重要意义

本文声称，有效的视觉工具使用不仅仅是从成功的输出中学习，而是从具有因果基础的监督中学习。通过将评估重点从“轨迹是否以正确结果结束？”转向“工具调用是否产生了实际作用？”，OpenVisTool 提供了一套构建训练数据的方案，旨在教会模型何时以及如何获取视觉证据。这种方法使较小的开源模型能够有效地利用视觉工具，达到与大型闭源系统相竞争的水平，并确立了冷启动数据的质量是决定模型最终工具使用能力的决定性因素。