技术摘要：ToolGate：面向工具增强型视觉语言智能体的令牌高效预调用控制

1. 问题陈述

工具增强型视觉语言模型（VLMs）通过调用外部感知工具（如 OCR、目标检测、分割）来增强推理能力。然而，目前的 ReAct 式智能体通常缺乏局部工具调用选择性（local tool-call selectivity）。它们会不加区别地提出并执行工具调用，从而导致以下效率问题：

• 冗余： 大部分调用并不会改变智能体当前的强制回答预测（forced-answer prediction）。
• 危害： 部分调用会引入误导性的感知信息，从而破坏正确的视觉信念，导致智能体从正确答案转向错误答案。
• 成本： 盲目执行所有提议的调用会产生大量的令牌成本（交互令牌 + 工具输出令牌）和延迟，且无法保证效用。

核心问题在于推理时控制（inference-time control）：即在工具执行之前，确定一个提议的调用是否可能为当前的推理轨迹提供正向的边际价值。

2. 方法论：ToolGate

作者提出了 ToolGate，这是一个轻量级的、外部的、黑盒控制器，运行在 VLM 智能体提出工具调用与实际执行该工具之间。

2.1 架构与输入

ToolGate 不修改 VLM 主干、提示词或工具栈。它作为一个二进制分类器（$g \in \{0, 1\}$）起作用，决定是执行还是跳过一个提议的调用。

• 输入表示： 控制器接收当前轨迹前缀的文本摘要（问题、推理历史、之前的工具调用/输出）以及待处理调用的详细信息（工具名称、参数）。
• 特征： 它结合了文本嵌入（来自冻结的句子嵌入模型）与简单的结构化特征：
  • 归一化的步骤索引。
  • 布尔标志（例如：这是第一次调用吗？该工具之前是否被使用过？）。
  • 工具类型的独热编码（one-hot encoding）。
• 约束： ToolGate 不访问图像像素、隐藏状态、解码对数概率或未来的工具输出。它仅依赖于决策点处可获得的交互历史。

2.2 训练与监督

理想的决策指标是信息价值（Value of Information, VoI）：即执行调用与跳过调用之间最终答案准确率的差异。由于在已记录的轨迹中无法观测到反事实结果，作者使用了一种**代理监督（proxy supervision）**策略：

• 数据收集： 通过一个不受限制的 ReAct 智能体生成离线轨迹。
• 强制回答探测： 对于轨迹中的每个工具调用，在将工具输出纳入之前和之后，立即探测智能体的最佳答案。
• 标签定义： 只有当满足以下条件时，调用才被标记为执行正向（execute-positive）：
  1. 探测到的答案从错误变为正确（$c_b=0, c_a=1$）。
  2. 最终回合答案是正确的（$e=1$）。
  • 所有其他调用（无变化、有害或延迟效用）均被视为负向。
• 模型： 该门控模型被训练为一个基于拼接后的文本和结构化特征的 $\ell_2$ 正则化逻辑回归分类器。

2.3 部署

在在线推理期间，ToolGate 会拦截每一个提议的工具调用。如果预测概率 $\hat{p}_t \geq \tau$（默认 $\tau=0.5$），则执行该调用；否则，跳过该调用，并向智能体上下文返回一个固定的“无操作（no-op）”消息。

3. 核心贡献

1. 诊断局部选择性失效： 通过对五个基准测试中 15,782 次工具调用的分析，作者证明了基线智能体表现出较差的选择性。有益的调用（从错变对）与有害的调用（从对变错，约 11.8% vs. ~9.9%）发生的频率相似，而约 78.3% 的调用使即时预测保持不变。
2. ToolGate 控制器： 引入了一个轻量级的、外部的预调用控制器，该控制器根据轨迹文本和结构化特征预测执行/跳过决策，且无需修改底层的 VLM。
3. 实证验证： 证明了预调用门控可以显著降低令牌成本和执行的工具调用次数，同时保持（并在某些情况下提高）最终答案的准确率。

4. 实验结果

实验在 Qwen3-VL-30B 和 Qwen3-VL-235B-FP8 主干网络上针对五个基准测试（V*Bench, CV-Bench, HR-Bench-4k/8k, MME-RealWorld-Lite）进行。

4.1 效率与准确率的权衡

• 跨域训练： 当门控在域外数据（例如用于 30B 的 GQA，用于 235B 的六个 VQA 源）上训练并在五个目标基准测试上评估时：
  • 令牌成本： 降低至不受限制基线的 64–69%。
  • 工具调用： 每个回合的调用次数从约 2.73 降至 ~1.00 (30B)，从 1.34 降至 0.20 (235B)。
  • 准确率： 平均准确率基本得以保持（例如，30B 为 70.83% $\to$ 71.15%；235B 为 75.22% $\to$ 75.30%）。
• 匹配域训练： 当门控在与评估使用的相同基准测试族轨迹上进行训练时（仅限 30B）：
  • 准确率： 提升了 1.65 个百分点 (70.83% $\to$ 72.48%)。
  • 成本： 令牌成本降低至基线的 67%。
  • 调用： 降至每回合 1.02 次。

4.2 消融研究

• 提示词 vs. 门控： 要求智能体自我报告工具必要性或使用“稀疏使用（sparse-use）”提示词，未能达到 ToolGate 的效率，往往会增加令牌成本或降低准确率。
• 特征重要性： 虽然工具身份本身是衡量低效的一个强预测因子，但完整模型（文本 + 结构）实现了最佳的准确率-成本权衡。
• 信号来源： 门控的决策并非仅仅是智能体预调用置信度的反映（相关性较弱），这表明它从轨迹历史中学习到了独特的效用信号。

5. 意义与主张

论文声称，工具增强型 VLM 智能体不仅受益于更好的感知工具，还受益于对何时值得支付工具输出成本进行显式的推理时控制。

• 主要贡献： ToolGate 主要作为一个保持准确率的成本控制机制。其最显著的效果是在保持性能的同时，大幅减少了令牌使用量和延迟。
• 次要贡献： 在具有足够训练数据的匹配域设置中，控制器还可以通过过滤掉那些破坏正确信念或浪费上下文的调用，来提高最终答案的准确率。
• 机制： 本研究强调了基线 ReAct 策略存在“局部选择性”问题，即有益的调用是稀疏的，且与冗余或有害的调用混杂在一起。预调用门控通过防止低价值的输出进入上下文来解决这一问题，而不是依赖智能体在受到误导信息后进行事后恢复。

6. 局限性

作者明确指出了以下局限性：

• 范围： 仅限于具有特定感知工具集和两个同系列模型主干的 ReAct 式智能体。其在其他规划器或模态上的泛化能力尚未得到证实。
• 代理监督： 训练标签是针对反事实价值的代理，而非真正的因果估计。系统可能会错过具有延迟效用的调用，或那些虽然没有改变即时 argmax 但提高了置信度的调用。
• 标注噪声： 工具正确性的诊断性标注是自动化的，且带有噪声。
• 风险： 激进的门控可能会抑制复杂场景下的必要证据（例如，重度依赖 OCR 的任务），且该系统不能替代高风险应用中的人工监督。