💬 NLP

Eta Given Delta: Defining LLM Tool Efficiency With Marginal Tool Utility

本文引入了“工具效率”和“边际工具效用”作为新的定量指标，用于直接评估和优化大语言模型智能体轨迹中有效工具调用的速率，旨在引导创建更精简的工具集，以补充传统的基于准确性的评估。

原作者： Nyx Iskandar

发布于 2026-07-17

📖 1 分钟阅读☕ 轻松阅读

原作者： Nyx Iskandar

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个计算机不仅仅是在聊天，而是在真正“做事”的世界。这就是 AI Agent（人工智能智能体） 的领域。把标准的**大语言模型（LLM）**想象成一个博学但书呆气的学生，他知道很多事实，但无法离开图书馆。为了让这个学生在现实世界中发挥作用，我们给了他们一套“工具”——比如计算器、搜索引擎或代码编辑器——这样他们就能解决问题、修复漏洞或寻找信息。这是现代 AI 令人兴奋的前沿领域：将一个被动的“大脑”转变为一个主动的“工人”。

然而，这里有一个陷阱。仅仅拥有一个工具箱并不意味着每个工具都有用。有时，在你需要螺丝刀时抓起一把锤子，只会浪费时间并让工人感到困惑。在过去，科学家们主要关心最终任务是否正确完成（即“准确率”）。但他们很少会问：“机器人在到达终点之前走了多少个弯路？”或者“它是否浪费了时间去使用那些对解决问题毫无帮助的工具？”这篇论文填补了这一空白，提出了一个简单而强大的问题：AI 的工具使用效率如何？ 作者们想要衡量的不仅是 AI 是否成功，还包括它是如何利用其工具来实现目标的，希望借此为未来构建更精简、更快、更聪明的 AI 工人。

“无用工具”侦探

在这篇论文中，作者们提出了一种观察 AI 如何使用工具的新方法。他们将这种新指标称为 “工具效率”（Tool Efficiency）。要理解这一点，请想象你正在观察一名侦探破解谜案。这名侦探有一个装满小道具的袋子：放大镜、指纹采集套件、对讲机和水晶球。

如果侦探使用放大镜来寻找线索，那是一个有用的动作。如果他们使用水晶球来猜测答案，而结果证明是错误的，那就是一种浪费。作者们意识到，虽然我们通常只检查侦探是否破获了案件，但我们通常不会去统计他们抓错了几次工具。他们想要一种方法来统计“好的”工具使用次数与“坏的”工具使用次数。

核心要素：边际工具效用

为了判断一次工具使用是好是坏，作者们发明了一个概念叫做 “边际工具效用”（Marginal Tool Utility）。这听起来很高级，但其实非常简单。它在问：“这次特定的工具调用是否帮助了 AI 接近正确答案，还是仅仅增加了噪音？”

为了测试这一点，他们使用了一个巧妙的技巧，叫做 “LLM 即裁判”（LLM-as-a-Judge）。想象一位超级聪明的裁判正在观察侦探的一举一动。在侦探使用工具后，裁判会观察工具使用之前的情况和使用之后的情况。

如果情况变得更加清晰，且侦探更有可能解决案件，裁判就会给出赞许（正向效用）。
如果侦探只是变得更加困惑或陷入了死循环，裁判就会给出批评（非正向效用）。

作者们发现，他们不需要知道事情变好到底有“多少”；他们只需要知道变化的符号（正向或负向）。这使得他们能够将 AI 旅程中的每一次工具调用标记为“有用”或“无用”。

实验：清理杂物

为了证明他们的想法有效，作者们使用一个名为 APEX-SWE Observability 的基准测试搭建了一个真实的测试环境。这是一个极具挑战性的任务，AI 智能体必须通过查看日志并与其他系统交互来修复计算机代码中的漏洞。

这些智能体获得了一套“工具集”，包含：

Grafana/Loki： 一个用于读取系统日志的工具（就像阅读犯罪现场的照片）。
Mattermost： 一个用于阅读团队聊天消息的工具（就像阅读嫌疑人的八卦）。
Plane： 一个用于阅读项目工单的工具（就像阅读案件卷宗）。

作者们怀疑，阅读实际的日志（Grafana/Loki）会非常有帮助，但阅读聊天记录和工单可能会分散 AI 的注意力。为了测试这一点，他们使用不同的工具集对同一个具有 25 个困难任务进行了三次重复实验：

全套工具包： 三种工具都可用。
仅限日志工具包： 只有日志工具（Grafana/Loki）。
无额外工具包： 完全没有聊天或工单工具。

他们的发现

结果明确证实了他们的假设。

1. 移除“闲聊”工具后，准确率并未下降。
当他们拿走聊天（Mattermost）和工单（Plane）工具时，AI 的成功率基本保持不变。事实上，对于一个模型（GPT-5.3-Codex），在移除额外工具后，准确率从 0.32 略微上升到了 0.36。这证明了这些额外的工具并没有提供帮助，它们只是干扰项。

2. “日志”工具才是真正的英雄。
当他们移除日志工具（Grafana/Loki）时，AI 的表现大幅下滑。GPT 模型的准确率降至 0.24，Gemini 模型降至 0.20。这证实了日志工具是必不可少的，而其他工具只是“累赘”。

3. 清理杂物后，效率大幅提升。
这是新指标大放异彩的地方。通过移除无用工具，“工具效率”显著跳升。

对于 GPT 模型，在全套工具包中，效率为 0.359（约 36% 的工具调用是有用的），而在仅限日志工具包中，效率跃升至 0.720（72% 有用）。
对于 Gemini 模型，效率从 0.367 提升到了 0.593。

用通俗的话说：当 AI 停止浪费时间查看聊天消息和项目工单时，它把几乎两倍的时间花在了真正有帮助的事情上。

“中间环节”之谜

作者们还注意到关于 AI 何时犯错的一些有趣现象。他们发现，AI 通常在开始阶段表现强劲，使用正确的工具（如阅读日志）。但在工作的中间阶段，它经常会分心，使用那些没有帮助的工具（如阅读聊天内容）并浪费步骤。这就像一名侦探先是观察了犯罪现场，然后花了一个小时阅读嫌疑人的日记，最后才回到现场。作者们建议，未来的 AI 系统可以被编程为识别这种“中间低谷”，并停止使用那些没有帮助的工具，从而本质上教会 AI 在浪费太多时间之前进行“回溯”。

为什么这很重要

论文得出结论，我们不应该仅仅为 AI 智能体配备各种各样的工具。相反，我们应该利用这些新指标来构建**“精简型”工具集**。就像木匠在修理松动的螺丝时，不会同时带着锤子、锯子和电钻一样，AI 也不应该携带它不需要的工具。

作者们指出，通过衡量边际工具效用和工具效率，开发者可以创建出不仅准确而且运行更快、更便宜的 AI 智能体。他们认为，这是朝着构建真正高效、而非仅仅是“聪明但笨拙”的 AI 智能体迈出的关键一步。他们并不声称解决了所有问题，但他们为整个社区提供了一把新的尺子，用来衡量我们的 AI 工人究竟工作得有多出色。

技术摘要：Eta Given Delta —— 通过边际工具效用定义 LLM 工具效率

问题陈述

虽然大语言模型（LLMs）正日益配备工具以发挥智能体（Agent）的作用，但目前的评估范式几乎完全依赖于结果准确性（Outcome Accuracy）作为工具使用效率的代理指标。这种方法未能直接衡量工具调用在智能体轨迹中的有效率。因此，目前缺乏量化指标来确定特定的工具调用是促进了任务成功，还是属于冗余行为，后者可能会导致工具集臃러，在不提高准确性的情况下增加推理成本和延迟。本文识别了文献中的一个空白：缺乏一种直接、量化的方法来衡量工具效率（即有效工具调用的速率），以及识别哪些特定的工具调用可以在不降低性能的情况下被安全移除。

方法论

1. 定义边际工具效用 ( $\Delta\alpha$ )

作者引入了边际工具效用（Marginal Tool Utility），该指标针对智能体轨迹中的每一个单独工具调用 ( $\alpha_i$ ) 进行定义。

定义： $\Delta\alpha(\alpha_i)$ 代表在包含并截止到 $\alpha_i$ 的工具调用下任务被正确解决的可能性，与排除 $\alpha_i$ 后的可能性之差。
符号判定： 为了避免高昂的计算成本，本文采用了 LLM-as-a-Judge（LLM 作为评判者）的方法。评判 LLM ( $\pi^{(J)}$ $π^{(J)}$ ) 分析特定工具调用前后的轨迹，以确定 $\Delta\alpha(\alpha_i)$ $Δ α (α_{i})$ 的符号：
- $\Delta\alpha(\alpha_i) > 0$ ：该工具调用是有用的。
- $\Delta\alpha(\alpha_i) \leq 0$ ：该工具调用是无用的（可以安全移除）。
聚合效用： 通过对特定工具的所有调用进行 $\Delta\alpha$ 求和，本文可以确定该工具对于智能体准确性是否必要。

2. 定义工具效率 ( $\eta_\alpha$ )

基于边际工具效用的符号，工具效率被定义为轨迹中有效工具调用数与总工具调用数的比率：
$\eta_\alpha(\tau) = \frac{|\{\alpha_i | \Delta\alpha(\alpha_i) > 0\}|}{N}$
其中 $N$ 是总工具调用数。本文假设移除具有非正向聚合效用的工具将会在不影响准确性的情况下提高 $\eta_\alpha$ 。

3. 实验设置

基准测试： 研究使用了 APEX-SWE Observability 基准测试，该测试包含 25 个前沿模型难以达到 >40% 准确率的公开任务。
智能体框架： 默认框架包括原生工具（bash、search 等）和三个只读 MCP 工具：Grafana/Loki（日志）、Mattermost（讨论）和 Plane（工单/规范）。
消融研究： 测试了三种变体：
1. 默认（Default）： 包含所有工具。
2. Grafana： 仅包含 Grafana/Loki。
3. 无 MCP（No-MCP）： 不包含任何 MCP 工具。
模型： 实验使用 GPT-5.3-Codex 和 Gemini 3.1 Pro 进行，共生成 150 条轨迹。
评判模型： 使用 GPT-5.4 作为 LLM-as-a-Judge 来对每个工具调用的效用进行分类。

关键结果

任务准确性

移除冗余工具： 移除 Mattermost 和 Plane（对比 Default 与 Grafana）导致没有显著的准确性下降。在某些情况下，准确性略有提升或保持稳定。
移除必要工具： 移除 Grafana/Loki（对比 Grafana 与 No-MCP）导致了明显的准确性下降（例如，GPT-5.3-Codex 从 0.36 降至 0.24）。
结论： 对于这些可观测性任务，Grafana/Loki 是必要工具，而 Mattermost 和 Plane 是冗余的。

边际工具效用

聚合效用： LLM-as-a-Judge 证实了假设。Grafana/Loki 显示出正向聚合效用 ( $\sum \Delta\alpha > 0$ )，而 Mattermost 和 Plane 显示出非正向聚合效用 ( $\sum \Delta\alpha \leq 0$ )。
调用模式： 对评判理由的分析显示：
- 有效调用 ( $\Delta\alpha > 0$ ) 通常发生在轨迹早期，提供了具体的错误日志。
- 无效调用 ( $\Delta\alpha \leq 0$ ) 频繁出现在轨迹中间，通常涉及通用查询、嘈杂的上下文或对错误格式查询的重试。

工具效率

效率提升： 移除无用工具（Mattermost 和 Plane）显著提高了工具效率。
- GPT-5.3-Codex： 效率从 0.359 (Default) 提升至 0.720 (Grafana)。
- Gemini 3.1 Pro： 效率从 0.367 (Default) 提升至 0.593 (Grafana)。
这表明，精简的工具集可以在维持准确性的同时，大幅提高有效动作的比率。

核心贡献

边际工具效用 ( $\Delta\alpha$ )： 一个针对单个工具调用定义的全新指标，用于确定该次调用是否增加了任务成功的可能性。
聚合工具效用： 一种预测特定工具在被消融时是否会影响智能体准确性的方法，其依据是调用级效用的总和。
工具效率 ( $\eta_\alpha$ )： 一个量化指标，代表轨迹中有效工具调用的速率。
LLM-as-a-Judge 实现： 一种高效的 LLM 评判方法，无需重复进行策略展开（policy rollouts）即可确定 $\Delta\alpha$ 的符号，并通过经验性的消融研究得到了验证。

意义与主张

本文声称其主要贡献在于建立了一个直接、量化的工具效率测量框架，这与结果准确性有着本质区别。通过引入边际工具效用，作者提供了一种机制来实现：

设计更精简的工具集： 使应用层工程师能够识别并移除那些对准确性没有贡献的冗余工具，从而降低推理成本和复杂度。
优化智能体框架： 超越“一刀切”的工具配置，根据经验效用数据，针对特定的骨干模型和任务定制工具集。
启发未来研究： 为旨在优化效率指标（而非仅关注准确性）的全新基准设计和智能体工程提供跳板。

作者强调，尽管以往的工作侧重于通过强化学习或检索来改进工具使用，但本研究的重点在于事后轨迹分析，以推导出可用于工程实践的指标，从而构建更精简、更易维护的智能体系统。研究结果表明，关于工具必要性的直觉判断与所提出的量化指标高度一致，从而验证了该方法的实用性。