💻 computer science

How Many Tools Should an LLM Agent See? A Chance-Corrected Answer

本文引入了一种名为“随机之上比特数”（BoR）的经机会校正的指标，用于动态优化呈现给大语言模型代理的工具数量，并通过强化学习证明，与固定规模方法相比，自适应短名单在多种基准测试中显著提升了工具选择的准确性和覆盖率。

原作者： Vyzantinos Repantis, Ameya Gawde, Harshvardhan Singh, Joey Blackwell II

发布于 2026-05-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Vyzantinos Repantis, Ameya Gawde, Harshvardhan Singh, Joey Blackwell II

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一位厨师（AI 智能体），正在尝试烹饪一道特定的菜肴（回答用户的问题）。你拥有一个巨大的储藏室（工具注册表），里面存放着成千上万种食材（工具）。在你开始烹饪之前，一名副厨（检索系统）必须决定将哪些食材递给你。

这篇论文提出的核心问题是：副厨应该在你的操作台上放多少种食材？

如果递给你的太多： 你会感到不知所措、困惑，甚至可能抓错调料。
如果递给你的太少： 你可能缺少实际需要的某种特定食材，导致菜肴失败。

如今的大多数厨房都采用固定规则：“无论食谱难易，始终给厨师递上恰好 5 种食材。”这篇论文认为这是一个糟糕的主意，并提出了一种更智能、能自我调整的系统。

以下是他们解决方案的拆解，使用了简单的类比：

1. “固定规则”的问题

想象一个图书馆，你需要找到一本特定的书。

固定规则： 图书管理员总是递给你一摞 5 本书。
- 简单查询： 你需要一本关于“苹果”的书。管理员递给你 5 本书，第一本就是关于苹果的。很好！但你浪费了时间阅读了另外 4 本。
- 困难查询： 你需要一本关于"18 世纪稀有真菌”的书。管理员递给你 5 本书，但正确的那本是图书馆里的第 12 本。你拿到了 0 本正确的书。

论文指出，我们需要一种方法来衡量图书管理员是否做得好，而不仅仅是看他们递给你多少本书，而是要看他们比随机抓书好多少。

2. 解决方案：“超越随机”（BoR）

作者引入了一种名为**超越随机（Bits-over-Random, BoR）**的指标。将其想象为一个“运气得分”。

随机基线： 如果图书管理员只是盲目地从架子上抓书，他们抓到正确那本的几率是多少？
BoR 得分： 这衡量了图书管理员的表现比那种盲目运气好多少。
- 如果图书管理员递给你 1 本书，而它就是正确的那本，这是一个巨大的胜利（因为随机 chance 很少能在仅尝试 1 次时就猜对）。
- 如果图书管理员递给你 100 本书，而正确的那本就在其中，这是一个较小的胜利（因为随机 chance 在尝试 100 次时很可能也会找到它）。

魔法技巧： 论文利用这个“运气得分”作为学习机器人（强化学习智能体）的奖励。

如果机器人提前停止并找到了工具，它会获得巨额奖励（因为它轻松战胜了 odds）。
如果机器人继续向列表中添加更多工具，奖励会自然缩减（因为在一堆巨大的工具中找到目标并不那么令人印象深刻；靠运气找到它变得更容易）。

这意味着机器人学会在确信自己拥有正确工具时立即停止添加工具，而无需人类告诉它“停在 5 个！”

3. 结果：智能副厨

研究人员在三个不同的测试厨房中将这种“智能副厨”与“固定规则”（始终 5 个工具）进行了对比测试：

小型厨房（BFCL - 370 个工具）：
- 固定规则： 为了安全起见，始终展示 50 个工具。它找到正确工具的成功率为 90.8%。
- 智能厨师： 平均仅展示7 个工具。它找到正确工具的成功率仍为90.3%。
- 结果： 智能厨师节省了海量的“操作台空间”（token），而成功率几乎没有损失。
巨型仓库（ToolBench - 3,251 个工具）：
- 固定规则： 始终展示 5 个工具。它找到正确工具的成功率为 64.7%。
- 智能厨师： 平均展示约 4.4 个工具。它找到工具的成功率为 61.9%。
- 转折： 在真正困难的问题上（正确工具深埋在仓库深处），固定规则找到的比例为0%。智能厨师意识到前几个工具不起作用，于是挖掘得稍深一些（展示 5.7 个工具），找到了其中**16.7%**的难题。固定规则放弃得太早了。

4. 为什么少即是多（“杂乱”效应）

论文还测试了当 AI 实际尝试选择工具时会发生什么。

发现： 当 AI 被展示一个巨大的工具列表（例如 50 个）时，它会感到困惑，更频繁地选错工具。
类比： 如果你问朋友：“这 50 张照片中哪张是我的狗？”他们可能会猜错，因为选项太多了。如果你只给他们看 2 张照片，他们更有可能选对。
证明： 当智能厨师展示较少的工具时，AI 正确选择工具的比例为93.1%。当被迫查看 5 个工具（固定规则）时，其正确选择的比例仅为87.1%。

总结

这篇论文证明，我们不需要一个“一刀切”的数字来决定向 AI 展示多少工具。

旧方法： “展示 5 个工具。”（对于困难任务太少，对于简单任务太多）。
新方法： 使用“运气得分”（BoR）来教导系统在拥有成功机会时立即停止添加工具。
优势： 它节省了计算能力，减少了 AI 的困惑，并且实际上帮助 AI 在固定规则会遗漏的困难问题上找到正确答案。

作者构建了一个简单的“探针”机器人来测试这个想法，而非一个完整的生产系统，但结果表明，让 AI 决定查看多少内容，比强制其查看固定数量要聪明得多。

技术摘要：LLM 智能体应看到多少工具？一个经随机校正的答案

1. 问题陈述

大型语言模型（LLM）智能体需要一个检索系统，在模型尝试执行任务之前，从注册表中选择一个候选工具短名单。一个关键的设计决策是确定搜索深度 $K$ （即呈现的工具数量）。当前系统通常采用固定的 $K$ （例如，展示前 5 或 10 个工具），而不考虑查询的难度。这种方法面临两个相互冲突的挑战：

工具过少： 正确的工具可能被排除在短名单之外，导致立即失败。
工具过多： 模型难以在过多的干扰项中识别出正确的工具，且 Token 成本显著增加（100 个工具约需 2 万个 Token）。

目前缺乏标准指标来评估所选深度 $K$ 是否适合特定的查询或注册表。现有的检索指标（如 $nDCG@K$）是为文档检索设计的，未考虑工具选择的特定约束，即工具池规模较小（50–500 个工具），且随机 chance 在成功中起着重要作用。

2. 方法论

2.1 超越随机（BoR）指标

本文引入了**超越随机（Bits-over-Random, BoR）**指标，作为搜索深度的经随机校正评估工具。BoR 衡量系统相对于在同一深度下通过随机选择获得成功的概率的成功率。

公式： $BoR = \log_2(P_{obs} / P_{rand})$ $B o R = lo g_{2} (P_{o b s} / P_{r an d})$
- $P_{obs}$ ：观察到的成功率（正确工具位于前 $K$ 名的查询比例）。
- $P_{rand}$ ：通过随机包含至少一个相关项的概率，使用超几何分布计算。对于单工具查询（ $R_q=1$ ）， $P_{rand} = K/N$ ，其中 $N$ 是注册表大小。
解释：
- $BoR = 0$：性能等同于随机 chance。
- $BoR > 0$：性能优于随机 chance。
- 自修剪特性： 随着 $K$ 增加， $P_{rand}$ 增加。因此，即使 $P_{obs}$ 保持不变，奖励信号（BoR）也会随着短名单的增长而自然下降。这为不必要的深度创造了内在惩罚，而无需设计深度惩罚机制。

2.2 强化学习（RL）公式化

作者将 $K$ 的选择构建为马尔可夫决策过程（MDP），以测试 BoR 指标的效用：

状态： 智能体观察已检查工具的相似度分数、当前深度 $k_t$ 、注册表大小 $N$ 以及 BoR 上限。
动作： 二元决策：停止（将当前短名单呈现给 LLM）或继续（检查下一个候选项）。
奖励：
- 如果智能体停止且正确工具存在：奖励 = $-\log_2(P_{rand})$ 。
- 如果正确工具不存在：奖励 = 0。
- 一个微小的步长成本鼓励不必要的探索，但不编码特定的深度偏好。
智能体： 本研究使用故意简单的智能体（DQNs 和表格 Q 学习）来探测指标的特性，而非提出生产架构。

2.3 基线

将 BoR 方法与以下方法进行比较：

固定- $K$ ： 对所有查询展示前 $K$ 个工具。
F1 消融： 使用基于 F1 的奖励（当召回率=1 时， $F1 = 2/(K+1)$ ）训练的 RL 智能体，以测试在没有随机校正的情况下，仅凭深度感知是否能诱导自适应行为。

3. 关键结果

评估涵盖了三个基准（BFCL、MetaTool、ToolBench）、多种评分器（BM25、MiniLM、BGE）以及从 20 到 3,251 个工具不等的注册表规模。

3.1 自适应深度与固定深度

BFCL（370 个工具）： BoR 智能体以平均深度 $K=7.4$ 实现了 90.3% 的覆盖率，几乎与固定深度 $K=50$ 的覆盖率（90.8%）相当，但呈现的工具数量减少了 7 倍。
ToolBench（3,251 个工具）： 固定深度 $K=5$ 实现了比 BoR 智能体（61.9%）更高的总覆盖率（64.7%）。然而，固定基线在“困难”查询（正确工具排名在第 6 至 20 位）上完全失败。BoR 智能体在这些困难查询上将深度调整为 $K=5.7$ ，恢复了 16.7% 的固定- $K$ 完全遗漏的案例。
MetaTool： BoR 智能体表现出对注册表规模和评分器质量的敏感性。在使用较弱的 BM25 评分器时，它显著扩展了深度（ $K=80.7$ ）以补偿排名不佳，而 F1 基线无论评分器质量如何都保持浅层。

3.2 评分器质量与自适应

BoR 奖励信号适应底层评分器的质量：

使用强嵌入评分器（MiniLM）时，智能体较早停止（ $K \approx 1.4$ ），因为正确工具出现在顶部。
使用弱评分器（MetaTool 上的 BM25）时，智能体扩展搜索（ $K \approx 80.7$ ）以保持选择性，而 F1 基线未能自适应，过早停止并遗漏了正确工具。

3.3 下游工具选择验证

使用 Claude Sonnet 4.6 在 BFCL 上，作者验证了更短的自适应列表是否能提高 LLM 从呈现集合中选择正确工具的能力：

选择准确率： 当正确工具存在时，Claude 在 BoR 智能体的短列表（ $K=2.2$ ）中 93.1% 的时间选择了它，而在固定 $K=5$ 的情况下为 87.1%。
中等难度： 在正确工具排名第 2 至 5 位的查询中，BoR 智能体将选择准确率提高到 76.8%，而固定 $K=5$ 为 60.9%。
结论： 减少干扰项数量（干扰项负载）提高了 LLM 的决策准确率，即使总“找到”率略低于高固定- $K$ 基线。

4. 意义与主张

本文声称以下贡献和意义：

首个经随机校正的深度指标： 引入 BoR 作为首个专门用于评估工具选择中搜索深度的指标，通过校正随机成功的概率（这一因素在标准检索指标中常被忽略）来实现。
自修剪奖励： 证明 BoR 自然地提供了一个随深度递减的奖励信号，使 RL 智能体能够在无需设计深度惩罚的情况下学习最佳停止点。
自适应效率： 研究表明，自适应策略可以实现与大型固定短名单相当的覆盖率，同时显著降低 Token 消耗和模型混淆。
诊断效用： 该指标可以识别损坏或微弱的评分器（例如，当智能体被迫搜索整个注册表才能找到工具时，表明评分器无效）。
下游影响： 提供了证据表明，自适应深度不仅更高效地检索工具，还通过减少认知负荷提高了 LLM 下游选择正确工具的能力。

承认的局限性：
作者指出，BoR 优化的是选择性而非最大召回率；因此，如果均匀深度恰好满足大多数查询，固定- $K$ 基线有时可以实现更高的总覆盖率。所使用的 RL 智能体是简单的探测工具，而非生产系统，且评估侧重于工具是否被呈现，而非工具执行参数的正确性。