🤖 AI

Learning When Not to Act: Mitigating Tool Abuse in Agentic Reinforcement Learning

该论文提出了 EAPO，一种高效的智能体策略优化框架，通过利用无工具轨迹、难度感知奖励塑造以及置信度感知标记重加权来学习选择性工具使用，从而缓解强化学习中的工具滥用问题，在多种模型和基准测试中，既提高了推理准确性，又显著减少了不必要的工具调用。

原作者： Liuji Chen, Dianxing Tang, Xing Shi, Dingshuo Chen, Qiang Liu, Shu Wu, Liang Wang

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Liuji Chen, Dianxing Tang, Xing Shi, Dingshuo Chen, Qiang Liu, Shu Wu, Liang Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一位才华横溢的学生，他刚刚学会了如何使用一个超级强大的图书馆（互联网）和一个高科技计算器（Python 代码）。你想让他解决数学问题并回答常识性问题。

起初，这个学生有点过度热情。甚至当你问“1 + 1 等于几？”时，他也会立即冲向图书馆找一本关于加法的书，或者启动计算器来计算数字。他得到了正确答案，但他浪费了时间、精力和金钱去做一些脑子里就能完成的事情。这就是论文中所说的**“工具滥用”（Tool Abuse）**。

开发这项技术的研究人员提出了 EAPO，他们想教给这个学生一个更好的教训：“学会何时不行动。”

以下是他们是如何实现的，通过简单的概念进行拆解：

1. 问题所在：“过度依赖”的学生

在过去，使用强化学习（RL）训练的 AI 模型仅仅因为得到了正确答案就会受到奖励。如果使用工具有助于得到答案，模型就会学会每次都使用它，即使是面对一些愚蠢、简单的问题。这就像一位厨师，因为知道食物处理器管用，所以连切一瓣大蒜都要用食物处理器，尽管用刀会更快且免费。

2. 解决方案：“高效型”训练营 (EAPO)

作者创建了一种新的训练方法，称为 EAPO（高效智能体策略优化）。可以将其视为一个三步走的教练策略：

步骤 A：“无工具”演练（效率感知展开）

通常，在训练这些 AI 学生时，允许他们在每个练习题上都使用工具。EAPO 改变了规则。对于每一批练习题，教练会强制要求学生在解决其中一些问题时完全不使用任何工具。

类比： 想象一位驾驶教练，有时会说：“好了，今天你必须在不使用 GPS 的情况下走这段简单的路线。”
结果： 这迫使 AI 意识到：“嘿，我其实知道这个答案！我并不需要 GPS。”这创造了一个清晰的对比：“我不用工具解决了这个，我也用工具解决了那个。哪种方式更好？”

步骤 B：“难度”计分卡（难度感知奖励塑造）

教练不会惩罚学生在处理难题时使用工具。他们只会在学生在应该能靠自己解决的简单问题上使用工具时进行惩罚。

类比： 如果你问一位数学天才“1+1”，而他用了计算器，教练会说：“这是在浪费时间，你扣分了。”但如果你问他一个复杂的物理方程而他用了计算器，教练会说：“做得好！这个工具是必要的。”
结果： AI 学习了如何聪明地决定何时去拿取工具，而不是仅仅全面地减少工具的使用。

步骤 C：“信心”聚光灯（置信度感知重加权）

教练会格外关注学生不确定的时刻。

类比： 如果学生很有信心但答错了，教练会说：“你太自信了，让我们再看一遍。”如果学生不确定但答对了，教练会说：“你冒了险并且成功了；记住这种感觉。”
结果： AI 学习在自己的“直觉”（内部推理）正确时更加信任自己，并在猜测时更加谨慎。

3. 结果：更聪明、更快速

论文在三种不同的 AI 模型（Qwen 和 Llama）上测试了这种方法，涵盖了从难题到复杂常识问题的九种不同类型的挑战。

更高的准确率： 模型整体上答对了更多的题目。
更少的工具调用： 他们使用工具的频率显著降低（减少了约 18% 到 24% 的调用）。
权衡关系： 他们在实现这一目标的同时，并没有导致处理难题的速度变慢或能力下降。他们只是停止了在简单任务上使用工具。

总结

论文认为，一个真正的智能 AI 智能体不仅应该知道如何使用工具，还应该知道何时放下工具。通过强制 AI 练习在没有工具的情况下解决问题，并通过仅在不必要时惩罚工具使用，EAPO 教会了 AI 如何变得高效，在提高解决问题能力的同时，节省了时间和资源。

技术摘要：学习何时不行动：缓解智能体强化学习中的工具滥用问题

1. 问题定义：智能体强化学习中的工具滥用

大语言模型（LLM）的最新进展推动了智能体强化学习（Agentic RL）框架的发展，使模型能够通过与外部工具（如搜索引擎、Python 解释器）交互来解决复杂的推理任务。虽然这些框架提升了问题的解决能力，但也引入了一个关键问题，即工具滥用。

在标准的智能体强化学习中，模型主要根据任务成功率获得奖励。因此，智能体往往会学习将工具调用作为一种默认的推理策略，即使是对于可以通过内部推理高效解决的问题（例如简单的算术或基础事实问题）。这种行为导致了：

不必要的计算： 冗余的工具调用增加了延迟和部署成本，尤其是在按使用次数计费的外部服务场景下。
低效的探索： 统一的惩罚或硬性限制（例如在 OTC 或标准 GRPO 中）往往无法区分针对困难查询的必要工具使用与针对简单查询的不必要工具使用。此类统一约束可能会抑制对真正具有挑战性任务的有效探索，或者无法对平庸任务上的滥用行为进行有效惩罚。
缺乏训练信号： 标准的采样过程通常在工具可用的设置下进行轨迹采样。由于缺乏显式的无工具轨迹，训练过程缺乏直接证据来判断一个查询是否仅靠模型的内在推理即可解决，从而难以区分必要的工具使用与滥用行为。

2. 方法论：高效智能体策略优化（EAPO）

为了应对这些挑战，作者提出了 EAPO，这是一个多工具智能体强化学习框架，旨在优化推理有效性与工具使用效率之间的权衡。EAPO 引入了三个核心机制：

2.1 效率感知采样（Efficiency-Aware Rollout）

与所有轨迹都可能调用工具的标准采样不同，EAPO 确保对于每个查询，由 $M$ 条轨迹组成的采样组中至少包含 $n$ 条无工具轨迹。

实现方式： 在训练期间，提示词明确禁止一部分轨迹使用工具，并且采样模块会禁用这些样本的工具执行。
机制： 这在工具增强型解决方案与无工具解决方案之间建立了显式的对比。它使模型能够学习工具调用是否能为特定查询带来真正的性能提升。
效率系数： 为每条轨迹计算一个效率系数 $\varepsilon(T_i) = \exp(-\beta(c_i - c_{min}))$ ，其中 $c_i$ 是工具调用次数， $c_{min}$ 是组内正确轨迹中的最小工具调用次数。该系数会对相对于组内最高效正确解的冗余工具调用进行惩罚。

2.2 难度感知奖励塑造（Difficulty-Aware Reward Shaping）

为了避免可能阻碍困难任务学习的过度激进惩罚，EAPO 将查询本身的难度纳入了奖励信号中。

查询难度 ( $d(q)$ )： 定义为 $1 - \frac{1}{M}\sum I(T_i)$ ，其中 $I(T_i)$ 表示轨迹的正确性。如果一组中的大多数轨迹都是错误的，则认为该查询是困难的。
奖励调整： 计算调整后的奖励 $\tilde{R}_i$ $\tilde{R}_{i}$ 为：
$\tilde{R}_i = [d(q) + (1 - d(q))\varepsilon(T_i)] R_i$
- 对于简单查询（低 $d(q)$ ），奖励受效率系数 $\varepsilon(T_i)$ 的强烈调节，从而严厉惩罚不必要的工具使用。
- 对于困难查询（高 $d(q)$ ），奖励更多地依赖于基础正确性奖励 $R_i$ ，从而保留了即使涉及多次调用也去探索工具辅助解决方案的动力。

2.3 置信度感知优势重加权（Confidence-Aware Advantage Reweighting）

EAPO 通过根据模型的生成置信度（ $C_t = \log p_t(y_t)$ ）调整 Token 权重来精细化策略学习。

策略：
- 正确答案： 对低置信度（低于 $\rho$ -分位数）的 Token 进行加权（ $W_{pos}$ ），强调从不确定但正确的推理步骤中获取学习信号。
- 错误答案： 对高置信度（高于 $1-\rho$ -分位数）的 Token 进行降权（ $W_{neg}$ ），减少过度自信错误的影响。
目标： 这种重加权通过关注高信息密度的 Token 并减轻来自自信错误中的噪声，促进更有效的策略学习。

3. 主要贡献

效率感知采样机制： 一种新颖的训练策略，通过引入无工具轨迹，使模型能够区分必要的工具使用与过度依赖。
EAPO 框架： 一个结合了难度感知奖励塑造和置信度感知 Token 重加权的联合优化框架，旨在同时提高推理性能和工具使用效率。
实证验证： 在九个基准测试（数学和知识密集型）以及多个模型家族（Qwen2.5-3B/7B, Llama3.1-8B）上进行了广泛实验，证明了在准确率-效率权衡方面的持续改进。

4. 实验结果

作者将 EAPO 与包括 Base（无工具）、TIR（基于提示的工具使用）、GRPO、Reinforce++、ToolStar 和 ARPO 在内的基准模型进行了对比评估。

性能提升： EAPO 在所有基准测试中均取得了最好或第二好的表现。
- 与 GRPO 相比，EAPO 的平均性能提升了 10.45% (Qwen2.5-3B)、7.27% (Qwen2.5-7B) 和 9.69% (Llama3.1-8B)。
- 在数学推理（Pass@1）和知识密集型任务（F1）方面，EAPO 优于 ARPO 和 AEPO 等强基准模型。
效率提升： EAPO 在不牺牲准确性的情况下显著减少了不必要的工具使用。
- 与 GRPO 相比，EAPO 的平均工具调用次数减少了 18.33% (Qwen2.5-3B)、18.33% (Qwen2.5-7B) 和 24.59% (Llama3.1-8B)。
- 这种减少在 7B 模型上比在 3B 模型上更为明显，表明较小的模型有较少的冗余工具使用需要消除。
消融研究： 移除冷启动 SFT 导致性能下降最大。移除奖励塑造会导致 QA 任务中的工具调用量大幅增加。移除优势重加权则使策略变得更加保守。
超参数敏感性： 只要处于合理范围内，该框架对工具惩罚参数 $\beta$ 和置信度重加权权重具有鲁棒性。

5. 意义与主张

本文声称 EPO 证明了智能体模型可以在不损害工具集成推理优势的前提下，学习何时不使用工具。

范式转变： 这项工作超越了单纯减少工具频率，转向识别并惩罚基于查询难度和内在能力的不必要工具使用。
实际部署： 通过改善准确率-效率的权衡，EAPO 使智能体强化学习更适用于工具使用会产生显著计算和财务成本的实际部署场景。
局限性： 作者指出目前的基准测试主要集中在难题上。有效地评估工具滥用需要一个“由易到难”的数据集，同时评估有效性和效率，这是未来评估范式的一个领域。

总之，EAPO 提供了一种结构化的方法，教导智能体在内部推理与外部工具调用之间取得平衡，确保工具是作为推理的补充而非默认的拐杖。