💻 computer science

The Tool-Overuse Illusion: Why Does LLM Prefer External Tools over Internal Knowledge?

该论文揭示了大语言模型普遍存在的“工具过度使用”现象，指出其根源在于模型对内部知识边界的认知错觉以及训练奖励机制的偏差，并提出了相应的优化策略以显著减少不必要的工具调用并提升性能。

原作者： Yirong Zeng, Shen You, Yufei Liu, Qunyao Du, Xiao Ding, Yutai Hou, Yuxian Wang, Wu Ning, Haonan Song, Dandan Tu, Bibo Cai, Ting Liu

发布于 2026-04-23

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yirong Zeng, Shen You, Yufei Liu, Qunyao Du, Xiao Ding, Yutai Hou, Yuxian Wang, Wu Ning, Haonan Song, Dandan Tu, Bibo Cai, Ting Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文探讨了一个在大语言模型（LLM）领域非常有趣且反直觉的现象：“工具滥用幻觉”。

简单来说，就是现在的 AI 太“勤快”了，甚至有点过度依赖工具，哪怕它们自己脑子里明明就有答案，也非要跑去查字典、算计算器或者问搜索引擎。

为了让你更容易理解，我们可以把大语言模型想象成一个**“超级学霸”，把外部工具（如计算器、搜索引擎）想象成他的“辅助神器”**。

以下是这篇论文的核心内容，用大白话和比喻来解释：

1. 核心问题：学霸的“过度依赖症”

现象：
以前我们认为，给学霸配个计算器或查书工具，他解题能力会变强。这没错，但在很多简单问题上（比如"1+2*3 等于几”），这个学霸明明自己就能算出来，却非要掏出计算器按一遍。

后果：

浪费资源： 就像你出门买瓶水，明明楼下就有，非要开车去隔壁市买，既费油又费时。
反而变笨： 论文发现，在简单问题上强行用工具，准确率反而下降了。因为调用工具会打断他的思考流，就像你在做数学题时，突然被拉去查个无关的字典，思路就断了。

2. 为什么会这样？论文发现了两个“病根”

病根一：知识“认知错觉” (Knowledge Epistemic Illusion)

比喻：
想象这个学霸对自己肚子里的墨水（内部知识）没有数。

实际情况： 他其实知道"1+2*3=7"。
他的错觉： 他总觉得“哎呀，我可能忘了，我得查一下”。
结果： 他高估了问题的难度，低估了自己的能力。哪怕他脑子里答案很确定，他也觉得“我不确定”，于是盲目地调用工具。这就叫“认知错觉”——他不知道自己其实知道。

解决方案（对症下药）：
作者给学霸做了一次“自信心训练”（基于直接偏好优化 DPO）。

训练方法： 告诉学霸：“这道题你不用查书就能做对，这才是对的；如果你非要查书，哪怕答案对了，也是错的。”
效果： 经过训练，学霸学会了“量力而行”。在 32B 规模的模型上，无用的工具调用减少了 82.8%，而且做题更准了。

病根二：奖励机制的“陷阱” (Outcome-Only Reward Trap)

比喻：
现在的 AI 训练就像在教学生做题，但只关心最后的答案对不对，不关心过程累不累。

现状： 只要最后答案对了，老师就发糖（给奖励）。至于你是自己算出来的，还是查了 10 次书算出来的，老师不管。
后果： 学生发现：“既然查书也能拿糖，而且查书好像更保险，那我以后不管什么题都先查书！”于是，工具调用次数随着训练越来越疯狂。
论文发现： 随着训练步数增加，AI 调用工具的次数反而越来越多，甚至到了离谱的地步。

解决方案（平衡奖励）：
作者改进了“发糖”的规则。

新规则： 答案对了给糖，但每多按一次计算器，就扣一点糖。我们要奖励“既对又快”的学生，而不是“又对又慢”的学生。
效果： 这种“平衡奖励”让 AI 学会了精打细算。在 7B 模型上，无用调用减少了66.7%；在 32B 模型上减少了60.7%，而且准确率没受影响。

3. 总结：我们要什么样的 AI？

这篇论文告诉我们，让 AI 变强不仅仅是“给它更多工具”，更重要的是教会它“何时该用工具，何时该靠自己”。

以前的 AI： 像个没有自信的“工具狂魔”，遇到任何问题都先找外援，结果反而把自己绕晕了。
理想的 AI： 像个成熟的专家。遇到简单问题，自信地凭经验解决；遇到真搞不定的难题，才果断调用工具。

一句话总结：
这篇论文就像给 AI 做了一次“心理疏导”和“行为矫正”，治好了它的“工具依赖症”，让它从盲目调用变成了聪明地按需调用，既省资源，又更聪明。

这是一篇关于大语言模型（LLM）在工具集成推理（Tool-Integrated Reasoning, TIR）中存在的**“工具过度使用”（Tool Overuse）**现象的深度研究论文。文章揭示了模型为何倾向于在不必要时调用外部工具，并提出了相应的解决机制。

以下是该论文的详细技术总结：

1. 研究背景与问题定义

背景：赋予 LLM 外部工具（如代码解释器、搜索 API）能有效突破其内部知识边界，解决复杂推理问题。然而，这引入了一个未被充分探索的严重问题：工具过度使用。
问题定义：工具过度使用指模型在内部参数知识足以解决问题，或工具调用无法带来信息增益的情况下，不必要地调用外部工具。
- 冗余使用 (Redundant Usage)：将简单任务（如基础算术）委托给外部工具，尽管模型内部已知答案。
- 无关使用 (Irrelevant Usage)：幻觉性地调用与任务无关的工具来弥补推理缺口。
危害：导致不必要的资源消耗（延迟、Token 成本），且实验表明，在简单任务上过度使用工具反而会降低模型的准确率（干扰自然推理过程）。

2. 核心发现：两大驱动机制

论文通过实证分析揭示了导致工具过度使用的两个根本原因：

机制一：知识认知错觉 (Knowledge Epistemic Illusion)

现象：模型无法准确感知其内部知识的可用性边界。即使内部知识非常充足（通过 avg@1024 高置信度采样验证），模型仍倾向于调用工具。
发现：
- 在内部知识可用性高（avg@1024 > 0.8）的区域，模型调用工具的频率并未下降，反而维持高位。
- 模型错误地“认为”自己不知道答案（低估内部知识），从而盲目依赖外部工具。
- 这种错觉导致在简单任务上引入工具后，准确率反而下降（例如在 GSM8K 简单样本上，部分模型准确率下降 10% 以上）。

机制二：结果导向奖励陷阱 (Outcome-Only Reward Trap)

现象：当前的强化学习（RLVR，如 DAPO 算法）主要基于最终结果的正确性（Outcome-only）进行奖励，忽略了推理过程的效率。
发现：
- 在 RLVR 训练过程中，随着训练步数增加，模型的调用工具次数显著上升（甚至超过理论合理上限）。
- 由于奖励函数只奖励“答对”，不惩罚“调用次数多”，模型发现通过频繁调用工具来“碰运气”或增加上下文线索能获得更高的最终正确率，从而习得了过度使用的策略。
- 这种优化偏差导致模型为了追求最终正确性而牺牲了推理效率。

3. 方法论与解决方案

针对上述两个机制，论文提出了两种针对性的缓解策略：

策略一：基于直接偏好优化 (DPO) 的知识感知边界对齐

目标：纠正模型的“知识认知错觉”，使其在内部知识充足时信任自身，仅在真正需要时调用工具。
方法：
- 构建偏好对（Preference Pairs）：在相同提示下，对比“最小化工具调用且回答正确”的轨迹与“过度使用工具”的轨迹。
- 利用 知识感知直接偏好优化 (Knowledge-aware DPO) 微调模型，使其学习在内部知识边界内优先使用内部推理。
效果：在 32B 规模模型上，工具调用次数减少了 82.8%，同时准确率提升了 3%。

策略二：平衡效率与结果的奖励策略 (Balanced Reward Strategy)

目标：解决 RLVR 训练中的奖励偏差，防止模型为了结果正确而过度使用工具。
方法：
- 改进 RLVR 的奖励函数，不再仅依赖最终结果，而是引入效率惩罚。
- 在训练过程中（基于 DAPO 算法），对正确回答但工具调用过多的轨迹施加惩罚（每多一次调用扣除 0.05 奖励，上限 16 次）。
- 通过增大 Rollout 组大小（Group Size），更准确地估计模型的能力上限，从而平衡“正确性”与“工具效率”。
效果：
- 7B 模型工具调用减少 66.7%。
- 32B 模型工具调用减少 60.7%。
- 在大幅减少调用的同时，保持了甚至略微提升了任务准确率。

4. 实验结果

评估基准：GSM8K（基础数学）、AIME 2024/2025（高难度竞赛数学）。
模型覆盖：涵盖了开源模型（Qwen, Llama）、前沿闭源模型（GPT-5, Gemini, Claude）以及经过 RLVR 训练的模型。
关键数据：
- 普遍性：所有模型在简单任务上平均每个查询有 0.93 次不必要的工具调用。
- 性能下降：在简单任务中启用工具后，平均准确率下降了 3.29% ~ 14.48%。
- 无关工具检测：即使是顶尖模型，在面对完全无关的工具列表时，也有约 19.8% 的概率错误调用工具。
- 改进效果：提出的两种策略均显著降低了工具调用频率（最高减少 82.8%），且未牺牲（甚至提升了）推理准确率。

5. 理论分析

论文从理论角度形式化了工具使用的效用函数：
$U(y, a) = R \cdot \mathbb{1}(y=y^*) - \lambda \cdot C(a)$

结构性效用失衡：现有训练范式中 $\lambda \to 0$ （忽略成本），导致只要工具能带来微小的正确率提升（ $\Delta P > 0$ ），调用工具就成为了全局最优解。
校准失败：模型对内部知识的置信度被低估（ $\hat{P}_{mem} \ll P_{true}$ ），导致边际收益被高估，从而触发不必要的工具调用。

6. 意义与贡献

首次系统性揭示：首次量化并系统分析了 LLM 中的“工具过度使用”现象，证明了其普遍存在且对性能有害。
机制洞察：明确了“知识认知错觉”和“结果导向奖励陷阱”是导致该问题的两大核心原因。
实用解决方案：提出了基于 DPO 的边界对齐和基于平衡奖励的 RL 训练策略，为构建高效、可靠的工具增强型 AI 代理（Agent）提供了具体路径。
重新定义自主性：指出可靠的 AI 代理不仅需要“知道何时使用工具”，更需要“知道何时不使用工具”，即在内部推理与外部工具之间取得平衡。

总结：这篇论文指出，当前的 LLM 在工具使用上存在严重的“过度自信”和“奖励误导”问题。通过修正模型对自身能力的认知偏差以及优化训练奖励函数，可以显著消除冗余的工具调用，在降低成本的同时提升推理质量。