🤖 machine learning

To Call or Not to Call: Diagnosing Intrinsic Over-Calling Bias in LLM Agents

本文识别并机制性地解释了大型语言模型智能体中固有的过度调用偏差，即模型倾向于调用工具即使在不必要时，并证明这种偏差可通过稀疏自编码器进行因果修正，从而在不牺牲调用性能的前提下提升整体决策准确性。

原作者： Wei Shi, Ziheng Peng, Sihang Li, Xiting Wang, Xiang Wang, Mengnan Du, Na Zou

发布于 2026-05-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Wei Shi, Ziheng Peng, Sihang Li, Xiting Wang, Xiang Wang, Mengnan Du, Na Zou

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一位非常聪明、充满热情的助手，他酷爱使用工具。当你请他做某事时，他会立刻伸手去拿工具箱。问题在于，即使不需要工具，或者在缺少正确使用工具所需的关键信息时，他也常常随手抓起工具。

本文研究了这一现象发生的原因以及如何解决。以下是通俗易懂的解析：

问题所在：“过度热情”的助手

研究人员观察了多个先进的人工智能模型（如 Qwen、Gemma 和 Ministral），发现了一个一致的缺陷：过度调用。

好消息： 当 AI应该使用工具时（例如查询天气），它表现极佳。其“调用准确率”几乎 100% 正确。
坏消息： 当 AI不应该使用工具时（例如当用户的请求模糊、需要先澄清时），AI 往往仍然会调用工具。其“不调用准确率”非常低。

类比： 这就像一位上菜速度极快的服务员，但当你只是询问菜单时，他却端来一块牛排；或者在你甚至还没表示口渴时，他就递上一杯饮料。他们太急于“做事”，以至于忘记确认这件事是否真的需要。

诊断：一个看不见的“偏差权重”

研究人员想知道为什么 AI 如此热情。他们不仅观察 AI 的回答，还利用一种名为**稀疏自编码器（SAE）**的工具，深入 AI 的“大脑”（其内部数学机制）进行观察。你可以将 SAE 想象成一台高倍显微镜，让我们能够看到 AI 用于做决策的具体“开关”或“特征”。

他们发现了一些令人惊讶的事情：

“激活”理论： 通常人们会认为，如果“调用”信号比“不调用”信号更强，AI 就会决定调用工具。
现实情况（内在偏差假设）： 研究人员发现，即使“调用”信号和“不调用”信号完全相等（平局），AI 仍然会选择调用。

类比： 想象一个天平，一端放着“调用”的砝码，另一端放着“不调用”的砝码。

如果两边砝码重量相等，普通天平会保持平衡。
但这款 AI 的天平在“调用”一侧粘着一个隐藏的、看不见的砝码。即使可见的砝码重量相等，天平也会向“调用”一侧倾斜。
要让天平恢复平衡（或向“不调用”一侧倾斜），你实际上必须在“不调用”一侧放置更多的砝码，以克服那个隐藏的偏差。

解决方案：“抵消偏差”调整

一旦发现了这个看不见的砝码，他们便创造了一种名为**AMCS（自适应边际校准引导）**的修复方案。

类比： 既然他们确切知道那个看不见的“调用”偏差有多重，他们就制造了一个“配重”来抵消它。

他们没有重新训练 AI（这既耗时又可能破坏其他功能）。
相反，他们在 AI 即将做出决策的每一次，对其内部信号施加一个微小而精确的数学微调。
这个微调移除了那个隐藏的砝码，使天平能够正确平衡。

结果

当他们测试这一修复方案时：

错误减少： AI 停止了在不该调用工具时进行调用（解决了“过度热情”的问题）。
工作能力依旧： 它并未丧失在应该调用工具时进行调用的能力。“调用准确率”保持高位。
整体提升： AI 的整体性能得分显著提高。

总结

该论文认为，AI 智能体并非仅仅对“何时使用工具”感到困惑；它们具有一种内置的、机械性的偏差，使它们更倾向于调用工具，而不是请求更多信息。通过利用“显微镜”发现这种偏差，并使用“配重”将其抵消，他们使 AI 变得更加可靠，而无需从头重新教导它。

该论文未声称的内容：

它并未声称这能解决所有 AI 幻觉或推理错误，仅针对何时调用工具这一具体问题。
它并未声称这是一种永久的训练修复；这是一种在 AI 运行过程中实时应用的调整。
它未讨论医疗或临床用途；其焦点严格限于工具使用基准测试。

技术摘要：诊断大语言模型代理的内在过度调用偏差

问题陈述

大语言模型（LLM）代理已演变为能够利用外部工具（如搜索引擎、API），但它们表现出一种被称为过度调用的系统性失效模式：即使用户请求缺乏必要信息或已有直接答案足以应对时，仍倾向于调用工具。

在When2Call基准上的评估显示，来自三个模型系列（Qwen3.5、Gemma-3、Ministral-3）的六个模型存在一致的不对称性。虽然这些模型在需要调用工具时能达到高准确率（调用准确率：90%–99%），但在正确操作是不调用工具时，其准确率显著下降（不调用准确率：2%–69%）。这导致整体准确率范围仅为 55%–70%。这种偏差会降低用户体验（例如，为信息不足的请求幻觉式地生成工具调用），并在部署系统中增加 API 成本。

方法论

作者提出对 LLM 代理的内部决策过程进行机制性调查，从经验观察转向因果分析。

1. 内在偏差假设（IBH）

该论文提出，过度调用不仅仅是激活水平的函数，而是源于决策映射中与激活无关的调用偏移（CALL offset）。

假设：调用或不调用的决定由“调用”与“不调用”特征方向之间的带符号激活余量（ $m$ ）决定。然而，决策边界发生了偏移，以至于即使在激活平衡点（ $m=0$ ）时，模型仍倾向于调用。只有当“不调用”的激活显著超过“调用”的激活时，模型才变得决策中立。
形式化：调用概率建模为 $P(\text{CALL} | m) = \sigma(\beta m + \beta_0)$ ，其中 $\beta_0 > 0$ 代表内在偏差偏移量。

2. 通过稀疏自编码器（SAEs）进行特征发现

为了验证 IBH，作者利用稀疏自编码器将残差流激活分解为可解释的特征。

训练：TopK 稀疏自编码器在目标模型的残差流上进行训练，采用两阶段课程：首先在广泛语料库（OpenWebText2）上训练以学习通用几何结构，然后在 When2Call 数据集上训练以适应工具使用上下文。
特征基：恢复了两个与行为对齐的特征集：
- $\mathcal{C}$ ：与观察到的调用决策强相关的特征。
- $\mathcal{N}$ ：与观察到的不调用决策强相关的特征。
验证：在少量这些特征（通常 $K \le 5$ ）上训练的线性探针，能够以接近原始残差流上限的准确率预测门控决策，证实这些特征捕捉到了关键的门控信号。

3. 诊断与量化

利用恢复的特征基，作者分析了激活几何结构：

响应条件视图：“不调用”响应集中在“不调用”主导的半平面内，而“调用”响应则跨越平衡对角线延伸，进入“不调用”证据相当或更强的区域。
输入条件视图：在发出的“调用”响应中，“误调用”（过度调用错误）比“真调用”更靠近平衡对角线，表明偏差将弱案例推过了决策边界。
偏移估计：对带符号激活余量进行逻辑回归，确认所有模型均存在负向中性边界（ $m^* < 0$ ），从而量化了内在偏差 $\beta_0$ 。

4. 因果干预：自适应余量校准导向（AMCS）

为了对 IBH 进行因果验证，作者引入了AMCS，一种闭式导向方法。

机制：AMCS 沿 $\mathcal{C}$ 和 $\mathcal{N}$ 的 SAE 解码器方向计算导向向量。它对激活余量施加一个反偏差偏移 $\delta = -\beta_0 / \beta$ 。
实现：该偏移根据激活间隙分布到排名靠前的特征上。干预在推理时作为单个向量加法应用于残差流，无需额外的模型调用或迭代调整。

关键结果

实验在六个指令微调模型（Qwen3.5-4B/9B、Gemma-3-1B/4B、Ministral-3-3B/8B）上进行。

缓解过度调用：通过 AMCS 消除诊断出的偏移量，在六个模型中的五个上显著提高了不调用准确率，提升了4 到 17 个百分点。
保留有效调用：该方法在五个模型上保持了调用准确率，下降幅度可忽略不计（5 个百分点以内），表明该干预在纠正偏差的同时并未抑制必要的工具使用。
整体准确率：AMCS 在多个模型上将整体准确率提高了多达 5 个百分点（例如，Qwen3.5-9B 提升了 +5.10%）。
与基线比较：
- 提示工程：虽然在提高不调用准确率方面有效，但会大幅降低调用准确率（例如，Ministral-3-8B 下降了 -56%），导致整体性能净损失。
- 单向导向：仅抑制“调用”特征或仅促进“不调用”特征的方法未能实现 AMCS 所提供的平衡，导致整体准确率提升较小。
Gemma-3 局限性：Gemma-3 模型在 SAE 轴上显示真调用与误调用之间几乎没有分离，导致基于余量的干预杠杆作用极小。这些模型被视为参考案例而非主要证据。

意义与主张

该论文主张将过度调用从一种经验现象重新定义为可测量、可建模且可因果调整的机制性对象。

机制性洞察：这项工作表明，工具使用门控受内在的、与激活无关的偏差支配，而不仅仅是特征激活的相对强度。
因果修正：通过基于 SAE 的导向识别并抵消特定的偏移项（ $\beta_0$ ），作者提供了对内在偏差假设的因果验证。
可控性：诊断出的偏移量充当“调用努力”的旋钮。AMCS 是迈向“调用努力”界面的第一步，允许系统在不重新训练模型的情况下，调整积极调用工具与用户验证之间的平衡。
范围：本研究专注于部署模型的推理时修正。它未追溯偏差的训练时起源，也不声称能解决超出特定“调用与验证”决策单元之外的长程代理规划问题。

代码和数据可在 https://github.com/SKURA502/agent-sae/ 获取。