💻 computer science

Tunable Tool-Call Rates in LLM Agents via Representation Steering

本文证明，通过应用一个从模型残差流中提取的单一、无需训练的线性转向方向，可以在推理阶段精确控制 LLM 智能体中的工具调用率，而无需重新训练，该方向能够单调地调节调用倾向，从而在不同架构和工具类型中优化准确度与成本之间的权衡。

原作者： Yuqi Chen, Vincent Siu, Yang Liu, Dawn Song, Chenguang Wang

发布于 2026-08-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Yuqi Chen, Vincent Siu, Yang Liu, Dawn Song, Chenguang Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大型语言模型是强大的文本引擎，能够回答问题、编写故事并解决问题。然而，这些系统存在一个根本性的局限：它们完全依赖于存储在内部记忆中的信息。当一个问题涉及过于晦涩、过于近期或过于复杂而无法记忆的事实时，模型往往会带着危险的自信进行猜测，产生听起来看似合理但完全错误答案。为了解决这个问题，开发人员教会了这些模型使用外部工具，例如搜索引擎或计算器，在回答之前查找信息。然而，教会模型何时停止并伸手使用工具却出人意料地困难。如果模型调用工具过于频繁，会浪费时间和金钱，并面临触发非预期行为的风险；如果它调用工具太少，则会错失寻找正确答案的机会，并保持那种自信的错误状态。

研究人员长期以来一直在寻求让这些决策更加可靠的方法，通常是通过用新示例重新训练模型，或者通过仔细重写给它的指令。这些方法既昂贵又僵化；一旦模型的训练方式或提示词设定完成，改变其行为就需要重新开始整个过程。来自加州大学圣克鲁兹分校和加州大学伯克利分校研究人员的一项新研究提出了一种不同的方法。他们发现，使用工具的决策并不是一个需要通过重新训练来改变的复杂、隐藏的过程。相反，它是由模型内部工作中的一个单一、简单的信号控制的，就像调节旋钮一样，可以在不改变模型训练或指令的情况下进行实时调整。

研究人员首先观察了语言模型在面对一组可用工具（如搜索引擎、计算器和代码解释器）时的行为。他们注意到，在模型实际说话或编写响应之前，它会生成一个特定的内部信号，表明它是否打算使用任何工具。通过对比模型在决定使用工具与决定依靠记忆回答时的内部状态，团队识别出了模型数学空间中代表“使用工具冲动”的一个特定方向。这个方向并不绑定于特定的工具（如计算器或搜索引擎），而是一个通用的信号，仅仅意味着“使用工具”。

为了测试这一发现，研究人员并没有重新训练模型或更改其提示词。相反，他们提取了这个识别出的方向，并在模型生成答案的过程中将其添加到模型的内部处理中。通过添加少量的这种信号，他们可以鼓励模型更频繁地使用工具；通过减去这种信号，他们可以完全抑制使用工具的冲动。他们发现，这种调整具有惊人的精确度。随着研究人员增强信号强度，模型调用工具的频率平滑地从接近零上升到几乎百分之百。至关重要的是，模型并没有开始随机调用工具。当研究人员推动模型更频繁地使用工具时，它会专门针对那些它无法自行回答的问题，例如晦涩的历史事实或复杂的计算，而忽略那些它已经知道答案的问题。

研究还表明，这种控制机制具有高度的可适应性。研究人员从一个包含三种特定工具的设置中提取了“使用工具”信号，然后将其应用于一套完全不同的工具集，包括天气预报、股市查询和电子邮件发送。同一个信号成功诱导模型使用这些新工具，其效果与专门为它们进行过训练一样出色。此外，这种方法适用于各种不同的模型架构，从较小的标准模型到工业界使用的庞大复杂系统。在所有案例中，这个单一信号都允许研究人员在不破坏模型形成正确句子或选择合适工具的能力的前提下，调高或调低调用工具的行为。

当研究人员在模型可以实际执行网络搜索的实时环境中测试这种方法时，结果令人瞩目。在一组困难的事实性问题上，未经调整的模型仅在约 29% 的情况下回答正确，经常在应该搜索时进行猜测。通过应用转向信号来鼓励工具使用，准确率跃升至 56%，几乎翻了一番。这种提升伴随着可控的成本，因为模型在每个问题上大约进行一次搜索调用。研究人员能够追踪出使用工具的成本与答案准确性之间的清晰路径，表明操作者可以选择符合其需求的特定平衡点。

这项工作挑战了这样一个假设，即控制 AI 的行为需要繁重的重新训练或复杂的提示工程。它证明了，一个关键的决策过程——即知道何时寻求外部帮助——被编码在模型内部状态的一个简单的线性方向中。通过寻找并调整这个方向，研究人员可以在不改变模型基本训练的情况下，使 AI 代理变得更加可靠和高效。该方法提供了一种轻量级的方式来调节 AI 系统的成本和准确性，确保它们仅在必要时使用工具，并避免过度依赖或危险猜测的陷阱。虽然该技术并不能修复工具执行过程中的错误，但它为管理 AI 代理最基本也最昂贵的选择——是靠自己行动还是寻求帮助——提供了一个强大的新杠杆。

技术摘要：通过表示转向实现 LLM 智能体中可调的工具调用率

问题陈述

大语言模型（LLM）智能体在决定是否调用外部工具时面临着关键的权衡。错误的决策代价高昂：

使用不足： 智能体在需要调用工具时未能调用，导致在需要外部知识的问题（例如长尾事实）上给出自信但错误的答案。
过度使用： 智能体进行了不必要的工具调用（例如简单的算术），从而产生了延迟、经济成本以及潜在的不可逆副作用（例如发送电子邮件）。

现有的缓解策略（如微调或提示工程）计算成本高昂，且难以在推理时进行动态修改。此外，虽然之前的研究表明“选择哪个”工具的过程可以用线性方式表示，但目前尚不清楚“是否”调用工具这一二元决策是否也具有类似的、可读且可转向的内部表示。

方法论

作者提出了一种基于**表示转向（representation steering）**的无需训练、推理时干预的方法。该流程由三个核心组件组成：

1. 倾向性代理（Propensity Proxy）

该方法并非依赖于完整的生成过程，而是从单次前向传播中提取“工具使用倾向性”信号。在多工具环境下，模型的工具调用格式以一个特殊的 Token（ $t^\star$ ，例如 <tool_call>）开始，该 Token 被所有可用工具共享。查询 $q$ 的倾向性得分 $s(q)$ 定义为在第一个生成位置发射该 Token 的对数概率：
$s(q) = \log p_\theta(t^\star | x(q))$
该指标作为一个忠实的排名信号，无需实际生成即可反映真实的工具使用情况。

2. 方向提取（均值差法）

利用多工具环境（中性系统提示词，可用工具列表），作者执行以下步骤：

根据 $s(q)$ 对查询进行排序。
形成高倾向性集合（ $H$ ）和低倾向性集合（ $L$ ）。
计算每一层残差流 $\ell$ 的转向向量 $v_\ell$ ，即两个集合之间的均值差：
$v_\ell = \frac{1}{|H|} \sum_{q \in H} h_\ell(q) - \frac{1}{|L|} \sum_{q \in L} h_\ell(q)$
该向量捕捉的是一种通用的“调用倾向性”信号，而非特定于某种工具的信号，因为高倾向性集合包含了多种问题类型。

3. 推理时转向

在推理过程中，将提取的向量添加到特定解码器层 $\ell$ 的残差流中：
$h'_\ell = h_\ell + \alpha v_\ell$
其中 $\alpha$ 是标量转向系数。

$\alpha > 0$ ： 鼓励工具调用。
$\alpha < 0$ ： 抑制工具调用。
$\alpha = 0$ ： 恢复未修改的模型行为。
作者还测试了投影干预（钳制与消融），以验证对该方向的投影是否能因果性地控制决策。

核心贡献

识别出线性控制方向： 本文识别出了残差流中控制“是否”调用工具这一二元决策的单一线性方向。这实现了连续的、推理时的控制，无需重新训练或修改提示词。
知识选择性与工具泛化性：
- 知识选择性： 被诱导的调用集中在模型无法从参数化知识中回答的问题上（例如低流行度实体），而非模型已经掌握的问题。
- 工具泛化性： 从多工具环境下提取的方向，能够有效地转向那些并未出现在提取集中的工具（例如翻译、天气、SQL），其强度与专门为这些工具提取的向量相当。
决策解耦： 转向方向控制“是否”调用工具，而不会实质性地改变“选择哪个”工具。不同工具之间的路由分布保持了模型依赖性并基本得以保留。
成本-准确率帕累托前沿： 通过实时执行工具，改变转向强度可以描绘出一条平滑的帕累托前沿，允许操作者调节成本（调用次数）与准确率之间的权衡。

实验结果

该方法在五个模型（Qwen3 变体、Gemma-4、gpt-oss）上进行了评估，涵盖了稠密模型、混合专家模型（MoE）及多模态架构，并使用了 PopQA（开放域问答）、GSM8K（数学）和 BIG-Bench Hard（字符串/日期处理）等数据集。

单调控制： 将 $\alpha$ 从 $-2 $变化到$ +3$，在不同的工具环境（搜索、计算器、Python）下，工具调用率会单调地从接近 0% 移动到超过 90%（或某些模型的 100%）。
准确率提升： 在带有实时网络搜索的 PopQA 数据集上，转向操作将开放域问答的准确率从 0.29（基准）提升至约 1.1 次搜索/问题的 0.56。
跨模型泛化： 相同的提取和转向程序适用于所有测试模型，无论其基准倾向是使用不足还是过度使用工具。
层特异性： 转向效应在解码器层的中后段（例如 Qwen3-4B 的第 21–24 层）最为强烈且表现出最强的单调性。早期层几乎没有反应，而极晚层则表现出不稳定的行为。
投影干预： 钳制残差流在转向向量上的投影也会单调地增加工具使用，这证实了其中的因果联系，尽管加法转向提供了更广泛的控制范围。

重要性与主张

本文声称提供了一种轻量级、无需训练的机制，用于控制智能体的行为，解决了工具使用决策的“黑盒”性质。通过证明调用工具的决策编码在单个可转向的线性方向中，作者展示了：

智能体可以被调节以避免昂贵且不必要的调用，或者在不重新训练的情况下检索缺失的信息。
这种控制在多种模型架构和工具集之间具有鲁棒性。
该方法能够实现现实部署中成本与准确率权衡的动态优化。

作者指出了局限性：该方法控制的是“决策”本身，而非“执行质量”；对于侧重推理的模型，必须绕过推理阶段才能访问决策层；此外，过度的正向转向可能会破坏工具调用的格式。尽管如此，这项工作为智能体行为的推理时控制建立了一种新的范式。