技术摘要：通过基于标题的激活转向控制工具使用

问题陈述

工具增强型大语言模型（LLMs）通过集成外部工具（如网络搜索、代码执行）扩展了其超越参数化知识的能力。然而，一个持久的失效模式是工具过度使用，即模型在内部推理足以应对时仍不必要地调用工具。这会导致延迟增加、成本上升以及潜在的错误传播。

现有的缓解策略通常需要昂贵的重新训练，或者在输出接口层面进行操作，未能解决模型内部激活中的潜在决策过程。一个根本性的挑战在于，与情感或事实性等在训练期间编码在模型权重中的概念不同，工具在推理时完全存在于上下文中。因此，来自线性表示假设和表示工程的标准假设（即概念具有稳定的参数化基础）并不直接适用。本文研究了尽管工具具有这种非参数性质，是否仍存在可以被提取和操纵的稳定内部表示。

方法论

作者提出了一种轻量级的推理时干预方法，称为基于标题的激活转向（Heading-Specific Activation Steering）。该方法依赖于结构化生成轨迹，模型使用显式的章节标题（标题锚点，Heading-Anchors）进行中间推理，例如 ### Reasoning（推理）、### Code（代码）、### Search（搜索）和 ### AskUser（询问用户）。

1. 转向向量构建

该方法通过分析对应于这些标题锚点的 token 位置的隐藏状态，来构建特定工具的转向向量。

• 数据收集： 作者收集了包含特定工具标题的有标签多轮轨迹。
• 状态提取： 从特定层 $l^*$ 在对应于 ### Reasoning 状态和目标工具标题状态（例如 ### Code）的领先 ### 锚点标记的 token 处的隐藏状态进行提取。
• 增量计算： 对于每个轨迹，计算一个转向增量，即推理锚点的平均隐藏状态与工具锚点的平均隐藏状态之间的差异：
  $$\Delta^{(l)}_{k,i} = \bar{h}^{(l)}_{R,i} - \bar{h}^{(l)}_{k,i}$$
• 向量聚合： 这些增量在多个轨迹中取平均值，以形成最终的转向向量 $v^{(l)}_k$。这种样本级平均法防止了对锚点出现频率较高的轨迹产生偏差。

2. 干预机制

提取的向量在推理过程中通过以下两种不同的机制应用于标题锚点形成步骤：

• 激活相加（抑制）： 将转向向量添加到隐藏状态中，使其远离工具调用的表示：
  $$\tilde{h}^{(l^*)}_t = h^{(l^*)}_t + \alpha v^{(l^*)}_k$$
  （其中 $\alpha=1$）。
• 正交化（放大）： 将隐藏状态投影为与转向向量正交，从而移除抑制成分以鼓励工具使用：
  $$\tilde{h}^{(l^*)}_t = h^{(l^*)}_t - \text{proj}_{v^{(l^*)}_k}(h^{(l^*)}_t)$$

关键结果

研究在三个领域（数学：参数化推理足以应对；时间：需要最新信息；意图：需要用户澄清）中评估了五个开源指令微调模型（Mistral-7B, Llama-3.1-8B, Mistral-Nemo, Mistral-Small, Llama-3.1-70B）。

1. 双向因果控制

• 抑制： 激活相加显著降低了工具调用率。在数学领域，工具使用被抑制到了接近零的水平（例如，Mistral-7B 从每提示词 3.90 次调用降至 0.56 次），且任务准确率仅有轻微下降，这表明该领域中的许多工具调用是冗余的。
• 放大： 正交化在所有模型和领域中一致地提高了工具使用率。然而，这种人为的增加并未提高任务性能，反而往往降低了准确率，这表明基座模型已经维持了一种部分的内部平衡，而移除抑制向量会导致过度使用。
• 领域特异性： 抑制在数学领域最为有效，但在时间（Time）和意图（Intention）领域效果下降，因为在这些领域中，外部检索或澄清是真正需要的。在这些领域中，抑制工具使用会导致显著的性能下降，证实了干预措施尊重了当参数化知识不足时工具的必要性。

2. 几何不规则性

与在参数化基础概念（如拒绝或真实性）中观察到的“清晰线性结构”相反，工具使用向量的几何分析显示出：

• 弥散的双峰对齐： 工具调用步骤相对于抑制向量表现出弥散的双峰余弦相似度分布，而非线性编码解释所预测的一致负向对齐。
• 低跨工具重叠： 不同类型的工具（Code, Search, AskUser）招募了截然不同的内部特征维度，且 Jaccard 重叠度较低（例如，三方重叠约为 0.04–0.06）。
• 可解码性与控制力的解耦： 在 Llama-3.1-70B 模型中，监督线性探针可以完美分离 ### Code 与 ### Reasoning 状态（AUROC 1.000），但该探针识别出的方向在因果抑制工具使用方面的效果远不如均值差向量。这表明，对于控制而言在因果上最有效的方向，在几何上与最线性可解码的方向是不同的。

3. 鲁棒性

研究发现干预对 Schema（模式）敏感，但并非仅取决于字面上的表面字符串。在进行跨格式迁移（Markdown 到 JSON）和标题重命名测试时，即使字面上不存在 "Code" 一词，抑制效果依然存在，尽管这种效果具有不对称性和依赖于 Schema 的特性。

重要性与主张

本文声称是首批将激活转向应用于在构建上明确属于非参数化行为的研究之一。其主要意义在于证明了：

1. 因果控制存在： 尽管工具在模型权重中缺乏参数化编码，但基于标题锚点的转向向量可以对工具调用行为施加双向因果控制。
2. 非参数化几何： 工具使用转向向量的几何属性与参数化基础概念（如情感或拒绝）有着本质的不同。观察到的几何不规则性（弥散对齐、低重叠）被假设为工具非参数性质的一个预测结果。
3. 实际效用： 该方法提供了一种无需参数、在推理时减轻工具过度使用的机制，特别是在参数化推理足以应对的领域，且无需承担重新训练的成本。

作者总结道，虽然转向的因果有效性是明确的，但这种有效性与观察到的几何不规则性之间的关系仍是一个开放性问题，可能与工具增强型轨迹的多轮依赖结构有关。