💬 NLP

Fine-Grained Activation Steering: Steering Less, Achieving More

本文介绍了 AUSteer，这是一种细粒度的激活转向方法，它通过识别并仅转向有益的原子单元（单个维度）而非粗粒度的块级激活，从而提高了大语言模型行为修改的效率和精度，进而以更少的干预实现了更优越的效果。

原作者： Zijian Feng, Tianjiao Li, Zixiao Zhu, Hanzhang Zhou, Junlang Qian, Li Zhang, Jia Jim Deryl Chua, Lee Onn Mak, Gee Wah Ng, Kezhi Mao

发布于 2026-02-05

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zijian Feng, Tianjiao Li, Zixiao Zhu, Hanzhang Zhou, Junlang Qian, Li Zhang, Jia Jim Deryl Chua, Lee Onn Mak, Gee Wah Ng, Kezhi Mao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，一个像大型语言模型（LLM）这样的系统，就像一支规模宏大、繁忙有序的管弦乐团。每当模型回答一个问题时，成千上万的音乐家（神经元）都会同时演奏他们的乐器。在过去，试图改变模型行为的研究人员会抓取整个小提琴声部或整个铜管声部，然后命令他们整体同时变大声或变小声。这就是论文中所称的**“块级转向”（Block-Level Steering）**。

这篇发表于 ICLR 2026 的论文指出，这种方法过于笨拙。仅仅因为小提琴声部在演奏，并不意味着每一位小提琴手都在演奏正确的音符。有些人正在演奏旋律（有益的），有些人正在演奏背景噪音（无关的），还有一些人实际上是在演奏错误的曲子（有害的）。当你告诉整个声部“大声点”时，你也会不小心放大那些错误，而不仅仅是美妙的音乐。

以下是该论文对解决方案的简单解释：

1. 问题所在：“块”太混乱了

研究人员发现，在这些模型的“块”内部，存在大量的异质性（heterogeneity）（即信号混杂）。

旧方法： 如果你想让模型变得更诚实，你可能会调整整个“注意力”（Attention）块。但这个块包含了数千个维度。有些维度有助于诚实，但另一些维度可能会让模型在撒谎时更加自信。通过调整整个块，你是在“低效地进行转向”，因为你在提升好部分的同时，也把坏的部分一并拖了进来。
类比： 想象一下，你试图通过切断整个社区的水源来修复房子里的漏水。你确实止住了漏水，但也让所有人都没有了水用。这是低效的，并且造成了不必要的损失。

2. 解决方案：“原子单元”（个体音乐家）

论文建议将管弦乐团分解到个体音乐家层面。他们称之为原子单元（Atomic Units, AUs）。

他们不再转向整个“小提琴声部”，而是观察某一位特定的音乐家（数据的单个特定维度）。
他们发现，有些个体音乐家非常擅长为特定任务演奏正确的音符，而另一些则表现得很糟糕。
洞察： 如果你只调整那些擅长该任务的特定音乐家，你会获得比尝试修复整个声部更好的性能。这是他们的核心口号：“少转向，多成就”（Steering Less, Achieving More）。

3. 方法论：AUSteer（聪明的指挥家）

为了实现这一点，他们创建了一种名为 AUSteer 的新方法。它就像一位非常聪明的指挥家，知道该要求哪些音乐家加大音量。它主要做了两件事：

第一步：寻找明星（定位/Localization）
该方法使用一种称为**“激活动量”（Activation Momentum）**的指标。想象模型正在回答一个问题，研究人员向它展示一个“好”答案和一个“坏”答案。他们观察个体音乐家（AUs），看谁在好答案下演奏得更响，而在坏答案下演奏得更轻。
- 如果一位音乐家总是在正确的答案下演奏正确的音符，他们就会被标记为“明星”。
- 如果一位音乐家演奏得随机或让答案变得更糟，他们就会被忽略。
- 这使他们能够从数千个中挑选出前 100 个最有帮助的“音乐家”，而不是试图控制所有音乐家。
第二步：调整音量（自适应转向/Adaptive Steering）
一旦知道要“修复”谁，他们就会调整“修复多少”。
- 他们不仅仅是增加一个恒定的音量增益。相反，他们根据音乐家已经在演奏的音量大小来缩放音量。如果一位音乐家演奏得已经很轻，他们会获得更大的增幅；如果已经很大声，增幅则较小。
- 他们还会给最重要的音乐家分配更多的“力量”，而给不太重要的音乐家分配较少的力量。

4. 结果：更少的噪音，更好的音乐

论文在多种不同的 AI 模型（如 LLaMA、Gemma 和 Qwen）以及各种任务（数学、推理和生成安全文本）上进行了测试。

结果： AUSteer 一致优于现有的最先进方法。
效率： 其他方法试图调整数千个维度（比如调大整个管弦乐团的音量），而 AUSteer 通常只调整不到 100 个特定维度。
证明： 通过转向更少的东西，他们反而取得了更好的结果。他们证明了试图控制一切往往会适得其反，因为你会不小心放大“噪音”（有害或无关的部分）。

总结

论文声称，引导 AI 的最佳方式不是对着整个群体大喊大叫，而是向少数几个真正有能力胜任工作的个体低声传达具体的指令。通过识别并仅调整最有帮助的“原子单元”并忽略其余部分，我们可以用更少的努力让 AI 变得更聪明、更安全、更准确。

核心要点： 你不需要移动整座山来改变景观；有时，仅仅移动几块特定的石头就足以改变河流的方向。

技术摘要：细粒度激活转向 (AUSteer)

1. 问题陈述

激活转向已成为一种无需额外训练即可修改大语言模型（LLM）行为的高性价比范式。然而，现有方法主要在**块级（block-level）**层面进行操作，即对多头注意力（MHA）、前馈网络（FFN）或残差流的捆绑激活进行干预。

作者指出这种方法存在一个关键缺陷：块级激活本质上是异质的（heterogeneous）。单个块激活向量包含数百或数千个维度，每个维度都对应一个独特的特征。其中一些维度控制有益的 Token 分布，而另一些则控制无关甚至有害的分布。因此，块级转向是：

过于粗糙： 它将整个块视为单一实体，阻碍了精确的目标定位。
效率低下： 它同时放大了有用和有害的信号，往往导致性能下降。
过度侵入： 它修改了许多不必要的维度，增加了干预足迹。

本文认为，“转向越少，效果越多”，即从块级干预转向细粒度的原子单元（Atomic Unit, AU）级干预。

2. 方法论：AUSteer

所提出的方法 AUSteer 将块激活分解为原子单元（AU）。一个 AU 被定义为块激活中的单个维度，对应于该块权重矩阵的一个特定列（切片）。对 AU 级激活进行转向，等同于对其关联的 AU 进行转向。

AUSteer 由两个主要部分组成：

A. 通过激活动量进行原子单元定位

为了在无需训练的情况下识别哪些 AU 与任务相关，作者提出了激活动量（activation momentum）。

对比样本： 该方法利用正样本（正确/高质量）和负样本（错误/低质量）对。
动量计算： 对于每个 AU $i$ 和样本对 $j$ ，激活动量 $m_i^j$ 计算为正样本上的激活（ $x_{i, pos}^j$ ）与负样本上的激活（ $x_{i, neg}^j$ ）之差。
$m_i^j = x_{i, pos}^j - x_{i, neg}^j$
判别评分： 该方法通过统计所有样本对中正向和负向动量的出现次数，来确定一个 AU 是否一致地促进或抑制期望的输出。判别得分 $s_i$ 定义为一致促进或抑制的最大比例：
$s_i = \max(r_{pos}^i, r_{neg}^i)$
其中 $r_{pos}^i$ 和 $r_{neg}^i$ 分别是动量为正或为负的样本对比例。
选择： 根据判别得分对 AUs 进行全局排序，并选择前 $k$ 个 AUs 进行干预。

B. 自适应转向

一旦定位了判别性 AUs，AUSteer 会应用自适应转向，以确保在不同输入和 AU 之间的鲁棒性。

输入自适应性： 该方法不是添加一个常数向量，而是缩放当前激活： $\hat{x}_i = x_i + \gamma_i x_i$ 。这在适应其幅度的同时，保留了原始激活的符号和方向。
AU 自适应性： 转向强度 $\gamma_i$ 是根据每个 AU 的判别能力量身定制的。
$\gamma_i = \begin{cases} \alpha \cdot r_{pos}^i & \text{若 } r_{pos}^i > r_{neg}^i \\ -\alpha \cdot r_{neg}^i & \text{否则} \end{cases}$
这里 $\alpha$ 是全局转向强度因子。对于具有更高判别能力的 AU，会应用更强的转向。

3. 核心贡献

异质性的理论与实证分析： 作者证明了块级激活是异质的，因为不同的 AU 控制着不同的输出 Token 分布。转向单个 AU 会使模型的输出向该 AU 特定的分布偏移，而块级转向则混合了有益和有害的分布。
AUSteer 框架： 一种通过激活动量定位判别性 AUs 并应用自适应、特定于输入的转向强度的创新方法。
高效与精准： 该方法通过干预极少量的激活（最多 100 个）实现了优于 SOTA 方法（后者需修改数千个）的性能。

4. 实验结果

AUSteer 在多种 LLM（LLaMA2-7B-Chat, Gemma2-9B-it, Qwen3-8B 以及更大规模变体）上针对三类任务进行了评估：

常识推理： BoolQ, COCO, WinoGrande。
数学问题求解： SVAMP, MAWPS。
开放式生成： 脱毒（RealToxicPrompts）和对齐（BPO）。

主要发现：

性能： AUSteer 在所有任务中均一致优于 SOTA 基准方法（ITI, CAA, SADI, STA）。例如，在 LLaMA2-7B-Chat 上，AUSteer-FFN 在推理/数学任务上的平均准确率达到 61.34%，超过了 SADI 的 59.49%，且转向的激活数量 $\le 100$ 个，而 SADI 则为数千个。
生成质量： 在开放式生成中，AUSteer 比 SADI 提升了 2–3% 的脱毒率，并将人类偏好行为的胜率提高了 4.5% 至 8.5%。
可扩展性： 该方法在更大规模的模型（高达 70B 参数）和多样化的架构（包括稀疏 MoE 模型）上依然有效。
消融实验： 去除激活动量定位或自适应转向会导致性能显著下降，证实了这两个组件的必要性。
效率： 与基准方法相比，AUSteer 具有更低的计算开销和更小的干预足迹，且推理时间与原生模型相当。

5. 意义与主张

本文声称，传统的块级干预范式受限于激活空间的异质性。通过将干预分解到原子单元（AU）级别，AUSteer 证明了选择性的、细粒度的转向比广泛的、粗糙的干预更有效。

其核心意义在于**“转向越少，效果越多”**的原则。作者表明：

块中的并非所有维度都有用；许多维度是中性的或有害的。
仅识别并转向最具判别性的 AUs（使用激活动量）可以获得更高的精准度。
基于输入和 AU 重要性的自适应缩放可以防止对有用信号的扭曲。

这项工作为为什么针对性干预优于全局干预提供了理论依据，并提供了一个无需训练的实用框架，显著降低了控制 LLM 行为所需的计算和干预足迹。