💬 NLP

Towards Understanding Steering Strength

本文提出了对大语言模型中转向强度（steering strength）的首次理论分析，推导出了支配其对模型行为产生非单调影响的精确规律，并在十一种不同的架构上通过实验验证了这些预测。

原作者： Magamed Taimeskhanov, Samuel Vaiter, Damien Garreau

发布于 2026-07-09

📖 1 分钟阅读☕ 轻松阅读

原作者： Magamed Taimeskhanov, Samuel Vaiter, Damien Garreau

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，将大型语言模型（LLM）视为一个超级聪明但有点调皮的机器人厨师。它已经学会了从训练数据中烹饪各种各样的菜肴，但有时它会不小心在食谱中加入“毒素”（有害或不想要的各种行为）。为了在不重新训练整个厨师的情况下修复这个问题，研究人员使用了一种叫做**激活转向（activation steering）**的技术。你可以把它想象成在机器人烹饪时，轻轻地在旁边推它一把，引导它的内在思维向“安全”或“诚实”的方向靠拢，远离“欺骗”或“伤害”。

核心问题在于：你应该推多用力？

如果推得太轻，机器人会忽略你，继续做那道坏菜。如果你推得太重，你可能会把机器人撞倒，从而毁掉整顿饭。作者 Magamed Taimeshanov、Samuel Vaiter 和 Damien Garreau 决定找出那个完美的力度，他们称之为转向强度（steering strength）（用希腊字母 $\alpha$ 表示）。

路上的“颠簸”

他们发现最令人惊讶的事情是，提高转向强度并不只是让机器人的行为线性变“好”。相反，它的表现就像是一个具有特定形状的过山车。

想象一下，你正试图让机器人说出“安全”的词汇。随着你慢慢增加推力 ( $\alpha$ )：

上升期： 起初，机器人说出安全词汇的概率会上升。太棒了！
巅峰期： 然后，它达到了一个甜点位。这就是这个“颠簸”。机器人正好说着你想要的话，而且剩下的对话仍然逻辑通顺。
下降期： 但是，如果你在达到这个巅峰后继续推，说出安全词汇的概率实际上会开始下降。机器人变得困惑，其回答的质量也随之崩溃。

论文通过数学证明，对于大多数词汇来说，这种“颠簸”行为是真实存在的。他们发现，“离题”词汇（即你试图避免的坏东西）达到峰值并开始消退的速度，比“目标”词汇（即好的东西）要快。这意味着存在一个特定的窗口期，此时机器人既专注于正确的主题，又尚未崩溃。

“S型曲线”（Sigmoid）

当他们观察宏观层面——即机器人产生一个完整概念（如“邪恶”或“喜悦”）而非仅仅是一个词的可能性时——他们发现了另一种形状：S型曲线（或 Sigmoid 曲线）。

可以把它想象成一个电灯开关，它并不是瞬间开启的。随着你增加转向强度，这个概念保持关闭状态，然后开始缓慢发光，最后完全亮起。论文显示，一个概念出现的概率遵循这种平滑的 S 型形状，这与其他研究人员在实验中观察到的情况一致。然而，他们也指出，如果你把强度推得太远，机器人会完全不再听从你的提示，而是开始无论你问什么都反复重复同样的几个词。

推力的代价

这里有一个陷阱：天下没有免费的午餐。

论文证明，无论你多么小心地选择转向强度，推力总是会让机器人在执行其原始任务（准确预测下一个词）方面变得稍差一些。他们使用了一个叫做**交叉熵（cross-entropy）**的指标（一种衡量模型对自己输出感到多么“惊讶”的方法）来测量这一点。

他们发现，在大约你没有进行任何推力（ $\alpha = 0$ ）的点附近，对模型性能造成的损害呈现出 U 型。

如果你推一点点，损害很小（看起来像一条平缓的曲线）。
如果你推很多，损害会变得非常严重。
至关重要的是，论文表明这种损害不仅仅是一条直线；在小幅推力下，它的增长是二次方的（类似于 $x^2$ ）。这意味着即使是微小的力量增加，也会比你预期的那样更快地损害性能。

他们排除了哪些可能性

作者非常谨慎地排除了一些常见的误解：

它不是一条直线： 他们明确展示了“更多的转向总是等于更多的期望行为”这一观点是错误的。超过某个点后，更多的转向反而会让期望的行为变得更不可能出现。
它不是魔法： 他们反驳了认为你可以随意挑选一个转向强度数值的观点。论文表明，“甜点位”取决于特定的提示词和模型，因此不存在“一劳永逸”的通用数字。
它不仅仅关乎目标： 他们展示了转向也会影响其他概念。如果你试图引导机器人变得“快乐”，你可能会不小心让它变得不太可能“悲伤”，但你也可能破坏它谈论“数学”或“编程”的能力，这取决于这些概念在机器人的大脑中是如何交织在一起的。

他们有多确定？

作者并没有仅仅靠猜测；他们构建了一个简化版的机器人数学模型（“无约束特征模型”），并通过严密的数学证明了这些行为。然后，他们在 11 个不同的现实世界语言模型上测试了他们的理论，涵盖了从极小的模型到像 GPT-2、Gemma 和 Qwen 这样庞大的模型。

他们发现，“颠簸”模式、S 型曲线以及对性能造成的 U 型损害，在所有这些不同的模型中都表现得高度一致。虽然他们承认其数学模型是对现实的一种简化，但由于真实的机器人表现得完全符合数学预测，这让他们对自己的发现充满信心。

总结

论文表明，对语言模型进行转向就像是在调收音机。如果你把旋钮转得太远，你得到的不是更清晰的信号，而是只有杂音。作者为任何试图控制这些模型的人提出了一个两步走的策略：

首先，找到“天花板”——即机器人开始崩溃或忽略你提示词的那个点。
第二，选择一个紧贴该天花板、且能提供最多“正面”行为并同时将对机器人通用智能的损害降至最低的强度。

他们并没有解决如何为每种具体情况找到完美数字的问题，但他们为我们绘制了一张地形图，让我们不再于黑暗中盲目摸索。

问题描述
大语言模型（LLMs）经常会继承训练数据中的有害行为模式，例如欺骗或造成伤害的倾向。一种流行的后训练控制方法——激活转向（activation steering）——试图通过识别模型潜在表示空间中与目标概念（如安全性）相关的方向，并在推理过程中沿该方向扰动残差流来缓解这一问题。虽然选择转向方向的方法论（例如均值差法）已趋于成熟，但转向强度超参数 $\alpha$ 的选择在很大程度上仍依赖于启发式经验。从业者面临着一个关键的权衡： $\alpha$ 过小无法诱发出期望的行为，而 $\alpha$ 过大则会导致模型性能退化到不可修复的程度。目前，对于 $\alpha$ 如何定量地影响下一个标记的概率、概念的存在感以及整体模型性能（交叉熵），仍缺乏理论层面的理解。

方法论
作者提出了一种针对转向强度的理论分析，使用了被称为“无约束特征模型”（Unconstrained Features Model, UFM）的简化且易于处理的模型，该模型改编自先前关于神经坍缩（neural collapse）的研究。该模型假设高层概念对应于词表中的不相交子集，并且模型已完美学习了训练数据的概率分布。

理论框架： 研究将转向向量 $v$ 定义为“正向”上下文（表现出目标概念）与“负向”上下文（缺乏该概念）嵌入之间的均值差。转向操作将上下文嵌入 $h_j$ 转换为 $h_j + \alpha v$ 。
解析推导： 作者推导出了三个关键量随 $\alpha$ $α$ 变化的精确定性规律：
- 下一个标记概率的增量 ( $\Delta p$ )： 特定标记概率的变化。
- 概念概率的增量 ( $\Delta p(C)$ )： 属于特定概念的标记所产生的聚合概率变化。
- 交叉熵的变化 ( $\Delta CE$ )： 模型性能相对于未转向状态的变化。
实证验证： 这些理论预测在十一个现代 LLM（涵盖从小型 GPT 架构到像 Gemma 3, Qwen 3 和 Llama 2 这样的模型）以及十二个不同的概念（包括涉及“邪恶”和“抑郁”等安全相关特质，以及“数学”等主题的概念）上得到了验证。实验使用了通过对比提示集或随机提示集构建的均值差转向向量，并在不同层对残差流进行转向。

核心贡献与结果

标记概率的非单调“凸起”行为： 与“转向仅仅是单调增加目标标记概率”的直觉相反，分析揭示了一种“凸起”行为。对于大多数标记，概率增量 $\Delta p(\alpha)$ 会在特定的 $\alpha$ 处达到峰值，然后下降。至关重要的是，非目标标记（即不属于目标概念的标记）比目标标记更早达到其概率峰值。这表明存在一个 $\alpha$ 的“甜点区”，在此区域内，目标概念被优先考虑，随后分布会坍缩到少数几个主导标记上。
概念概率的 S 型演变： 随着 $\alpha$ 的增加，输出中目标概念的概率遵循 S 型曲线（tanh 形状），这与实证观察一致。相反，那些不包含极端对数几率（log-odds）标记的非目标概念会趋向于回到其未转向时的数值，而那些具有统一较低对数几率的非目标概念则会单调下降。
局部二次性能退化： 本文提供了首个理论特征化证明，表明转向必然会导致全局性能退化。交叉熵增量 $\Delta CE(\alpha)$ 在 $\alpha = 0$ 附近呈局部 U 型，遵循由对数几率方差决定的二次趋势（ $\Delta CE \propto \alpha^2$ ）。这证实了任何转向都会引入失真。
大 $\alpha$ 极限： 对于带有归一化层的现代 Transformer，当 $|\alpha| \to \infty$ 时，转向后的 Logits 会收敛于归一化转向方向的解嵌入（unembedding），从而变得与输入提示无关。这解释了在高转向强度下观察到的交叉熵平台期以及输出多样性的坍缩现象。

意义
本文声称提供了首次针对转向强度的理论分析，超越了经验性的试错法。通过刻画对标记概率的非单调影响以及对交叉熵不可避免的二次成本，这项工作为选择 $\alpha$ 提供了原则性的依据。作者建议采用两步选择策略：首先，将搜索空间限制在 $[0, \alpha^\star]$ 内，其中 $\alpha^\star$ 是模型退化（提示词无关性）之前的阈值；其次，在该范围内校准 $\alpha$ ，以在保持交叉熵退化低于特定阈值的同时，最大化概念的存在感。该框架旨在使推理时的控制更加可靠、高效且可审计，尽管作者也承认，弥合其简化的理论假设与现实世界复杂混合概念上下文之间的差距仍是未来工作的挑战。

路上的“颠簸”

“S型曲线”（Sigmoid）

推力的代价

他们排除了哪些可能性

他们有多确定？

总结

类似论文