🤖 machine learning

Dynamically Scaled Activation Steering

本文介绍了一种动态缩放激活引导（Dynamically Scaled Activation Steering, DSAS），这是一种与方法无关的框架，它能够根据输入上下文自适应地调节激活干预的强度，旨在改善生成模型在毒性缓解与效用保持之间的权衡，同时引入极小的计算开销。

原作者： Alex Ferrando, Xavier Suau, Jordi Gonzàlez, Pau Rodriguez

发布于 2026-07-31

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Alex Ferrando, Xavier Suau, Jordi Gonzàlez, Pau Rodriguez

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一位指挥着一支由纯数学构成的庞大、无形的管弦乐团的指挥家。这个乐团是一个“生成模型”，一种可以编写故事、绘制图像或解决问题的计算机大脑。但就像所有的音乐家一样，它有时会奏出刺耳的杂音，或者更糟——奏出有害的音符。多年来，科学家们一直试图通过“引导”（steering）这些音乐来修复这个问题。把“引导”想象成指挥挥动指挥棒，告诉整个乐团声音小一点，或者避开某种特定的乐器。旧有的引导方法的问题在于它有点笨拙：它会让整个乐团都放轻声音，即使大家原本正在演奏一段优美且安全的旋律。这会让音乐听起来平淡乏味，即便大家并没有做错任何事。

你即将阅读的这篇论文介绍了一位全新的、超级聪明的指挥家——DSAS（动态缩放激活引导）。DSAS 不再是对着整个群体挥舞指挥棒，而是会倾听每一位音乐家个体。它只会在特定的音乐家即将奏出“有毒”或有害音符时，才告诉他们放轻一点，同时让其余的音乐家随心所欲地演奏。这就像是一个老师在只有一个学生说话时，不是对着全班大喊“安静！”，而是轻轻拍了拍那个学生的肩膀。这篇论文表明，通过这种精准的控制，我们可以在不破坏优秀内容的前提下阻止不良行为，使这些 AI 大脑在变得更安全、更有用的同时，不会变得更笨。

这篇论文的核心思想：AI 的“智能调光开关”

研究人员 Alex Ferrando de las Morenas 及其来自苹果公司和巴塞罗那自治大学的团队意识到，传统的“激活引导”（activation steering）方法过于粗放。在 AI 世界中，“激活引导”是一种技术，科学家通过微调模型的内部信号，将其推向期望的行为，例如变得礼貌或诚实。通常，他们应用一个“全局强度”（我们称之为音量旋钮，或 $\lambda$ ），对模型所做的所有事情进行调高或调低。

问题在于？如果你调高“礼貌”的音量，模型可能会变得过于礼貌以至于不再回答任何问题；或者如果你调高音量以停止“有毒”词汇，它可能会开始听起来像机器人一样，失去创造力。这篇论文认为，我们需要知道的是何时进行引导，而不只是如何进行引导。

于是有了 DSAS。作者提出了一个框架，它就像是为 AI 生成的每一个单词（或“token”）准备的一个智能调光开关。DSAS 没有使用全局旋钮，而是为 AI 大脑的每一层都配备了一个微小的、经过训练的“守门人”。这个守门人观察 AI 正在表达的语境，并询问：“这个特定的词是否可能具有毒性或有害？”

如果答案是否（AI 正在谈论晴朗的天气或数学问题），门就会保持开启，AI 的表达自然流畅。
如果答案是是（AI 即将生成侮辱性词汇或危险指令），门就会关闭，引导力量会强力介入以重定向那个特定的想法。

论文通过一个有趣且无害的例子展示了这一点：引导 AI 远离“香蕉（banana）”这个词。当 AI 被要求写一个关于猴子吃水果的故事时，DSAS 会检测到“香蕉”的概念，并施加强大的引导力来阻止它说出这个词。但当 AI 被要求写关于猫或汽车的故事时，DSAS 发现“香蕉”并不相关，因此它不对引导进行干预。结果如何？当应该避免“香蕉”概念时，AI 成功避开了它；但在谈论猫或汽车时，它并没有失去表达能力。

他们的发现：更好的平衡

团队在几种流行的 AI 模型（如 Qwen 和 Gemma）上测试了 DSAS，并将其与其他的引导方法进行了对比。他们衡量了两个维度：模型规避毒性（或“香蕉”概念）的能力，以及它保持通用智能（如回答常识问题或编写流畅句子）的能力。

结果非常明确：DSAS 持续改善了这种权衡关系。

在论文的图表中（这些图表看起来像展示最佳平衡点的山脉，被称为“帕累托前沿/Pareto front”），DSAS 的曲线始终比旧方法更高、更好。

对于毒性： 在试图阻止 AI 变得粗鲁时，DSAS 让模型在保持流畅度和回答复杂问题能力（通过 MMLU 等基准测试衡量）方面，比使用传统的“一刀切”式引导要好得多，同时也让模型更加安全，而不会听起来像坏掉的机器人。
对于图像： 他们甚至在图像生成器（绘制图片的模型）上尝试了这种方法。他们要求模型模糊掉香蕉的图像，但保持其他图像清晰。旧的方法会让所有图像都变得有些模糊。然而，DSAS 只会模糊那些确实包含香ло的图像，让汽车和风景的图片保持完美清晰。

论文还探索了一个名为 E2E-DSAS 的版本，其中“守门人”是在引导过程的同时进行训练的，而不是作为一个独立的步骤。这个版本展现出了潜力，有时甚至能达到或超过标准 DSAS 的表现，这表明该方法具有足够的灵活性，可以直接融入训练过程中。

它不是什么（以及它并未声称的内容）

了解这篇论文没有说什么也很重要。作者谨慎地指出，DSAS 并不是解决所有 AI 安全问题的万灵药。

它不是微调（fine-tuning）的替代品： 论文并未声称 DSAS 可以取代在优质数据上训练模型的需求。它是一个在现有模型之上使用的工具。
它并非完美的局部化： 在图像实验中，虽然 DSAS 在针对特定概念方面做得更好，但作者承认它并不总是能只模糊图片中的香蕉。有时模糊效果会扩散到背景中。它是一种“软”局部化，而非手术级的激光定位。
它依赖于数据： “守门人”需要一小组示例（例如 32 个有毒句子和 32 个安全句子）来学习识别目标。如果数据存在噪声或质量不佳，守门人可能会产生困惑，尽管论文显示，即使在这种情况下，DSAS 也倾向于安全地退回到标准引导模式，而不是破坏模型。

总结

这篇论文表明，控制 AI 的未来不在于为所有人调高安全性的音量。而在于成为一位聪明、专注的指挥家，知道何时对特定的乐器轻声说“嘘”，以及何时让音乐自由流淌。通过根据 AI 实际正在表达的内容来动态缩放引导强度，DSAS 提供了一种方法，让我们在不牺牲使 AI 有用的智能的前提下，使这些强大的工具变得更安全。作者展示了这种方法在文本和图像领域均有效，虽然这还不是一个完全解决的问题，但它是迈向“既懂规矩又不失个性”的 AI 的重要一步。

技术摘要：动态缩放激活引导 (DSAS)

问题陈述

激活引导（Activation steering）已成为一种强大的技术，通过操纵内部激活而非修改模型权重，来引导生成模型实现期望的行为（例如：缓解毒性、知识编辑）。然而，现有方法通常使用固定的全局强度参数 ( $\lambda$ ) 在所有输入上进行统一干预。这种无差别应用会降低模型在不需要引导的输入（如良性或无关内容）上的性能，从而在安全性/对齐与实用性/流畅性之间造成次优的权衡。

虽然存在条件引导方法来解决这一问题，但它们通常依赖于静态规则、二元触发器或提示词层面的启发式方法，缺乏精确度。此外，许多现有的自适应方法是为特定的引导家族（如 ITI 类方法）定制的，无法推广到分布式或端到端学习的引导方法。因此，需要一种通用的、与方法无关的框架，能够基于每个 token 或每个特征精确地调整引导强度，仅在检测到不良行为时进行强力干预。

方法论：动态缩放激活引导 (DSAS)

DSAS 是一个与引导机制无关（steering-agnostic）的框架，它将“何时”进行引导的决策与“如何”进行引导解耦。它能够跨层和跨输入自适应地调节任何现有引导变换 ( $T_\ell$ ) 的强度。

核心机制

对于每个受干预的层 $\ell$ 和 token $k$ ，DSAS 引入了一个门控函数 $h_\ell(t_{\ell,k}) \in [0, 1]$ ，用于在原始嵌入与引导后的嵌入之间进行插值：
$T^{DSAS}_\ell(t_{\ell,k}) = (1 - h_\ell(t_{\ell,k})) \cdot t_{\ell,k} + h_\ell(t_{\ell,k}) \cdot T_\ell(t_{\ell,k}; \lambda)$
这里， $h_\ell \approx 0$ 时保持嵌入不变，而 $h_\ell \approx 1$ 时则应用完整的干预。

训练门控

门控 $h_\ell$ 被训练为一个逐层的逻辑回归器，用于区分：

源集合 ( $S$ )： 表现出不良行为的样本（例如：有毒文本）。
控制集合 ( $C$ )： 相对于被修改行为呈中性的样本（例如：无毒文本）。

训练过程包括：

激活收集： 将输入从 $S$ 和 $C$ 推送到第 $\ell$ 层以获取平均嵌入。
降维： 对合并后的源激活和控制激活应用主成分分析 (PCA)，以减轻高维空间中的过拟合并减少训练时间。
分类： 训练一个逻辑回归器来预测一个嵌入属于源集合的概率。该概率即作为自适应强度系数。

端到端优化 (E2E-DSAS)

论文还引入了一种端到端变体 (E2E-DSAS)，其中门控参数与引导变换（特别是 LinEAS）进行联合优化。这涉及最小化源损失（将源分布推向目标分布），同时应用控制正则化项，以确保控制集的激活在干预前后保持相似。这使得门控可以直接通过反向传播进行学习，而无需静态的 PCA 投影。

核心贡献

框架提议： 提出了 DSAS，这是一个与方法无关的框架，它根据激活特征动态缩放干预强度，学习的是“何时”进行引导，而非应用固定策略。
改进的权衡： 证明了 DSAS 在多种大语言模型（Qwen 2.5, Gemma 2）和引导方法（CAA, ITI, LinEAS）上，改善了毒性缓解与能力保留（通过困惑度和 MMLU 准确度衡量）之间的帕累托前沿（Pareto front）。
优于基线方法： 实证证据表明，在保持模型效用并减少毒性的方面，DSAS 优于近期的条件引导方法（CAST, MERA, AlphaSteer）。
端到端集成： 将 DSAS 扩展到端到端框架 (E2E-DSAS)，实现了与引导函数的联合训练，并支持各种激活函数（如 ReLU, Sigmoid）。
跨模态泛化： 成功将 DSAS 应用于文本生成图像扩散模型 (DMD2)，展示了其能够在模糊特定概念相关图像（如香蕉）的同时，保留无关图像的生成。

实验结果

毒性缓解： 在 Qwen 2.5 (1.5B, 7B) 和 Gemma 2 (2B) 的实验中，DSAS 一致地移动了帕累托前沿，在相同的能力保留水平下，实现了比原生引导更低的毒性得分 (ToxTET)。例如，将 DSAS 与 LinEAS 结合使用，可以在不产生同等困惑度或 MMLU 准确度惩罚的情况下，显著降低毒性。
条件行为： 定性案例研究（引导远离“香蕉”）显示，DSAS 增强的方法能有效抑制相关提示词中的目标概念，同时使中性提示词基本不受影响，即使在使用较高的全局强度参数 ( $\lambda > 1$ ) 时也是如此。
扩散模型： 在文本生成图像实验中，CAA+DSAS 成功模糊了包含特定概念（如香蕉、手机）的图像，同时保持了非概念图像的清晰度，而原生的 CAA 则会无差别地模糊所有图像。
效率： DSAS 在推理时引入的计算开销极小（每个嵌入约 $2d_\ell + 2$ FLOPs），使其适用于实时生成。
鲁棒性： 该方法对噪声训练信号具有鲁棒性；如果分类器无法区分源集和控制集，DSAS 会自然地退回到安全状态（即使用降低强度的统一引导），而不会使性能低于基线。

重要性与主张

论文声称，DSAS 通过解决无差别干预这一关键局限性，代表了激活引导领域的重大进展。通过将干预的时机与引导的机制解耦，DSAS 实现了：

选择性对齐： 模型可以仅在必要时引导远离有害行为，从而保留其在良性输入上的原生流畅度和通用能力。
可解释性： 该方法能够精确指出哪些 token 或空间特征需要引导以及引导程度如何，为干预过程提供了透明的视图。
通用性： 与之前的自适应方法不同，DSAS 不受限于特定的引导算法或输入模态，使其适用于广泛的生成任务，包括文本生成和图像合成。

作者总结道，DSAS 为实现生成模型的更好对齐提供了一种实用的、低开销的解决方案，在无需大规模重新训练或修改权重的情况下，改善了安全性与效用之间的权衡。