💬 NLP

Abliteration Mitigation via Refusal Aliases

本文介绍了 AMRA，这是一种通过秩- $k$ 更新和激活混淆来掩盖拒绝方向，从而减轻“消融”（abliteration）攻击的权重编辑防御方法，该方法在显著提高 Llama-3-8B 和 Gemma-2-9B 拒绝保留能力的同时，对模型效用的影响极小。

原作者： Nathan Truong

发布于 2026-08-20

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Nathan Truong

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在人工智能飞速发展的世界里，大语言模型已成为能够进行推理、写作和解决复杂问题的强大工具。为了确保这些系统保持安全且有用，开发者训练它们拒绝可能导致伤害的请求，例如制造武器的指令或生成仇恨言论。这种安全训练通常被称为“对齐”（alignment），它教会模型识别危险话题并礼貌地拒绝。然而，研究人员发现了一个令人惊讶的漏洞：这种拒绝机制并非一个复杂的、隐藏的堡垒，而是模型内部运作中一个简单且可识别的模式。通过找到这个特定的模式——即模型数学空间中一个标志着“不要回答”的独特方向——攻击者可以从数学上将其抹除，从而通过几次简单的调整，有效地关闭模型的安全制动器。这个过程被称为“消融”（abliteration），它会让模型功能完好，但却失去了防护，能够产生其原本被设计为拒绝的有害内容。

一位研究人员现在提出了一种新方法来应对这种特定类型的攻击，其核心不是建造更坚固的墙，而是让目标变得无法被发现。他们的方法被称为“通过拒绝别名进行的消融缓解”（Abliteration Mitigation via Refusal Aliases），其原理是：如果攻击者无法定位安全信号，他们就无法将其移除。研究人员发现，这些模型的拒绝行为集中在网络的特定层中，即模型在传递信息之前处理信息的层。他们开发了一种技术，通过微妙地改变这些层的权重，有效地扰乱了安全信号。该方法不再让模型在遇到有害请求时产生清晰、一致的“不”，而是将这种特定的反应替换为随机的、低方差的噪声。对于模型自身的逻辑而言，这种噪声随后会被后续层修正，从而使模型在处理安全问题时能继续正常运行，但攻击者寻找的那种清晰、可提取的模式却消失了。

研究人员在两个流行的开源模型 Llama-3 和 Gemma-2 上测试了这种方法，以观察它是否能抵御用于剥离安全特征的标准技术。在实验中，他们首先对模型应用了这种模糊化技术，然后尝试进行常规的“消融”攻击。结果显示，该防御显著提高了模型维持拒绝能力的能力。对于 Llama-3 模型，在尝试攻击后，该防御将拒绝得分提高了 2.16 分，与未受保护的模型相比，这是一个实质性的提升。至关重要的是，这种安全性提升几乎没有损失模型的通用智能或回答无害问题的能力。研究人员测量了模型在标准知识和推理基准上的表现，发现其效用下降微乎其微，在一项主要的知识测试中下降不到半个百分点。

当应用于 Gemma-2 模型时，结果甚至更加显著，但也更为复杂。在这里，该防御在攻击尝试后将拒绝得分提高了 14.70 分，有效地缩小了受保护模型与完全安全的基准模型之间的差距。虽然攻击仍然在一定程度上降低了模型的拒绝行为，但这种模糊化处理使得攻击的效果远低于针对未受保护版本时的效果。然而，这种对 Gemma-2 更强的保护也带来了更高的代价。研究人员观察到，模型的数学解题能力和整体知识保留能力出现了更明显的下降。他们将此归因于保护 Gemma 架构所需的特定设置，这涉及对模型内部结构的更大幅度修改。尽管存在这种权衡，但该方法被证明是唯一成功加固模型以抵御定向攻击，同时保持有害输出率较低的测试方法。

这项工作的核心在于其对“提取过程”本身的关注。以往的防御措施往往试图强化拒绝信号，或在对话过程中引导模型远离有害输出。研究人员认为，这些方法之所以失败，是因为它们没有解决根本原因：即拒绝方向极易被发现和移除。通过将拒绝信号替换为一个随机的别名，并随后修补模型的下游部分以忽略该噪声，研究人员使安全机制对用于拆解它的工具变得不可见。这种方法旨在作为对模型权重的一次性修改，供开发者在向公众发布模型前应用。一旦权重被修改，模型既不需要额外的计算能力来维持其安全性，也不需要重新训练。

这项研究强调了安全与效用之间的关键平衡。虽然该方法成功阻碍了拒绝方向的提取，但它并非适用于所有模型架构的完美护盾。研究人员发现，防御的有效性在很大程度上取决于所保护模型的具体设计。对于某些模型，这种保护几乎是无缝的；而对于另一些模型，则需要一种折中方案，即模型必须在一定程度上牺牲复杂的推理能力以维持安全性。作者建议，未来的工作可以优化这些设置以减少对效用的影响，或者将这种模糊化方法与其他加强拒绝信号本身的方法相结合。最终，这项研究表明，通过遮蔽攻击者赖以生存的特征签名，可以使大语言模型在面对那些本可以剥夺其安全护栏的尝试时，表现出更强的韧性。

技术摘要：通过拒绝别名进行消融缓解 (AMRA)

问题陈述

大型语言模型（LLM）正越来越多地部署在医疗、金融和法律等高风险领域，这使得稳健的安全机制变得至关重要。虽然后训练对齐技术（如 RLHF）旨在约束模型以拒绝有害请求，但最近的研究发现了一个关键漏洞：消融（Abliteration）。

消融是一种白盒越狱方法，它利用了这样一个发现：LLM 中的拒绝行为是由残差流激活空间中的单个低维线性方向所介导的。攻击者可以通过对有害提示与良性提示进行均值差异分析来提取这个“拒绝向量”。一旦提取成功，他们可以将模型的权重矩阵投影为与该向量正交，从而在不进行额外训练的情况下，有效地移除模型的拒绝能力。现有的防御措施（如激活转向或电路级干预）通常无法解决根本问题：即提取拒绝方向的容易程度。

方法论

作者提出了 A-bliteration Mitigation via Refusal Aliases (AMRA)，这是一种后验权重编辑防御方法，旨在模糊化拒绝信号，而非仅仅强化它。该方法主要分为三个阶段：

1. 层选择与向量提取

作者首先识别出对拒绝方向具有因果相关性的 Transformer 层。他们通过计算有害提示与良性提示之间激活值的均值差异，为每一层计算出一个单位范数拒绝向量 ( $\hat{r}_l$ )。随后，他们通过消融这些向量来确定哪些层在移除后会对攻击成功率（ASR）产生显著影响，并将这些层组织成一个相关的集合 $\{L'\}$ 。

2. 激活模糊化（写入器更新）

为了阻碍拒绝向量的提取，AMRA 更新了所选层中的“写入器”（Writer）矩阵（ $W^l_O$ 和 $W^l_{out}$ ）。该方法不再允许这些矩阵输出诱发拒绝的具体激活模式，而是应用秩- $k$ 更新，将这些输出重写为随机的、低方差的“别名”向量。

机制： 通过对中心化后的有害与良性写入器输出进行主成分分析（PCA），作者识别出捕捉到了拒绝信号的前 $k_w$ 个主成分 ( $R$ )。
更新规则： 权重矩阵的更新方式为 $\tilde{W}^l = W^l + (A - R)^\top R W^l$ ，其中 $A$ 包含随机噪声向量。这确保了如果输入映射到由拒绝成分所张成的子空间，它将被重定向到一个随机的别名向量。

3. 下游修正（读取器更新）

模糊化写入器输出会产生“污染”的输入，这可能导致后续层无法正确解释随机别名作为拒绝信号。为了保持模型原始的拒绝行为，AMRA 对下游层的“读取器”（Reader）矩阵（例如 Query、Key、Value 以及 FFN 输入投影）进行修补。

机制： 该方法使用奇异值分解（SVD）构建一个修正矩阵 $M$ ，以最小化污染输入与原始干净输入之间的差异。
更新规则： 读取器权重通过 $W_{new} = W + WM$ 进行更新，有效地将污染输入在前 $k_r$ 个右奇异子空间中的输出重新引导回原始的干净激活状态。这在保持模型效用和拒绝逻辑的同时，维持了对拒绝向量本身的模糊化处理。

核心贡献

新颖的防御策略： AMRA 是首个明确针对拒绝方向的“可提取性”进行后验权重编辑的防御方法。它不是通过强化拒绝特征，而是通过模糊化信号来防止攻击者在第一时间隔离出该向量。
秩- $k$ 权重编辑： 该方法结合了对写入器矩阵（用于模糊化）和读取器矩阵（用于修正）的秩- $k$ 更新，允许进行永久性的、单次应用的修改，且在推理过程中不需要额外的计算开销。
针对性应用： 该工作专门为模型开发者设计，旨在发布权重之前对 LLM 进行安全加固，防止攻击者对原始、未经过模糊处理的模型应用消融攻击。

实验结果

作者在 Llama-3-8B 和 Gemma-2-9B 上对 AMRA 进行了评估，并将其与标准的定向消融攻击以及几种现有防御措施（Surgical, CAST, Circuit Breakers, AlphaSteer）进行了对比。

安全性能

Llama-3-8B： 相比于未防御的基准线，AMRA 将消融后的拒绝得分提高了 2.16 点（从 5.69 提升至 7.85），同时保持了极低的 HarmBench ASR (0.01)。
Gemma-2-9B： AMRA 比基准线实现了 14.70 点 的大幅提升（从 -16.01 提升至 -1.31）。虽然得分仍为负值，但与基准线相比，它显著降低了攻击的有效性。AMRA 是唯一能在 Gemma 上将 HarmBench ASR 保持在 0.02 以下、LlamaGuard 不安全率保持在 0.00 的同时，仍能显著提高拒绝鲁棒性的防御方法。
对比： 其他防御措施（如 Surgical 和 CAST）要么未能提高消融后的鲁棒性，要么严重降低了模型的原始拒绝能力。

效用保留

Llama-3-8B： AMRA 造成的效用下降极小。Pile Bits-Per-Byte (BPB) 仅增加了 0.0136，且 MMLU/GSM8K 分数下降微乎其微（分别为 0.35% 和 1.4%）。
Gemma-2-9B： 效用成本更为明显，Pile BPB 从 0.81 上升至 0.96，GSM8K 从 0.56 下降至 0.34。作者将其归因于 Gemma 需要更高的秩（ $k_w=4$ ），这引入了更多的残差流扰动。然而，在针对该架构的安全性与效用权衡方面，AMRA 仍优于 AlphaSteer。

意义与主张

论文声称，AMRA 证明了针对拒绝方向的可提取性进行处理是缓解权重空间越狱方法的有效且可行的方法。通过模糊化拒绝向量，该方法阻止了攻击者成功执行消融所需的正交投影。

作者强调，该方法是一种永久性的、单次应用的修改，适合模型开发者在发布前对模型进行加固。作者也承认了局限性，指出结果具有架构依赖性（在 Gemma 上效用成本较高），并且该防御可能无法抵御更复杂的非线性提取方法。然而，作者总结道，AMRA 在安全性与效用之间提供了稳健的平衡，特别是在 Llama-3-8B 上表现出色，并且在测试的方法中，它是针对 Gemma-2-9B 方向性消融最强的防御手段。