🤖 machine learning

Refusal geometry reflects refusal training: diverse refusal prefixes can raise stable rank and weaken refusal vector ablation attacks

本文揭示了对齐语言模型中拒绝机制的低维且脆弱的本质源于训练过程中重复的拒绝前缀，并证明了采用多样化的拒绝前缀可以增加激活更新的稳定秩，从而增强拒绝机制抵御向量消融攻击的鲁棒性。

原作者： Andrey Labunets

发布于 2026-08-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Andrey Labunets

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

现代人工智能系统正变得日益强大，能够编写代码、诊断疾病并生成创意内容。随着这种能力的提升，也随之带来了重大的责任：确保这些机器不会学会生成有害指令，例如如何制造武器或制造危险的生物制剂。为了防止这种情况，开发者会对模型进行训练，使其能够识别不安全请求并礼貌地拒绝，这一过程被称为拒绝训练（refusal training）。然而，一个令人不安的漏洞出现了。研究人员发现，在许多先进模型中，这种拒绝行为并非一种复杂的、分布式的防御网络，而是模型内部思维空间中的一条单一且狭窄的路径。如果攻击者能够识别并阻断这条特定的路径，就可以诱骗模型忽略其安全规则并配合危险的请求。这种弱点表明，安全学习的方式本身可能正在创造一个单点故障。

加州大学圣迭戈分校的一位研究人员致力于理解为什么会形成这种脆弱的、单路径结构，以及是否可以使其更加稳健。他们专注于一种特定类型的 AI 模型，试图将拒绝行为的起源追溯到训练过程本身。他们的调查显示，拒绝机制的几何结构是模型学习如何说“不”的直接反映。具体而言，他们发现，当模型被训练去拒绝有害请求时，它对其内部状态所做的改变深受其用于开始拒绝的第一个词的影响。如果训练数据强制模型在每次拒绝时都以相同的短语开头，例如“我很抱歉”，模型的内部调整就会变得高度集中。这种集中性创造了一个低维结构，这意味着拒绝行为依赖于其内部空间中极少数的方向。由于这种行为如此集中，攻击者很容易找到那个单一的方向并将其中和，从而有效地实现对模型的“越狱”。

研究人员通过观察不同的训练模式如何影响模型的韧性来测试这一理论。他们观察到，当拒绝训练数据具有重复性，即模型学习在每次拒绝时都以相同的标记（token）开头时，生成的安全机制确实是脆弱的。内部变化如此聚焦，以至于移除单个向量就能完全禁用拒绝能力。然而，当他们向训练过程中引入多样性，要求模型从许多不同的词汇和短语句子开始学习拒绝时，结果发生了显著变化。通过迫使模型将其学习分布到更广泛的起始点上，内部变化变得更加分散。这增加了模型内部调整的有效秩（rank），使得拒绝机制不再依赖于任何单一方向。

为了验证这种多样性确实增强了模型，研究人员进行了受控实验，对不同拒绝多样性的数据集进行微调。他们发现了一个清晰的模式：使用多样化拒绝开头的模型在破解难度上显著更高。当遭受那种能轻易绕过重复性模型的攻击时，多样化模型能更有效地维持其拒绝行为。这种攻击是通过投影掉一个单一方向来起作用的，但它无法移除多样化模型的拒绝能力，因为安全信号现在是分布在许多方向上，而非集中在一个方向。研究人员使用了一个称为“稳定秩”（stable rank）的概念来衡量这一点，该概念本质上计算了描述模型行为需要多少个独立方向。他们发现，更高的多样性导致了更高的稳定秩，而更高的稳定秩与受到攻击时安全性能下降幅度较小直接相关。

研究还探讨了这些变化如何通过模型的各层进行传播。他们发现，在训练初期引入的多样性（以多样的首个标记形式）会影响模型直至其最深层的内部状态。早期层（即模型首先处理请求的地方）的变化会随着其在网络中的移动而被放大，从而在最终决策点产生一个更稳健的拒绝机制。这表明，安全数据的结构方式（在标记层面）对模型的整体安全架构具有深远且持久的影响。研究人员指出，虽然这种方法并不能保证免疫所有可能的攻击，但它提供了一个简单且有效的杠杆，可以增强模型抵御特定且危险类漏洞的能力。

这些发现为 AI 安全提供了一个全新的视角，将关注点从“模型学到了什么”转向了“它是如何被教导的”。研究表明，当前安全对齐的脆弱性并非技术的必然缺陷，而是重复性训练模式的结果。通过使模型学习拒绝的方式多样化，开发者可以创建出更加分布式、因此更难以被拆解的安全机制。这项工作为提高 AI 系统的鲁棒性提供了一种具体且可衡量的手段，表明通往更安全模型的路径可能在于改变拒绝词汇的简单行为。该研究总结道，理解训练数据与模型行为之间的几何关系，对于构建能够抵御那些试图滥用强大人工智能之徒的防御体系至关重要。

技术摘要：拒绝几何反映拒绝训练

问题陈述

随着 AI 模型获得双重用途能力（例如，漏洞生成、生物武器化协助），安全对齐变得至关重要。标准的对齐技术训练模型拒绝有害指令。然而，最近的研究发现了一个漏洞：在白盒设置下，已对齐语言模型的拒绝行为可以由单个激活方向或低维拒绝子空间来介导。消融该方向（从激活中移除其投影）可以有效地“破解”模型，在抑制拒绝行为的同时保留其他能力。

尽管这种现象普遍存在，但为何拒绝特征会在不同有害提示词下集中到如此低维结构的机制起源仍不明确。此外，目前尚不清楚这种脆弱性是模型架构的固有属性，还是特定训练动态的结果，以及是否可以缓解。

方法论

作者对 OLMo-2-0425-1B-Instruct 模型进行了案例研究，结合了分析推导与通过冻结模型分析和受控合成微调进行的实证验证。

分析框架

论文认为，拒绝残差（有害提示词与良性提示词之间的激活差异）的几何结构直接受拒绝训练过程梯度的塑造。

梯度-激活映射： 作者分析了拒绝补全（refusal completions）首个 token 的交叉熵损失。他们推导出，由这些损失引起的梯度诱导激活更新（ $G$ ）在几何上应与拒绝残差（ $\Delta H$ ）相对应。具体而言，他们假设拒绝子空间由这些梯度更新的符号反转仿射子空间近似。
稳定秩与集中性： 核心理论贡献是将拒绝机制的稳定秩（一种衡量有效维度的指标）与拒绝训练数据的多样性联系起来。
- 引理 3.1： 拒绝首个 token 的 one-hot 矩阵（ $E_r$ ）的稳定秩与任何单个 token 的最大频率成反比。如果所有拒绝都以相同的 token（例如，“I'm sorry”）开始，则稳定秩为 1。如果 token 是多样化的，稳定秩会增加。
- 传播： 作者定义了稳定秩传递因子来界定稳定秩如何在 Transformer 层之间传播。他们证明了在理想条件下，由 token 多样性驱动的最终层梯度的稳定秩会向早期层传播，从而可能放大拒绝机制的有效秩。

实验设置

模型： OLMo-2-0425-1B 及其检查点（Base, SFT, DPO, RLVR1, Instruct）。
数据集： AdvBench, WildJailbreak, XSTest，以及一个用于微调的受控 CAMEL 化学数据集。
攻击： 差值均值单向量消融（Difference-in-means single-vector ablation）。攻击者估计一个拒绝向量 $\rho = \mu_{harm} - \mu_{benign}$ ，并在运行时从激活中移除其投影。
指标： 拒绝率、有害率、拒绝增量（消融后速率的变化）、残差（ $\Delta H$ ）和梯度的（ $G$ ）稳定秩，以及子空间重叠度指标。

核心贡献与结果

1. 训练起源的几何结构

研究证实，拒绝训练梯度直接塑造了拒绝子空间。

对齐： 梯度诱导激活更新（ $G$ ）的均值与差值均值拒绝向量（ $\rho$ ）呈负相关，这与梯度下降使激活向损失梯度相反方向移动的逻辑一致。
子空间重叠： 中心化梯度更新（ $G_c$ ）与中心化拒绝残差（ $\Delta H_c$ ）的主方向（右奇异向量）表现出显著的重叠，尤其是在中间层和后期层。
秩的相关性： $G$ 和 $\Delta H$ 的稳定秩高度匹配，支持了“拒绝机制是训练更新直接结果”的假设。

2. 前缀集中与谱坍缩

论文指出，重复的拒绝开头（例如，所有拒绝都以“I”开头）是导致低秩拒绝表示的主要机制。

Token 多样性： 当拒绝补全共享相同的第一个 token 时，目标矩阵 $E_r$ 的稳定秩为 1。这种集中性会通过网络传播，导致低稳定秩的梯度和激活更新。
脆弱性： 低稳定秩意味着拒绝机制集中在一个有效的方向上，使其极易受到单向量消览攻击。

3. 拒绝多样性作为强化手段

通过受控实验，作者证明了增加拒绝首个 token 的多样性能提高拒绝机制的稳定秩并削弱消融攻击。

冻结模型分析： 通过在固定的有害提示词集上改变拒绝补全的首个 token，作者展示了增加不同首个 token 的数量（从 1 到 16）会增加拒绝残差（ $\Delta H$ ）和梯度更新（ $G$ ）的稳定秩。
消融抗性： 具有较高稳定秩的子集在消融后表现出较小的“拒绝增量”（即拒绝率的下降）。高秩残差子空间难以通过单个向量进行抑制。
受控微调： 作者在具有不同 token 多样性的拒绝补全配对的良性化学提示词上对模型进行微调。使用多样化拒绝开头的模型实现了相当的基准拒绝率，但与使用重复开头训练的模型相比，其在面对单向量消融攻击时的脆弱性显著降低。

4. 跨层稳定秩传递

研究引入了稳定秩传递因子来量化秩如何在层间变化。

放大效应： 在许多设置中，梯度的稳定秩在从最后一层向中间层反向传播时会放大（例如，从第 15 层到第 7 层约为 2 倍）。
共享映射： 作者定义了“top-k 源子空间共享映射”来近似梯度之间的跨层关系。这些映射成功重建了跨层关系的有效组成部分，验证了秩传播的理论界限。

意义与主张

论文声称填补了观察到的低维拒绝机制与创建它们的训练动态之间的空白。

机制解释： 该工作提供了一个机制性解释，说明为何拒绝行为会发生集中：这是由于训练更新的几何结构导致的，特别是由于安全数据集中重复的拒绝前缀所引起的梯度集中。
通过数据几何实现防御： 主要贡献在于识别了一个“强化杠杆”。作者认为，多样化的拒绝开头可以提高拒绝机制的稳定秩，从而在不一定需要改变架构或进行复杂对抗训练的情况下，提高抵御单向量消融攻击的能力。
局限性： 作者对其主张保持谨慎，指出：
- 仅靠拒绝多样性不太可能成为对所有越狱攻击（如多向量消融或其他攻击家族）的完全防御。
- 研究是针对特定模型家族（OLMo）和英文数据的案例研究。
- 研究结果描述了训练数据属性与鲁棒性之间的相关性，表明原则性的防御设计应考虑“拒绝训练更新的几何结构”。

总之，本文认为当前安全对齐的脆弱性并非架构的必然缺陷，而是训练数据集中的结果。通过使拒绝补全的 token 级属性多样化，可以增加拒绝机制的有效维度，从而提高单向量消融攻击的难度。