🤖 AI

HARC: Coupling Harmfulness and Refusal Directions for Robust Safety Alignment

本文介绍了 HARC，这是一种在提示词（prompt）和回复（response）位置上耦合有害性与拒绝方向的微调方法，旨在实现鲁棒的安全对齐，且不损害模型能力或增加过度拒绝。

原作者： Shei Pern Chua, Fangzhao Wu

发布于 2026-07-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Shei Pern Chua, Fangzhao Wu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是对论文 HARC: Coupling Harmfulness and Refusal Directions for Robust Safety Alignment 的解释，采用了简单的语言和富有创意的类比。

核心问题：“越狱”漏洞

想象一下，大型语言模型（LLM）就像一位非常聪明、受过良好训练的图书管理员。这位管理员被教导遵循一条严格的规则：“如果读者索要危险物品（比如如何制造炸弹），你必须说‘不’并离开。”

然而，坏人（越狱者）已经找到了欺骗这位管理员的方法。他们利用巧妙的文字游戏、角色扮演或代码来迷惑管理员。

诡计： 管理员可能会在对话的开始阶段感到困惑。他们可能会想：“哦，这听起来像是一堂历史课，”因此没有触发他们的“拒绝”警报。
结果： 管理员开始编写危险的答案。尽管他们正在编写一些糟糕的内容，但直到写到一半时，他们才意识到这一点。到那时，为时已晚；危险的内容已经在生成中了。

该论文指出，目前的安全性方法就像只在图书馆门口挂了一个“禁止入内”的牌子。如果骗子通过侧窗（通过在对话开始时迷惑管理员）溜了进来，这个牌子就起不到作用。

发现：两种不同的“大脑信号”

研究人员观察了这位管理员的大脑内部（计算机的内部数据），发现了令人着迷的现象。他们发现，管理员实际上拥有两个独立的心理信号来处理安全性：

“危险”信号： “这个话题是有害的。”
“拒绝”信号： “我必须说不。”

缺陷： 在一个正常的、安全的请求中，这两个信号会同时触发。但在成功的越狱攻击中，骗子设法关闭了“拒绝”信号，而“危险”信号仍在鸣响。

管理员看到了危险，却忘记了说“不”。
他们开始编写错误的答案。
惊喜之处： 甚至在编写错误答案的过程中，管理员的大脑仍然识别出了危险。即使在写作过程中，“危险”信号也会亮起，但“拒绝”信号却保持关闭状态。管理员知道自己在做错事，但因为开头的“停止”按钮被断开了，所以他们继续做下去了。

解决方案：HARC（“安全安全带”）

作者创建了一种名为 HARC（有害性与拒绝耦合）的新型训练方法。

可以将 HARC 想象成将“危险”信号和“拒绝”信号粘在一起，使它们永远无法分离。

使用 HARC 之前： 你可以在“危险”灯亮起时，把“拒绝”灯关掉。
使用 HARC 之后： 如果“危险”灯亮起，无论是在检测到危险的何时（无论是在对话开始时还是在写作过程中），“拒绝”灯都会自动随之亮起。

它是如何工作的：
HARC 并没有从头开始重新训练整个管理员（这会导致他们忘记如何写好故事或解决数学问题），而是进行了一次微小且精确的调整。它只触碰大脑中处理安全性的特定“电线”。这就像给汽车添加了一个小型的安全安全带：它不会改变引擎的运行方式或行驶速度，它只是确保如果汽车开始滚动，刹车会立即介入。

实验结果：更强的安全性，无智力损失

研究人员在多个不同的 AI 模型（如 Llama 和 Qwen）以及多种不同类型的陷阱（越狱攻击）上测试了它。

更好的防御： HARC 阻止了几乎所有的越狱尝试。它在阻止“骗子”方面比以往的方法表现得更好。
没有“过度拒绝”： 有时，安全性训练会让 AI 变得过于胆小，以至于不敢回答任何问题（例如，因为听起来“危险”而拒绝写一个关于反派的故事）。HARC 避免了这种情况。它只在真正必要时才拒绝。
保留了聪明才智： 因为 HARC 只微调了特定的安全电线，而没有动大脑的其他部分，所以 AI 并不会变“笨”。它编写代码、解决数学问题以及遵循指令的能力与之前一样出色。

为什么这很重要

这篇论文表明，AI 安全不仅仅是一个单一的“停止”按钮。它关乎理解 AI 模型拥有复杂的内部地图，其中“危险”和“拒绝”是可以分离的。通过重新耦合它们，我们可以构建出更难被欺骗的 AI，同时又不会降低其帮助性或智能水平。

简而言之： 论文发现，AI 之所以被骗，是因为它的“危险警报”和“停止按钮”断开了连接。HARC 通过重新布线将它们永久链接，确保只要 AI 看到危险，它就会立即停止，无论骗子试图如何迷惑它。

技术摘要：HARC —— 耦合有害性与拒绝方向以实现鲁棒的安全对齐

1. 问题陈述

尽管进行了对齐工作，大型语言模型（LLMs）仍然容易受到对抗性越狱攻击（例如：对抗性后缀、基于说服的重写、混淆）的影响。虽然先前的解释性研究表明，已对齐的 LLM 在提示侧（prompt-side）Token 位置的残差流中，将有害性（ $v_{harm}$ ）和拒绝（ $v_{ref}$ ）编码为可分离的线性方向，但解释特定越狱为何成功的内部机制仍不明确。此外，现有的安全干预措施通常会在鲁棒性、通用能力和过度拒绝（不必要地拒绝良性请求）之间产生权衡。核心问题在于模型对有害内容的识别与其履行拒绝承诺之间的脱节，攻击者正是利用这一点来绕过安全过滤器。

2. 方法论

2.1 内部表示分析

作者将先前的提示侧分析扩展到了响应 Token 位置（生成期间）。他们提取了四个不同的方向向量：

提示侧有害性 ( $v_{harm}$ ): 在最后一个指令 Token ( $t_{inst}$ ) 处提取。
提示侧拒绝 ( $v_{ref}$ ): 在指令后 Token ( $t_{post-inst}$ ) 处提取。
响应侧有害性 ( $v^{resp}_{harm}$ ): 从前 32 个响应 Token 的平均池化残差中提取。
响应侧拒绝 ( $v^{resp}_{ref}$ ): 同样从响应 Token 中提取。

关于表示的关键发现：

解耦： 在模型的后期层中， $v_{harm}$ 和 $v_{ref}$ 趋于近乎正交。这使得模型可以在激活其中一个概念而不激活另一个概念的情况下运行。
攻击机制： 成功的越狱通过在提示编码期间抑制特定方向来利用这种解耦：
- DAN (人格设定): 抑制 $v_{ref}$ 同时保持 $v_{harm}$ 活跃。
- PAIR (语义重写): 抑制 $v_{harm}$ （使其变为负值）同时保持 $v_{ref}$ 活跃。
- CodeAttack (混淆): 同时抑制这两个方向，使其与良性提示聚类。
识别的持续性： 至关重要的是，即使提示侧的拒绝失败了（例如在 DAN 或 PAIR 攻击中），模型在生成过程中往往仍会重新识别出有害内容（ $v^{resp}_{harm}$ 被激活）。然而，这种识别由于来得太晚，无法改变生成轨迹，因为提示侧的拒绝信号在此时已被抑制。

2.2 HARC: 有害性与拒绝的耦合

受“即便拒绝被抑制，有害性识别依然存在”这一发现的启发，作者提出了 HARC，一种使用低秩自适应（LoRA）的微调方法。

核心机制：
HARC 在提示和响应两个位置耦合有害性和拒绝方向。其目标是确保沿着任一方向的激活都能可靠地触发拒绝，从而防止攻击者通过抑制其中一个方向而使另一个方向保持活跃。

损失函数：
总损失 ( $L_{total}$ ) 结合了四个项：

提示侧耦合 ( $L^{prompt}_{couple}$ ): 在提示边界处，对 $v_{harm}$ 和 $v_{ref}$ 的余弦投影应用加性边际合页损失（additive margin hinge loss）。它强制要求在有害输入上，两个方向都必须激活（投影 $\ge m$ ）。
响应侧耦合 ( $L^{response}_{couple}$ ): 类似的合页损失应用于前 32 个响应 Token 的平均池化残差，用于耦合 $v^{resp}_{harm}$ 和 $v^{resp}_{ref}$ 。
KL 散度 ( $L_{kl}$ ): 将经过 LoRA 微调的模型锚定在良性输入上的基座分布上，以保留通用能力并防止过度拒绝。
交叉熵 ( $L_{ce}$ ): 在有害输入上监督显式的拒绝文本。

训练动态：

层选择： 该方法针对四个方向结构最清晰的层进行处理（即提示侧和响应侧的方向是解耦的，但相同概念的跨位置对是齐的）。通过评分函数选择前 $K$ 层，并在前 1,000 步中将 $K$ 从 2 增加到 4。
方向重计算： 每 200 步，从当前的 LoRA 适配模型中重新提取方向向量，并通过指数移动平均（EMA）进行混合，以适应不断变化的残差几何结构。

3. 主要贡献

响应侧表示的发现： 本文证明了有害性和拒绝在响应 Token 位置也是截然不同的概念，而不仅仅是在提示位置。研究表明，即使提示侧的拒绝被绕过，模型在生成过程中仍能识别出有害内容，揭示了一种“延迟触发”的安全信号。
越狱机制分析： 作者通过描述不同攻击类别（DAN、PAIR、CodeAttack）如何在提示编码期间通过抑制特定方向，占据有害性-拒绝平面上的可分离区域。
HARC 方法： 一种在提示和响应位置耦合有害性和拒绝方向的表示级微调方法。与更广泛的安全干预不同，HARC 将其干预限制在一个二维子空间内，使残差流的其他部分保持不变。

4. 实验结果

该方法在 LLAMA-3.1-8B/70B 和 QWEN-2.5-7B/72B 上针对六个基线模型（SFT、DPO、Circuit Breakers、RepBend、CAST 和 Base）进行了评估。

鲁棒性： HARC 显著降低了攻击成功率（ASR）。
- 在 LLAMA-3.1-8B 上，HARC 比基座模型降低了 4.67 倍 的 ASR。
- 在 QWEN-2.5-7B 上，它降低了 4.75 倍 的 ASR。
- 它在所有基线中实现了最强的鲁棒性，包括“Ours+DPO”配置，该配置在 8B 模型上对 PAIR、PAP 和 DeepInception 的 ASR 接近于零。
能力与过度拒绝：
- HARC 基本保持了原有的通用能力（MMLU、GSM8K、HumanEval、IFEval、MT-Bench）未发生变化。
- 它最大限度地减少了过度拒绝（拒绝良性提示），实现的速率与基座模型相当甚至更低（例如 Llama-8B 在 XSTest 上的速率为 0.035），优于会导致大规模过度拒绝的 RepBend 等方法。
可扩展性： 该方法可以迁移到更大的模型（70B/72B），无需针对特定架构进行调优，同时保持鲁棒性和能力。
局限性： CodeAttack 仍然是最具韧性的攻击，因为它在提示边界处同时抑制了两个方向，为耦合损失放大信号提供了极少的空间。此外，如果攻击者拥有权重访问权限，HARC 容易受到对抗性微调的影响，在约 160 个有害样本后就会失效。

5. 意义与主张

本文声称 HARC 在当前的安全性方法中实现了最强的鲁棒性-能力-可用性权衡。通过在提示和响应位置耦合有害性和拒绝，该方法解决了越狱在生成开始前便抑制拒绝信号的特定漏洞。

作者强调，四方向结构（提示侧/响应侧的有害/拒绝）是已对齐 LLM 的属性而非架构人工产物，因为它在五个不同的模型家族中均有体现。他们认为，由于干预严格限定在一个目标性的低维子空间内，因此避免了广泛微调方法中常见的“对齐税”（能力下降）和过度拒绝问题。

论文总结道，虽然 HARC 显著提高了针对静态越狱的鲁棒性，但响应侧的观察表明，即使在合规生成期间，有害性识别依然存在，这提供了一个新的安全对齐信号。然而，作者也谦虚地指出，该方法假设基座模型已经具备可用的有害性信号，并且并未针对专门旨在攻击耦合方向的自适应攻击进行评估。