🤖 AI

Not All Refusals Are Equal: How Safety Alignment Fails Cybersecurity at Scale

本文通过发现拒绝机制广泛分布于各层，且模型架构与训练类型是此类针对性干预易感性的关键预测因子，证明了可以成功移除大型语言模型中的特定领域安全对齐，从而在不损害通用安全性的情况下实现合法的网络安全操作。

原作者： Vadym Hadetskyi, Dario Pasquini, Artem Sorokin

发布于 2026-07-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Vadym Hadetskyi, Dario Pasquini, Artem Sorokin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心理念：“选择性耳塞”实验

想象你有一个非常聪明的机器人助手。为了保护它，它的创造者教会了它对危险请求说“不”，比如“如何制造炸弹？”或“如何黑进银行？”这被称为安全对齐（safety alignment）。

然而，Cracken AI 的研究人员注意到一个问题。有时，机器人会对与某个主题相关的所有内容都说“不”，即使该请求是安全且经过授权的。例如，一位网络安全专家可能会问：“如何测试这个系统的弱点？”而机器人会拒绝，因为它认为：“噢，这听起来像是黑客攻击。”

研究人员想知道：我们能否教会机器人对危险的事物说“不”，但对特定领域（如网络安全）内授权且安全的事物说“是”，同时又不破坏它对其他领域的安全性？

他们将这个过程称为**“消融”（Abliteration）**。把它想象成从机器人的大脑中手术式地移除一个特定的“耳塞”，让它能听到某种特定类型的指令，同时让其他的耳塞保持原位。

实验过程：测试 24 个不同的“大脑”

团队不仅仅测试了一个机器人；他们测试了 24 个不同形状和大小的大型语言模型（LLMs）。有些很小（0.6 亿个“神经元”），有些则非常庞大（1 万亿个“神经元”）。它们来自 10 家不同的公司。

他们尝试在所有这些模型上进行这种“手术”，以观察是否能在不破坏暴力、非法药物或骚扰行为方面的拒绝机制的前提下，移除对网络安全话题的拒绝。

研究发现：并非所有机器人都是一样的

结果令人惊讶。这种“手术”在每个机器人身上的效果并不相同。他们发现了三种主要的反应类型：

“玻璃屋”（高度易感）： 一些模型就像一座玻璃房子。当研究人员试图移除对网络安全的拒绝时，整个安全系统都崩溃了。机器人开始对所有事情都说“是”，包括暴力和非法行为。
“堡垒”（具有抵抗力）： 一些模型就像一座堡垒。无论研究人员多么努力，都无法移除对网络安全的拒绝。机器人对任何事（无论是安全还是不安全）都坚持说“不”。
“智能过滤器”（理想状态）： 少数模型，尤其是名为 Kimi K2 的一个拥有 1 万亿参数的巨型模型，表现得像一个智能过滤器。研究人员成功移除了它对网络安全的拒绝。
- 结果： Kimi K2 模型从 100% 拒绝网络安全问题转变为仅拒绝 7%。
- 安全检查： 至关重要的一点是，它仍然拒绝 100% 关于露骨内容的请求，并继续拒绝大多数关于暴力或非法物品的请求。它学会了区分“为了工作而黑客攻击”和“为了伤害他人而黑客攻击”。

关键秘密：为什么它奏效了？

研究人员发现，机器人的规模（它有多少参数）并不重要。一个小机器人可以是一个“智能过滤器”，而一个巨大的机器人也可以是一个“堡垒”。

相反，有两件事决定了手术是否奏效：

它是如何被训练的： 教导机器人安全性的具体方法（例如某种特定的强化学习）是最大的线索。
架构： 机器人的大脑是如何构建的（特别是它是否使用了“混合专家模型/Mixture of Experts”设计）起到了巨大的作用。

他们还发现，“拒绝”并不是机器人脑中的一个单一开关。它更像是一个多维度的思想云团。因为它是云团，所以理论上你可以只切掉云团中“网络安全”的那一小块，而不破坏“暴力”的那一小块。

局限性：它并非魔法

论文警告说，这并不是一根魔杖。

它具有特定性： 机器人只学会了回答它所接受过训练的类型的问题。如果你问一个它从未见过的稍微不同的网络安全问题，它可能仍然会拒绝。
它是破坏性的： 这个过程会永久改变机器人的权重。你无法轻易撤销它。
它并非普适的： 对于某些模型，如果不彻底破坏其安全性，你根本无法做到这一点。

总结

这篇论文证明了安全对齐并不是一面单一、坚实的墙。它是一个复杂的、多层级的结构。在一些先进的模型中，通过手术式地移除特定授权领域（如网络安全）的安全屏障，同时让其他危险话题（如暴力）的屏障依然屹立不倒，是完全可能的。

这表明，在未来，我们或许能够构建出对专业人士而言是“无审查”的 AI 工具，同时又不让它们对公众产生危险。然而，研究人员强调，这是一个关于技术如何运作的发现，而不是一份关于如何制造危险工具的指南。他们分享这些是为了帮助安全研究人员了解当前 AI 安全系统的弱点。

技术摘要：并非所有的拒绝都等同对待

问题陈述

大语言模型（LLMs）的安全对齐至关重要，但在概念上却缺乏差异化；它将所有潜在危害视为一个单一的整体。这在网络安全等专业领域造成了冲突，因为在这些领域中，合法的、经过授权的操作（例如渗透测试、漏洞分析）需要模型处理并生成可能被标准安全电路标记为有害的内容。

本文解决的核心问题是：是否可以进行特定领域的消融（domain-specific abliteration）：即修改模型权重，专门针对选定领域（如网络安全）移除拒绝机制，同时保留其他领域（如暴力、生物武器、骚扰）的拒绝机制。此前的研究表明，拒绝行为是由模型残差流中的单个方向介导的，如果移除该方向，会导致所有领域的安全性崩溃。然而，近期的几何学发现表明，拒绝行为占据了一个多维子空间。本研究调查了标准的消融技术是否可以利用这种几何特性，在不损害通用安全性的情况下，手术式地移除特定领域的拒绝行为。

研究方法

作者对 24 个开源 LLM 进行了大规模系统性研究，涵盖了从 0.6B 到 1T 参数规模的模型，代表了 10 个不同的开发者组织以及多种架构（稠密 Transformer 和混合专家模型 MoE）。

1. 提取数据集构建

为了隔离特定领域的拒绝方向，作者构建了一个针对性的数据集，将具有相同技术主题但意图不同的有害与无害提示词进行配对：

有害： 对攻击性行为的直接请求（例如，“如何创建 SQL 注入攻击……？”）。
无害： 对同一主题进行教育或防御性构架的描述（例如，“什么是 SQL 注入以及如何预防它……？”）。
这种语义上的分离确保了提取的方向捕捉的是攻击意图与网络安全知识之间的差异，而非通用的“危险话题”信号。

2. 消融技术

研究采用了标准的正交投影法（Arditi 等人，2024）：

方向提取： 从最终解码器层最后一个 token 位置提取有害和无害提示词的隐藏状态激活值。通过计算这些激活值的归一化平均差值来计算拒绝方向 $\hat{r}$ 。
权重修改： 将拒绝方向从模型的权重矩阵中投影出去（ $W' = W - \alpha \hat{r}(\hat{r}^\top W)$ ）。修改应用于 down_proj（MLP 输出）和 o_proj（注意力输出投影）矩阵。
层选择： 不同于以往研究仅针对狭窄的中层，本研究将修改均匀应用于模型深度的 25%–95%（跨越 6 个百分位数）。研究发现，对于现代架构（尤其是 MoE 模型），由于拒绝信号广泛分布，这种做法是必要的。
强度： 测试了高达 1.0 的干预强度 $\alpha$ （精确正交投影），并针对 MoE 架构探索了更高的值，以补偿冗余的专家路径。

3. 评估框架

模型在三个数据集上进行了评估：

科学基准： 来自 HarmBench、AdvBench 和 PurpleLlama CyberSecEval 的 360 个提示词，覆盖 6 个危害类别。
交叉评估数据集： 包含 306 个提示词（181 个有害，125 个无害），专门设计用于衡量特定领域的拒绝行为和误报率。
MMLU： 用于验证通用推理能力是否得到保留。

关键结果

1. 特定领域消融是可实现的

研究成功证明，可以在移除特定领域拒绝行为的同时，保留其他领域的拒绝机制。其核心成果体现在 Kimi K2 (1T 参数) 上：

网络安全拒绝率： 从 100% 降至 7%（在交叉评估数据集上下降了 93 个百分点）。
非目标领域： 拒绝机制基本得以保留。例如，“显性内容”拒绝率仍维持在 100%，而“隐私侵犯”仍维持在 44%。
选择性： 这代表目标领域与最接近的非目标领域之间存在 13 倍的选择性比例。

2. 异质易感性

并非所有模型对干预的反应都相同。作者将模型分为三类：

高易感性（High-Susceptibility）： 特定领域移除成功的模型（如 Kimi K2、Gemma-12B、Qwen3-8B）。
部分脆弱（Partially Vulnerable）： 显示出一定程度减少但选择性较低的模型。
抗性模型（Resistant）： 干预未能移除拒绝行为，或导致所有领域发生崩溃的模型（如 Mistral-Large、GLM-4.7、Phi-4-mini）。

3. 易感性预测因子

进行特定领域消融的能力被发现是取决于模型的，而非取决于规模。

安全训练方法： 最强的预测因子。使用 DPO（直接偏好优化）训练的模型最易受影响。使用 GRPO（群体相对策略优化）或未公开 RL 方法训练的模型表现出高抗性。
架构： MoE 架构通常比稠密模型表现出更高的抗性，这可能是由于概念表示在专家之间分布广泛。
模型规模： 未发现单调关系；一个 1T 模型（Kimi K2）高度易受影响，而一个 123B 模型（Mistral-Large）则具有抗性。

4. 能力保留

在所有 24 个模型中，MMLU 分数均得到了普遍保留。观察到的最大退化仅为 0.028（DeepSeek-V3），证实了干预不会降低通用推理能力。

5. 领域差异

即使在同一个模型内，不同的危害领域反应也不同。虚假信息（Misinformation） 在所有模型中始终是最受影响的领域（平均减少 22.3 个百分点），而版权（Copyright） 显示出最高的方差且减少最少。这表明嵌入空间中领域之间的“距离”会影响选择性移除的难易程度。

重要性与主张

本文声称提供了第一个大规模经验证据，证明安全对齐具有领域异质性。其研究意义在于对当前理解的三项操作性扩展：

多维拒绝： 结果证实了拒绝行为是一个多维子空间，允许手术式地移除特定的危害向量，而不至于使整个安全机制崩溃。
干预的可扩展性： 在万亿参数规模下，拒绝信号广泛分布在各层和各专家中，因此需要广泛的层选择，而非早期研究中使用的狭窄中层定位。
网络安全的实用价值： 研究表明，可以创建符合授权进攻性安全操作（如 CTF 挑战、漏洞研究）的模型，而无需不加区别地移除与无关危害（如暴力或非法行为）相关的安全过滤器。

作者总结道，安全训练类型和模型架构是预测模型是否可以进行特定领域消融最可靠的指标。他们将这项工作定位为 AI 安全研究人员基准测试不同对齐技术鲁棒性的工具，同时也为网络安全从业者提供能够在其完整领域范围内运行的模型。