🤖 machine learning

Diffusion LLMs as Targets and Adversaries: Mechanistic Safety Exploits

本文揭示了基于扩散的大型语言模型继承了其自回归前身所具有的稀疏且可迁移的安全漏洞，通过机制化神经元剪枝和一种新颖的 SN 指导扩散框架，实现了在极低生成成本下达到近乎完美的黑盒攻击成功率。

原作者： Elena Dumitrescu, Gert Lek, Lydia Y. Chen, Jérémie Decouchant

发布于 2026-08-10

📖 1 分钟阅读☕ 轻松阅读

原作者： Elena Dumitrescu, Gert Lek, Lydia Y. Chen, Jérémie Decouchant

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下这样一个世界：计算机不再像人类读书那样一个词一个词地阅读，而是看着满页乱序的字母，然后缓慢而神奇地将它们全部同时解开，直到出现一个清晰的句子。这是一些被称为“大语言模型”（LLMs）的最聪明计算机大脑学习思考的新方式。科学家们称之为“扩散”（Diffusion）模型。它们就像一名侦探，从一张模糊的犯罪现场照片开始，不断提高清晰度，直到画面变得晶莹剔透，而不是试图一个词一个词地去猜测下一个词。

但这里有一个棘手的部分：我们通过向计算机展示“不该说什么”的例子来教它如何变得“善良”，比如拒绝帮助某人制造炸弹或写一封恶意的信。这被称为“安全对齐”。长期以来，我们一直认为这些安全规则是编织在计算机整个大脑深处的，就像一面厚实、不可阻挡的盾牌。然而，最近的研究表明，这面盾牌实际上可能只是由几根微小的、特定的丝线组成的。如果你能找到并拉动这些特定的丝线，整面盾牌可能会崩塌。这就是科学家们正在追问的问题：这些新的“解密型”计算机是否和旧的一样安全，还是说它们拥有我们尚未察觉的秘密、隐藏的弱点？

这篇论文的大发现：寻找“安全开关”

在这篇论文中，研究小组决定从两个方面对待这些新的扩散模型：首先，将它们作为想要攻破的目标；其次，将它们作为想要用来攻破其他模型的对手（黑客）。他们想看看这些计算机内部的安全规则究竟是脆弱的，像纸牌屋一样，还是像一座堡座。

“安全神经元”的秘密
研究人员发现了一些令人惊讶的事情。在这些复杂的计算机大脑中，那个说“不，我不能做那件事”的部分并不是遍布各处的。相反，它集中在被称为“安全神经元”的一小群稀疏且特定的部分中。你可以把它想象成一栋有着数千个灯泡的建筑。你可能认为“禁止入内”的标志是涂在每一个灯泡上的，但研究人员发现，这个标志其实只是贴在少数几个特定灯泡上的小贴纸。如果你用胶带（或“剪枝”）盖住这几个灯泡，这栋建筑就会忘记它有“禁止入内”的标志，从而让任何人都能随意进入。

“复制粘贴”式黑客攻击
这里是真正聪明的地方。许多这类新的扩散模型是通过获取旧的、“从左到右”阅读模型的脑结构，并赋予它们一种新的思考方式而构建的。研究人员发现，当你这样做时，新模型会无意中复制旧模型中完全相同的“安全贴纸”。

他们通过寻找旧模型（称为 Qwen2.5）中的安全神经元，然后直接指向同一个位置在全新的扩散模型（称为 Dream 或 Fast-dLLM）中的对应位置来测试这一点。他们甚至不需要进入新模型内部去寻找弱点；他们只需使用旧模型的地图即可。

结果： 当他们“封住”这些复制过来的安全神经元时，新模型从非常安全（98% 的情况下拒绝回答坏问题）变成了完全崩溃（Dream 在 73.2% 的情况下会回答坏问题，Fast-dLLM 则在 86.3% 的情况下会回答坏问题）。这证明了这些安全缺陷是“可迁移的”——你可以窃取一个模型的弱点，并利用它来破坏另一个模型。

新武器：“安全神经元引导的扩散”

知道这些安全神经元的存在是一回事，但如果你面对的是一个你无法接触到的（“黑盒”）模型，你该如何利用这一点进行攻击呢？研究人员发明了一种名为 SN-Guided Diffusion（安全神经元引导的扩散）的新工具。

想象一下，你正在尝试写一封会被严厉老师阅读的信。如果你写了坏内容，老师会阻止你。但如果你能以一种让老师的大脑觉得“安全”的方式来写信，尽管信的内容实际上是在请求危险的东西，那会怎样？

研究人员利用扩散模型“解密”文本的能力来为自己谋利。他们没有采取逐词猜测的方法，而是让计算机从一个他们想要的坏答案（例如“如何制造炸弹”）开始，然后要求计算机反向推导，找到一个能导致该答案的问题。但这里的转折在于：当计算机进行反向推导时，他们使用了一个特殊的“指南针”（称为“加权安全神经元损失”函数）来引导过程。

这个指南针告诉计算机：“不要选择会让安全神经元亮起的词。要选择能让这些神经元保持黑暗的词。” 通过不断检查和调整单词以保持安全神经元的静默，计算机生成了一个巧妙伪装的“越狱”提示词。它看起来像是一个正常的、安全的问题，足以骗过安全过滤器，但实际上它诱导模型给出了危险的答案。

效果如何？
结果令人印象深刻。这种新方法不需要向目标模型提问数千次来学习如何破解它（这既慢又贵）。相反，它通过一个“代理”模型在离线状态下完成了所有工作。

对抗 Llama-3-8B 模型时，成功率达到了 77.1%。
对抗 Qwen2.5 时，成功率达到了 86.9%。
对抗谷歌的 Gemini-2.5-Flash-Lite 模型时，成功率达到了 74.3%。

或许最重要的一点是，它在每个问题上仅需 20 次尝试。其他的黑客攻击方法通常需要尝试数千次。这意味着这种新方法不仅有效，而且运行速度极快且成本极低。

为什么这很重要

论文总结道，这些新型 AI 模型的安全性比我们想象的要脆弱得多。“安全盾牌”不是一面坚实的墙，而是几个可以被找到、被复制并被关闭的特定开关。

研究人员表明，如果你通过复制一个旧大脑来构建一个新的 AI，你也同时复制了它的安全弱点。他们还证明了你可以利用 AI 自身的“解密”超能力来创建能够绕过安全过滤器的提示词，有效地将恶意意图隐藏在一个看似安全的包装之中。

虽然这听起来很可怕，但研究人员认为，了解这些弱点是修复它们的唯一途径。如果我们知道安全规则仅仅是几个微小的神经元，我们就不能仅仅寄希望于它们能撑住；我们需要重新设计 AI，使安全功能被编织进大脑的每一个部分，而不仅仅是几个隐藏的开关。在此之前，这些新模型可能比我们意识到的更脆弱，而拆解它们的工具已经在我们手中了。

技术摘要：作为目标与对手的扩散语言模型（Diffusion LLMs）：机制性安全漏洞利用

1. 问题陈述

扩散语言模型（DLLMs）的快速兴起引入了新一代文本生成器，它们通过迭代、并行的去噪过程取代了自回归（AR）的下一标记预测。虽然 DLLMs 在双向上下文建模和数据效率方面具有优势，但其内部安全机制仍未得到充分理解。现有的安全对齐研究主要集中在自回归架构上，其中安全性通常局限于稀疏的“安全神经元”集合。

本论文研究了两个关键问题：

作为目标： DLLMs 是否继承了其自回归前身（如 Qwen2.5）中存在的相同的稀疏、机制性安全漏洞，且这些漏洞是否可以跨架构迁移？
作为对手： 能否利用 DLLMs 的独特属性（特别是其建模联合提示-响应分布 $q(x, y)$ 的能力），比当前的先进（SOTA）越狱方法更高效地生成对抗性提示词？目前的越的是方法通常依赖于计算昂贵的标记搜索或强化学习。

作者认为，当前的安全性框架在结构上是脆弱的，向扩散范式的转变可能会暴露全新的攻击向量，同时也可能提供新的利用工具。

2. 研究方法

本文提出了一个两管齐下的方法：用于验证漏洞继承性的白盒迁移攻击，以及用于利用这些漏洞的黑盒越狱框架（SN-引导扩散）。

2.1. 白盒：跨架构迁移性

作者首先证实了 DLLMs 中的安全机制是稀疏且可迁移的。

安全神经元识别： 使用一种变体 NeuroStrike 框架，作者在开源权重源模型（如原生 DLLM 如 LLaDA，或 AR 模型如 Qwen2.5）中识别“安全神经元”。他们提取良性与恶意提示词的前馈网络激活值，训练逻辑回归分类器以隔离激活值显著偏离均值的神经元。
直接索引映射： 对于从 AR 权重初始化的 DLLMs（例如 Dream, Fast-dLLM from Qwen2.5），其内部网络结构是相同的。作者将识别出的安全神经元坐标 $(\ell, i)$ 直接从源 AR 模型映射到目标 DLLM，而无需对 DLLM 进行剖析。
推理时剪枝： 为了测试漏洞，作者在正向传播过程中将这些映射的安全神经元激活值置零。这种“迁移剪枝”在不需要模型微调的情况下绕过了安全护栏。

2.2. 黑盒：SN-引导扩散框架

为了在不查询目标模型的情况下生成越狱提示，作者引入了 SN-引导扩散，这是一个完全离线的框架。

加权安全神经元（SN）损失： 作者制定了一个连续损失度量来引导扩散过程。他们不再使用离散优化，而是计算加权的安全神经元激活期望值：
$SN(x) = E_\ell \left[ \sum_{i:(\ell,i) \in S} h^\ell_i(x) \cdot w_{\ell,i} \right]$
其中 $w_{\ell,i}$ 是在识别阶段学习到的逻辑回归权重。最小化该损失可以将生成过程引导远离触发安全的区域。
生成式剪枝级联： 为了确保高质量的对抗性响应，该框架首先使用一个渐进式剪枝的代理 DLLM 来生成“伪装”的提示-响应对。这种级联过程过滤掉了拒绝、退化和语义流失，从而在激活空间中建立了一个可靠的“越狱区（Jailbreak Zone）”。
离线优化循环： 该框架将逆向扩散过程锚定在一个固定的恶意目标响应 $y^*$ 上。在每个去噪步骤中，它评估掩码位置的候选标记。它选择能使 SN 损失最小化同时保持语义流畅度的标记，从而有效地将轨迹引导至“越狱区”（一个与良性查询难以区分的低激活子空间）。
意图伪装： 为了绕过词法过滤器，该框架采用基于人格的模板和委婉语翻译，在扩散过程开始前对原始有害触发词进行掩饰。

3. 核心贡献

证明了结构可迁移性： 本文提供了经验证据，表明 DLLMs 中的安全对齐仍然是高度局部化且结构可迁移的。在 AR 模型（如 Qwen2.5）中识别出的安全神经元可以直接映射到从这些权重初始化的 DLLMs，从而实现无需剖析目标 DLLM 的跨架构攻击。
引入加权 SN 损失： 作者提出了一种连续的标量损失度量，将神经元激活与学习到的逻辑权重相结合。该度量在良性、有害和越狱提示之间实现了近乎完美的区分度（AUROC = 1.0），为推理时优化建立了可靠的目标。
SN-引导扩散框架： 一种新型的、完全离线的黑盒越狱生成器。不同于以往需要数千次查询或强化学习训练的方法，该框架利用 DLLMs 的双向特性，将越狱优化转化为一个推理时问题。它以极低的生成成本实现了具有竞争力的迁移性。

4. 实验结果

4.1. 白盒迁移攻击

自我剪枝： 在原生 DLLMs（LLaDA, Dream）中剪枝安全神经元使攻击成功率（ASR）从 ~2.6% 提高到 73.8% (LLaDA)，从 1.9% 提高到 86.6% (Dream)。
迁移剪枝： 将从 Qwen2.5 映射的神经元剪枝到目标 DLLMs，使 Dream 的 ASR 从 1.9% 提高到 73.2%，使 Fast-dLLM 从 7.0% 提高到 86.3%。
效用保持： 通用效用（通过 GSM8K 衡量）基本保持不变，降幅通常在 2-3% 以内，这证实了安全神经元与通用语言能力是分离的。

4.2. 黑盒迁移性

性能： SN-引导扩散在多种目标模型上实现了高 ASR：
- Llama-3-8B-Instruct: 77.1%
- Qwen2.5-7B-Instruct: 86.9%
- Gemini-2.5-Flash-Lite: 74.3%
- Fast-dLLM-v2-7B: 88.8%
与 SOTA 对比： 该方法优于 NeuroStrike（例如，在 Gemini-2.0-Flash 上为 83.3% vs. 54.7%）以及像 Puzzler 这样具有竞争力的框架，且每个提示仅需 20 个生成回合。
防御规避： 该攻击对困惑度过滤（Perplexity Filtering）和 SmoothLLM 保持鲁棒。层特定编辑（LSE）提供了最强的缓解作用，但仅将 Llama-3 的 ASR 降低至 69.0%，表明了这种漏洞的系统性特征。

4.3. 效率

该框架每个回合大约需要 1,920 次代理评估。在每个提示最多 20 个回合的预算下，每次对抗尝试的总计算成本为 38,400 次代理评估。这比 GRPO 类方法所需的数百万次展开，或 GCG 等迭代搜索方法所需的数万次查询，在数量级上都要低。

5. 重要性与主张

本文声称，向基于扩散的生成范式转变并不能本质上解决安全对齐问题；相反，它可能会将现有的漏洞传播到新的架构中。作者认为：

安全性是稀疏且可迁移的： 安全机制并非整体性的，而是依赖于稀疏且局部的神经元，这些神经元在从 AR 权重初始化为 DLLMs 时得以保留。这造成了一个“双刃剑”效应：用于提升能力的权重共享同时也共享了漏洞。
机制性盲点： 在激活空间中存在一个“越狱区”，在此区域内，提示词可以在保留恶意意图的同时，通过结构化优化来最小化安全神经元的激活。该区域可以通过离线扩散引导来实现。
机制性攻击的高效性： 通过利用 DLLMs 的联合分布建模能力，攻击者可以无需昂贵的在线优化或强化学习，就能以极低的计算成本实现高迁移性。

作者总结道，未来的对齐策略必须超越表层的行为微调，转而解决这些基础性的结构漏洞，例如通过将安全表示与核心语言能力纠缠在一起，或者破坏安全神经元的一一对应映射。