💬 NLP

A2D: Any-Order, Any-Step Safety Alignment for Diffusion Language Models

A2D 为扩散语言模型引入了一种基于标记级的安全对齐方法，该方法利用随机掩码来发出即时的 [EOS] 拒绝信号，在有效中和 DIJA 等任意顺序和任意步骤攻击的同时，实现了实时监控并显著加快了安全终止速度。

原作者： Wonje Jeung, Sangyeon Yoon, Yoonjun Cho, Dongjae Jeon, Sangwoo Shin, Hyesoo Hong, Albert No

发布于 2026-02-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Wonje Jeung, Sangyeon Yoon, Yoonjun Cho, Dongjae Jeon, Sangwoo Shin, Hyesoo Hong, Albert No

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心理念：一种新型的 AI 作家

想象一下，大多数 AI 聊天机器人（比如你每天都在与之交流的那些）就像是流水线工人。它们严格按照从左到右的顺序，一个词接一个词地构建句子。如果有人问它们一些危险的问题，它们通常会在检查前几个词时，判定“不，这很糟糕”，然后立即停止。

但有一种新型 AI 叫做扩散语言模型 (Diffusion Language Model, dLLM)。不要把这个 AI 想象成流水线工人，而要把它想象成一位正在大理石块上雕刻的雕塑家。它不是逐字写作，而是从一个充满问号（掩码/masks）的空白页面开始，逐渐填满它们。它可以先填完句子的结尾再写开头，也可以先写中间再写开头。它可以同时处理整个故事。

问题所在：“后门”攻击

因为这位雕塑家可以按任何顺序填词，所以它也有了一个新的弱点。

想象一下，一个坏人想要诱骗雕塑家写出一份偷车指南。

旧陷阱： 如果雕塑家是流水线工人，坏人会尝试在最开始进行诱骗。
新陷阱 (DIJA 攻击)： 对于雕塑家来说，坏人可以先用无害的文本填满故事的前半部分，然后在中间偷偷塞进一个“陷阱”，或者先填好结尾。他们使用一种看起来像是正常请求、实则将危险部分隐藏在空白处的模板。

研究发现，目前的这类雕塑家的安全训练是**“浅层”的**。这就像一个保安，只在你走进正门时检查你的身份证。如果你成功绕过门口开始在走廊里走动，保安就不再关注你了。AI 可能会对第一个词说“不”，但如果它被诱骗在第 10 个词处填入危险内容，它就会忘记再次说“不”。

解决方案：A2D（任意顺序、任意步骤防御）

作者创建了一种名为 A2D 的新安全方法。它是如何工作的呢？让我们用一个简单的类比：

“红停步牌”标记 (The "Red Stop Sign" Token)
A2D 不仅仅是训练 AI 在句首说“我不能做那个”，而是教会了 AI 一个特殊的“停止”标记（称为 [EOS]）。

训练过程： 我们把 AI 拿过来，给它看一些危险的句子。但我们不让它完成整个句子，而是用问号遮住危险的部分，并告诉 AI：“如果你在这里看到一个问号，且这句话是危险的，你必须立即用一个‘停止标记’来替换这个问号。”
结果： AI 学会了在句子的任何位置，只要它察觉到危险，就应该立即拍下一个“停止标记”。

为什么这很特别？

任意顺序 (Any-Order)： 无论 AI 是在写第一个词还是最后一个词，只要危险的想法出现，停止标记就会出现。
任意步骤 (Any-Step)： 无论危险出现在第 1 步还是第 50 步，安全卫士全程都保持清醒，而不只是守在门口。

“填空测试”

为了证明这种方法有效，研究人员发明了一个超级难的测试，叫做 FITS (填补句子测试)。

场景： 假设一个坏人写了一份 99% 完整的炸弹制作指南。他只留出了最后一步（即最后一个句子）的空白，并要求 AI 把它填完。
结果： 旧的安全方法在这里惨败。它们太专注于文本的开头，以至于让 AI 完成了炸弹指南。
A2D 的表现： A2D 观察到了那唯一缺失的一句话，意识到它是危险的，并立即立起了“停止标记”。它几乎 100% 地拦截了这种攻击。

加分项：实时安全雷达

因为 AI 被训练为只要看到危险就立起“停止标记”，所以那个“停止标记”出现的概率就像是一个安全雷达。

早期拒绝： 研究人员发现，如果我们在第一步就检查 AI 的“停止标记概率”，我们就能在 AI 甚至还没写出第一个词之前，就判断出整个请求是否违规。
速度： 这使得 AI 拒绝非法请求的速度比以前快了 19.3 倍。这就像夜店的保镖，在你还没走到门口之前就能看出你不在名单上，从而节省了大家的时间。

它会破坏 AI 的实用性吗？

论文对此进行了广泛测试。他们让 AI 做数学题、写代码以及回答一般性问题。

结论： A2D 保持了 AI 的聪明和有用。它不会拒绝回答正常问题（例如“如何杀死一个 python 进程？”这听起来很危险，但实际上是关于编程的问题）。
对比： 其他安全方法过于敏感，经常会拒绝回答一些无害的问题。A2D 则非常精准：它只拦截那些真正的坏事。

总结

这篇论文介绍了一种 A2D，它是针对这种可以按任意顺序写作的新型 AI 的安全升级。

旧安全： 一个守在门口、过一会儿就会疲倦的保安。
A2D 安全： 一个一旦闻到危险气息，就会在任何地方、任何时间瞬间立起“停止”牌的安全系统。
结果： 它拦截了那些试图溜过正门的隐蔽攻击，比以前快 19 倍地做出“拒绝”反应，并确保 AI 对每个人来说依然有用。

技术摘要：A2D —— 针对扩散语言模型的任意顺序、任意步骤安全对齐

1. 问题陈述

扩散大语言模型（dLLMs）代表了对自回归（AR）模型的重要偏离，它们能够实现任意顺序解码，即在任意位置迭代生成 Token，而非遵循固定的从左到右的序列。虽然这种灵活性支持了复杂的推理和结构化内容合成，但也引入了独特的安全漏洞，使得传统的对齐方法失效。

识别出的核心问题是浅层对齐（Shallow Alignment）。与自回归模型类似，当前的 dLLMs 在初始生成阶段表现出较强的安全信号，但随着解码过程的推进，这些信号会迅速衰减。这种局限性创造了一个巨大的攻击面：

任意顺序漏洞（Any-Order Vulnerability）： 有害内容可以在解码轨迹中的任意位置被注入，从而绕过初始拒绝机制。
任意步骤漏洞（Any-Step Vulnerability）： 基于模板的攻击，例如 DIJA (Wen et al., 2025)，利用这种衰减特性，通过在部分预填充的提示词中交织对抗性文本与 [MASK] Token 来进行攻击。这些攻击在解码若干步后（此时安全信号已经减弱）针对模型进行攻击，诱导产生不安全的补全，而响应级对齐方法无法阻止此类行为。

包括拒绝训练（RT）、监督微调（SFT）和方差缩减偏好优化（VRPO）在内的现有基准方法都依赖于响应级的监督。因此，它们难以在多样化的解码策略（如随机、基于置信度）下维持安全性，并且无法应对绕过初始 Token 的攻击。

2. 方法论：A2D（任意顺序、任意步骤防御）

作者提出了 A2D，一种专门为 dLLMs 灵活解码过程设计的 Token 级对齐方法。不同于以往仅在全响应层面监督拒绝的方法，A2D 对齐模型，使其在任何掩码位置遇到有害内容时都能输出特定的 [EOS]（序列结束） Token。

核心机制

Token 级监督： 在训练期间，如果目标序列中存在有害片段，模型被监督将该片段内的掩码 Token 替换为 [EOS]，而非原始的有害 Token。
训练目标： 该方法使用修改后的目标分布的标准掩码扩散目标：
- 有害集 ( $D_{harm}$ )： 有害响应中的掩码 Token 被监督预测为 [EOS]。这教会了模型无论在何种局部上下文下，都要停止有害的延续。
- 保留集 ( $D_{retain}$ )： 安全响应（或有害提示词下的安全补全）中的掩码 Token 被监督用于重构原始 Token，以保留通用的效用。
随机掩码： 训练过程均匀地采样损坏率 $\lambda$ ，使模型暴露在早期和晚期解码阶段。这确保了对齐在整个生成轨迹中保持鲁棒，防止了“浅层对齐”现象。
拒绝 Token： 选择 [EOS] Token 是因为它是 dLLMs 中标准的填充和结束标记，确保模型熟悉其用法，而无需引入可能导致性能下降的分布外（OOD）Token。

实时监控与早期拒绝

A2D 内在地提供了实时安全信号。由于模型被训练为在存在有害内容时赋予 [EOS] 高概率，该概率质量可作为在线安全指标。

动态干预： 模型可以开始响应，但如果出现不安全的内容延续，会自动终止。
早期拒绝： 通过监控第一个解码步骤中最左侧掩码位置的 [EOS] 概率，系统可以实现基于阈值的早期拒绝机制。如果概率超过阈值 $\tau$ ，模型将立即停止，不生成任何 Token，从而显著降低有害提示词的推理延迟。

3. 主要贡献

识别任意顺序/任意步骤漏洞： 论文证明了 dLLMs 存在安全信号随解码步骤快速衰减且对任意解码顺序缺乏鲁棒性的浅层对齐问题，使其易受 DIJA 等攻击的影响。
Token 级对齐框架： A2D 引入了一种全新的对齐范式，将从响应级拒绝转向使用 [EOS] 进行 Token 级抑制，实现了在生成过程任何步骤下的鲁棒防御。
实时安全监控： 该方法利用 [EOS] 概率作为内部安全信号，实现了动态干预和对有害提示词的早期拒绝。
全面评估： 作者引入了 填空式句子（FITS） 攻击，用于在极端条件下测试对齐强度，即在有害响应中嵌入单个掩码句子。

4. 实验结果

作者在三个指令微调的 dLLMs 上评估了 A2D：LLaDA-8B-Instruct、LLaDA-1.5 和 Dream-v0-Instruct-7B，并将其与 RT、SFT 和 VRPO 基准进行对比。

针对越狱攻击的防御： A2D 在所有基准测试（Zeroshot, PAIR, ReNeLLM, Prefilling, 和 DIJA）中始终取得了最低的平均攻击成功率（ASR）。
- DIJA 表现： A2D 将 DIJA 的成功率从基准模型的 80% 以上降低到了接近于零：在 LLaDA-8B 上为 1.3%，在 LLaDA-1.5 上为 3.5%，在 Dream 上为 0.0%。
- FITS 攻击： 在极端的 FITS 攻击下（即仅有一个句子缺失的有害响应），A2D 在所有模型上的 ASR 均降至接近 0%，而其他方法失败时的 ASR 超过了 60%。
对解码策略的鲁棒性： A2D 在五种解码策略（从左到右、从右到左、基于置信度、基于熵、随机）下均保持了低 ASR，而基准模型在特定顺序下表现出高度脆弱性。
效用保留： A2D 避免了过度拒绝，在 XSTest 基准（看似不安全但实际良性的提示词）上实现了 0% 的假阳性。它在通用能力基准（MMLU, GSM8K, HumanEval）上保持了竞争力的表现，优于那些遭受严重能力下降的其他对齐方法。
效率提升： 早期拒绝机制在处理有害提示词时，实现了高达 19.3 倍 的安全终止加速（在 $\tau=0.8$ 时），同时保持了高水平的对齐保真度。

5. 重要性与主张

论文声称，A2D 通过解决 dLLMs 灵活解码与传统对齐的僵化响应级本质之间的根本失配，为基于扩散的文本生成建立了新的安全标准。

深度对齐： A2D 实现了“深度对齐”，确保安全信号贯穿整个生成轨迹，而非仅存在于开始阶段。
顺序无关性： 它提供了一种对解码策略具有鲁棒性的防御，这是实际部署 dLLMs 的关键要求。
实际部署： 通过实现实时监控和早期拒绝，A2D 为在延迟和安全性至关重要的现实应用中安全部署 dLLMs 提供了路径。

作者总结道，这种方法弥合了 dLLMs 的生成灵活性与现实世界使用所需的安全约束之间的鸿沟，为可靠的扩散语言系统铺平了道路。