🤖 machine learning

The Safety-Aware Denoiser for Text Diffusion Models

本文介绍了安全感知去噪器（SAD），这是一个轻量级的推理时框架，在去噪过程中将文本扩散模型引导至可证明的安全区域，从而在无需重新训练模型的情况下有效减少不安全生成并保持输出质量。

原作者： Amman Yusuf, Zhejun Jiang, Mijung Park

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Amman Yusuf, Zhejun Jiang, Mijung Park

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一种名为文本扩散模型的新型 AI 写作工具。与那些像火车铺设铁轨一样逐字构建句子的传统 AI 写作工具不同，这种新型 AI 从充满静态噪声的空白页面开始，逐渐“去噪”，将混乱 refining 成清晰、连贯的故事。这就像看着一张模糊的照片慢慢变得清晰聚焦。

然而，问题在于：由于这种 AI 通过 refining 噪声来工作，它有时会意外地“聚焦”于危险或有害的想法，从而生成有毒内容、泄露私人数据，或落入“越狱”陷阱（即用户诱骗 AI 打破其规则）。

本文作者 Amman Yusuf 及其同事提出了一种名为**安全感知去噪器（SAD）**的解决方案。以下是其工作原理，通过简单的类比进行解释：

1. 问题：“模糊照片”的风险

将 AI 的生成过程想象成一位摄影师试图拍摄安全、快乐的场景。但相机镜头脏了，AI 不断意外地将焦点对准“危险区域”（例如火灾或犯罪的画面），而不是快乐的场景。

针对旧版 AI 模型现有的安全工具就像后期制作滤镜。它们等待照片完全显影后，再进行检查；如果发现照片不好，就将其丢弃并重试。

缺陷：对于新的“扩散”AI 而言，等到最后才检查为时已晚。AI 可能在图像仍处于“模糊”状态时，就已经踏上了危险的路径。丢弃最终结果不仅浪费，也无法阻止 AI 从一开始就尝试生成有害内容。

2. 解决方案：“安全指南针”（SAD）

作者们创建了SAD，它就像一位指南针，在摄影师拍摄过程中而非拍摄结束后引导他们。

工作原理：随着 AI 逐步清理噪声，SAD 会检查其进度。它拥有一个小型的“坏例子”列表（例如有毒短语或泄露的密码）。
神奇之处：如果 AI 开始偏离向这些坏例子，SAD 会温和地将图像推向相反方向。它不会阻止 AI，只是将其从“危险区域”引导至“安全区域”。
无需重新训练：最棒的是，SAD 不需要重建 AI 或教导它新内容。它是一个轻量级的附加组件，可以在现有模型之上运行，就像在道路上安装安全护栏，而无需重新铺设整条街道。

3. 测试内容

研究人员在三个主要挑战上测试了这个“指南针”：

有毒内容（“危害”测试）：他们要求 AI 生成有害文本。SAD 成功地将 AI 从有毒输出中引导开来，将不良回复的数量减少了约 5–6 个百分点，同时没有让 AI 听起来像机器人或愚蠢。
越狱（“捣蛋鬼”测试）：黑客经常试图通过将不良请求隐藏在复杂的谜题中来诱骗 AI。SAD 证明非常擅长识破这些诡计。即使黑客使用了专门设计用来欺骗此类 AI 的特殊“扩散原生”攻击，SAD 依然让 AI 保持在安全路径上。
记忆（“泄露”测试）：有时 AI 模型会意外记住训练数据中的私人信息（就像学生背诵他们死记硬背的考试答案）。SAD 充当一种“遗忘机制”， nudging AI 避免重复特定的训练数据，从而在不重新训练模型的情况下有效保护隐私。

4. 结果

论文声称 SAD 是一个“双赢”方案：

安全性：它显著降低了 AI 说出有害内容的可能性。
质量：它保持了文字的流畅性、多样性和高质量。AI 听起来不像是在被迫保持安全，而是自然地避开了坏东西。
速度：它非常快速，不会显著拖慢 AI 的速度，使其适用于现实世界的用途。

总结类比

如果传统的安全方法就像一位保镖，在人们开始打架后将其踢出俱乐部，那么SAD就像一位保安，在人们甚至到达麻烦地点之前就温和地将他们引导远离。它在不停止音乐或更换场地的情况下，让派对保持有趣且安全。

作者们得出结论，这种方法提供了一种可扩展、高效的方式，使这些强大的新型文本扩散模型能够安全使用，而无需付出从头重新训练它们的沉重代价。

技术摘要：面向文本扩散模型的安全感知去噪器

1. 问题陈述

文本扩散模型（TDMs），如 MDLM 和 LLaDA，已成为自回归（AR）大型语言模型的一种有前景的替代方案，通过并行生成和迭代细化提供了更快的推理速度和更大的灵活性。然而，TDMs 的安全影响尚未得到充分探索。现有的为 AR 模型设计的安全机制——如事后过滤、拒绝采样或推理时的解码约束——无法直接适用于扩散设置。此外，TDMs 容易受到特定越狱攻击（例如 DIJA、PAD）的侵害，这些攻击利用其并行去噪和双向上下文能力快速生成有害内容。

当前针对 TDM 安全的解决方案，如使用安全目标重新训练模型，或使用带有安全/不安全标签的条件扩散，计算成本高昂、缺乏灵活性，且随着模型规模扩大而难以扩展。迫切需要轻量级的、推理时的安全机制，能够集成到扩散过程中，而无需重新训练模型或产生显著的计算开销。

2. 方法论：安全感知去噪器（SAD）

作者提出了安全感知去噪器（SAD），这是一个无需训练、由安全引导的框架，通过修改 TDMs 的迭代去噪过程，将生成的样本引导至文本空间中可证明安全的区域。

核心概念

SAD 将原本为图像扩散开发的“安全去噪器”框架（Kim 等人，2025）适配到离散文本扩散中。该方法的理论基础是：可以通过从标准数据去噪器中减去“不安全”分量来构建安全去噪器。

核心关系定义为：
$E_{D_{safe}}[x_0|x_t] = E_D[x_0|x_t] + \beta^*(x_t) \left( E_D[x_0|x_t] - E_{D_{unsafe}}[x_0|x_t] \right)$
其中：

$E_D[x_0|x_t]$ 是标准数据去噪器（即训练好的 TDM）。
$E_{D_{unsafe}}[x_0|x_t]$ 是不安全去噪器，表示限制在已知不安全参考序列集合（ $D_{unsafe}$ ）内的预期干净 token 分布。
$\beta^*(x_t)$ 是一个自适应权重，根据当前噪声状态 $x_t$ 源自不安全分布的可能性进行缩放。

实现细节

不安全去噪器的近似：由于确切的不安全分布未知，SAD 使用蒙特卡洛积分，在有限数量的 $N$ 个不安全参考序列（例如毒性数据集、受版权保护的文档或训练数据）上近似 $E_{D_{unsafe}}[x_0|x_t]$ 。
离散核适配：与使用高斯核的连续图像扩散不同，TDMs 使用离散掩码 token 转换。作者推导了特定的分类核分解，以计算完整序列的转换概率 $q(x_t|x_0)$ ，从而允许基于 token 匹配和掩码位置计算排斥权重。
超参数：
- $\eta$ （安全尺度）：一个可控的超参数，用于缩放引导强度。
- $C$ （活动窗口）：在反向过程中应用 SAD 的时间步集合。作者发现，在去噪过程的早期（前四分之一的时间步）应用引导，在保持质量的同时最有效地引导语义轨迹。
- $N$ （否定集大小）：不安全参考序列的数量。实验表明，当 $N \approx 500-1000$ 时，安全收益迅速达到饱和。

算法

在推理过程中，对于活动窗口 $C$ 内的每个时间步 $t$ ：

计算标准去噪器输出 $x_\theta(x_t, t)$ 。
根据其在正向过程下的似然性，计算不安全参考的加权平均。
调整预测的 token 概率，使分布远离不安全参考，从而有效地将生成引导至安全区域。

3. 主要贡献

首个面向 TDMs 的无需训练的安全框架：SAD 提供了一种原则性的、推理时的方法，用于在不重新训练或微调底层模型的情况下，强制文本扩散模型的安全性。
理论保证：该方法利用理论保证（定理 2.1），即从去噪器中减去不安全分量允许生成来自安全分布的样本。
模块化和灵活性：SAD 与模型无关（已在 MDLM 和 LLaDA 上演示），并且可以与其他推理时防御措施（如 DiffuGuard、困惑度过滤）结合使用。
多维安全性：该框架不仅解决了有毒内容生成问题，还解决了记忆化（隐私风险）和越狱鲁棒性问题。

4. 实验结果

作者在三个维度上评估了 SAD：有害生成、越狱鲁棒性和记忆化。

有害生成

设置：使用来自 RealToxicityPrompts (RTP) 的恶意提示，在 MDLM 和 LLaDA 上进行评估。
结果：根据所使用的否定集不同，SAD 将不安全生成的攻击成功率（ASR）降低了约 5–6 个百分点（例如，MDLM 上从 38.4% 降至 32.6%）。
质量：至关重要的是，这种安全改进带来的生成质量、多样性和流畅性（通过良性提示上的 BERTScore 衡量）的退化微乎其微。

越狱鲁棒性

设置：在 LLaDA-Instruct、LLaDA-1.5 和 Dream-Instruct 上，针对扩散原生攻击（DIJA、PAD）和零样本越狱进行测试。
结果：SAD 显著提高了对 PAD（并行解码） 攻击的鲁棒性，将 ASR 降低了高达 16 个百分点（例如，WildJailbreak 上从 43.2% 降至 29.0%）。
可组合性：当与 DiffuGuard 等现有防御措施结合使用时，SAD 进一步降低了 ASR，证明了其互补性。

记忆化（隐私）

设置：在基于 WikiText-103 微调的 MDLM 上进行评估，使用训练数据作为否定集以惩罚记忆化。
结果：SAD 大幅减少了模糊重叠（近似记忆化的指标），同时对效用（BERTScore）的影响最小。例如，增加安全尺度 $\eta$ 将模糊重叠从 18.59% 降低至约 16.11%，同时保持与参考补全的高度语义相似性。

效率

SAD 引入了极小的计算开销。运行时间成本主要由活动时间步的数量决定，而非否定集的大小。吞吐量仅略有下降（例如，对于 64 步窗口的 LLaDA，从 0.382 seq/s 降至 0.313 seq/s），且该方法比基于粒子的引导方法（如 FK Steering）高效得多。

5. 意义与主张

本文声称，SAD 提供了一种有效且可扩展的机制，用于在文本扩散模型中强制实施安全性。其主要意义在于：

填补安全空白：它提供了针对扩散范式独特漏洞（特别是针对并行去噪利用）的首个专用防御机制。
实际部署：由于无需训练且轻量级，SAD 使得现有冻结扩散检查点的安全部署成为可能，而无需付出高昂的重新训练成本。
平衡安全与效用：结果表明，可以将安全约束集成到去噪轨迹中，以防止有害输出，同时不牺牲生成文本的流畅性或连贯性。

作者总结道，虽然 SAD 是一个强大的保障措施，但应将其视为一种补充措施。他们承认安全引导可能会引入偏见或抑制良性内容，强调了持续评估和人工监督的必要性。这项工作旨在推动针对扩散特定安全方法的研究，以及为新兴 TDMs 进行原则性的安全集成。