Beyond the Bidirectional Promise: Re-evaluating the Robustness of Diffusion Language Models
本文揭示了尽管扩散语言模型由于其随机损失景观而天生能够抵御基于梯度的对抗性攻击，但它们仍然容易受到自然噪声的影响，并表现出系统性的过度自信，因为它们的鲁棒性取决于特定权重的解码器路由而非架构优势，因此需要将其根本性地集成到解码过程中，而非仅仅进行表面层面的修复。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下你正在尝试解开一个谜题，但你不是从左到右一个接一个地放置碎片，而是把所有的碎片一次性扔在桌上，然后通过不断地观察来慢慢理清它们的去向，并在每一次注视中不断完善你的猜测。这就是一种被称为**扩散语言模型（Diffusion Language Model, DLM）**的新型人工智能背后的基本思想。与传统的 AI 不同（传统 AI 像人类打字写句子一样，一个词接一个词地书写，且从不回头看），DLM 从一个空白、被遮盖的页面开始，通过迭代“去噪”过程，在审视整个句子的同时逐步显现出单词。这听起来像是一种超能力：如果传统 AI 在早期犯了一个拼写错误，它可能会感到困惑并陷入混乱；但 DLM 因为能看到全局，理论上应该能够自我修正错误。但这里有一个大问题：这些模型在情况变得混乱时，是真的变得更强韧、更聪明了，还是这仅仅是一个美好的理论？
在这项研究中，研究人员将两对这样的“超强鲁棒性”扩散模型与它们传统的、逐词生成的“表亲”进行了对比测试。他们不仅仅是让它们写诗，而是向它们投掷了一切：拼写错误、乱序单词、奇怪的键盘误触，甚至是复杂的数学题。他们想看看这种新的扩散风格究竟是抵御错误的“魔法护盾”，还是这些模型其实和旧模型一样脆弱，只是以不同的方式表现出来。
大鲁棒性测试
研究人员设置了一场公平的对决。他们将一个扩散模型与一个拥有完全相同“脑细胞”（参数量）的传统模型配对，比如让 LLaDA-8B 扩散模型对抗 LLaMA-3-8B 传统模型，以及让 Dream-7B 扩散模型对抗 Qwen2.5-7B 传统模型。随后，他们让这些模型承受了 32 种不同类型的“噪声”，范围从交换两个字母（比如把 "the" 打成 "teh"）到删除整个单词，甚至使用其他字母表中的形似字符。
结果带来了一个剧情反转。那种认为扩散模型“天生”就更强韧的想法被证明是一个神话。拯救局面的并不是架构本身，而是特定的训练。其中一个扩散模型（LLaDA）确实比它的传统对手强韧得多，能够像冠军一样处理噪声。但另一个扩散模型（Dream）并没有击败它的对手；在某些情况下，它的表现甚至更差。研究人员发现，鲁棒性取决于模型的特定权重和训练数据，而不仅仅在于它是否使用了扩散技术。如果你想要一个强韧的模型，你不能只选一个扩散模型，你必须选对那个扩散模型。
过度自信的乐观主义者
然而，有一个特征是每一个扩散模型都共有的，而且这是一个危险的特征：过度自信。当这些模型犯错时，它们不仅是失败了，而且是以绝对确定的姿态失败的。传统模型在看到拼写错误时可能会降低信心（例如说：“我不确定这个词”），但扩散模型却保持着极高的信心，即使在给出错误答案时，信心也往往接近 100%。
想象一个学生在考试中答错了题，却举手大喊：“我 100% 确定这是正确答案！”这就是这些模型的危险之处。在现实世界中，如果一个模型是“自信地错误”，那么捕捉这个错误会比面对一个“忐忑不安的不确定”要困难得多。研究表明，即使在噪声很重的情况下，扩散模型依然固执地保持着高度自信，这为任何试图信任其输出的人制造了“隐患”。
“无法修复”的发现
这项研究中最引人入胜的部分是对这些模型为何失败进行的深入挖掘。研究人员使用了一种特殊的“机械探针”（就像是 AI 大脑的 X 光机）来观察内部发生了什么。他们发现了一些令人惊讶的事实：模型实际上知道输入内容已被损坏。
当他们观察内部信号时，模型检测到拼写错误和误差的准确率超过了 93%。“眼睛”功能完好的模型清晰地看到了噪声。问题不在于它们看不见错误，而在于它们无法“忽略”错误。一旦噪声进入系统，模型的“解码器”（即决定下一步说什么的部分）就无法将其过滤掉。这就像一位厨师能完美地闻出食材已经变质了，却依然坚持用它继续烹饪，因为他不知道如何停止。
由于问题出在“烹饪”阶段（解码）而非“闻味”阶段（输入），研究人员尝试了一个聪明的修复方法：他们在模型开始“烹饪”之前尝试清理输入。他们使用了一种叫做**输入提示掩码（Input Prompt Masking, IPM）**的技术，试图在模型看到这些错误之前识别并隐藏它们。但你猜怎么着？这并没有奏效。 清理输入并没有让模型变得更强韧。这证明了你不能仅仅通过修补输入来解决问题；修复必须内置在模型生成文本的方式之中。
对抗性惊喜
不过，也有一个亮点。当研究人员尝试用“对抗性攻击”来欺骗模型时——具体来说，是在末尾添加一段奇怪的文本以迫使模型说出不该说的话——扩散模型表现出了惊人的韧性。传统模型在这些攻击下溃不成军，但扩散模型却顶住了压力。
为什么呢？事实证明，扩散模型的内部景观是“锯齿状”且混沌的。当攻击者试图寻找欺骗模型的路径时，这条路径不断移动和变化，使得寻找一条通往错误的稳定路径变得不可能。这就像试图攀爬一座山，每当你迈出一步，山上的岩石就会重新排列。虽然这并不意味着它们对所有攻击都免疫，但确实让它们天然地抵抗了那些能轻易愚弄传统模型的特定梯度攻击。
总结
那么，结论是什么？扩散语言模型并不是让 AI 自动变得更安全或更强韧的“万灵药”。它们是一种拥有不同优劣势的新工具。由于其内部数学逻辑的混沌性，它们天生擅长抵御某些类型的黑客攻击，但它们在意识到自己“不确定”时表现得很糟糕，在输入信息混乱时经常给出自信的错误答案。
研究人员得出结论，我们不能仅仅通过“修补”这些模型来使其变得更好。如果我们希望它们是可靠的，我们必须从根本上改变它们学习生成文本的方式——教它们在写作的同时过滤掉噪声，而不仅仅是在开始写作之前。在此之前，我们必须保持警惕：一个自信地犯错的扩散模型，是一个难以信任的危险存在。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。