Lost in Diffusion: Uncovering Hallucination Patterns and Failure Modes in Diffusion Large Language Models
该论文首次对扩散大语言模型（dLLMs）的幻觉现象进行了受控对比研究，发现其在同等条件下比自回归模型更易产生幻觉，并揭示了包括过早终止、去噪不完整和上下文侵入在内的独特失效模式及推理动态差异。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
这篇论文就像是在给新一代的"AI 写手”做体检，特别是检查它们会不会“一本正经地胡说八道”（也就是幻觉）。
为了让你轻松理解，我们可以把大语言模型想象成两个不同风格的作家，正在比赛写故事。
1. 两位主角：传统作家 vs. 新派画家
传统作家（自回归模型 AR-LLM）：
就像我们平时写字一样，一个字一个字地写。写完第一个字，再写第二个，以此类推。- 优点： 逻辑连贯，像流水一样顺畅。
- 缺点： 一旦开头写错了（比如把“苹果”写成了“梨”），后面的故事为了圆这个谎，可能会越编越离谱，就像滚雪球，越滚越大，最后彻底失控。
新派画家（扩散模型 dLLM）：
这篇论文的主角。想象一下，画家手里有一张全是噪点（雪花屏）的画布。他不像传统作家那样按顺序画，而是同时盯着整张画布，通过不断“去噪”（把雪花擦掉），让画面一点点清晰起来。- 理论优势： 因为他能一眼看到整张画（全局视野），理论上应该能更好地规划构图，避免前后矛盾。
- 本文发现： 虽然理论很美好，但现在的“新派画家”其实更容易胡说八道，而且胡说八道的方式很独特。
2. 核心发现：新画家更容易“翻车”
研究人员把这两种模型放在同样的条件下（同样的知识储备、同样的规模）进行比拼，结果发现：
- 事实准确性更差： 在回答具体事实（比如“谁写了这本书？”）或写长文章时，新派画家（扩散模型）编造事实的概率比传统作家更高。
- 为什么？ 虽然他能看全局，但他“擦除噪点”的过程充满了随机性。就像你在擦窗户，有时候擦得太用力，把原本清晰的字也擦模糊了，或者为了把模糊的地方变清晰，强行脑补了一些不存在的图案。
3. 三种独特的“翻车”姿势
传统作家写错通常是“接不上话”或者“逻辑跑偏”，但新派画家有三种特有的翻车模式，非常有趣：
A. premature Termination（ premature 终止）：突然“断片”
- 比喻： 就像一个人讲故事讲到一半，突然觉得“哎呀，前面和后面对不上了”，于是直接拍桌子说“完了”，或者强行插入一些乱码符号来结束对话。
- 原因： 因为他是同时看整张画布的，如果画布左边的颜色和右边的颜色怎么都拼不到一起，他干脆就放弃治疗，直接结束。
B. Incomplete Denoising（去噪不全）：留下“鬼影”
- 比喻： 画布上的雪花还没擦干净，画面里还残留着一些模糊的、无意义的符号（比如一堆乱码、重复的字母，或者像
____这样的占位符）。 - 原因： 模型太想快点出图了，有些难擦的“顽固污渍”（生僻词或复杂概念）它没擦干净，就强行把画交给你了。
C. Context Intrusion（语境入侵）：突然“串台”
- 比喻： 你让他讲“苹果的故事”，他讲着讲着，突然开始讲数学公式，或者教你怎么写代码。
- 原因： 这是最奇怪的。因为他是全局视野，如果在画面的某个角落（未来的位置）不小心“擦”出了一个高频词（比如数字"100"或代码关键词），他的“全局大脑”就会强行把整个故事往这个方向拉，导致故事突然跑偏到完全不相干的话题上。
4. 一个有趣的对比：加钱能变好吗？
研究人员还做了一个实验：给新派画家更多的时间（增加计算步骤，让他多擦几遍画布）。
- 结果分了两派：
- 派系 A（像 LLaDA）： 无论怎么多擦几遍，效果都没提升。因为它虽然号称“全局视野”，但实际上还是偷偷按顺序（从左到右）在擦，所以多擦也没用，反而浪费了时间。
- 派系 B（像 Dream）： 随着擦的次数增加，画得越来越好。因为它真正做到了“非顺序”擦除，哪里模糊擦哪里。但这也有副作用：因为太自由，更容易出现上面提到的“突然串台”（Context Intrusion）的问题。
5. 总结：未来的路还很长
这篇论文告诉我们：
虽然“扩散模型”这种新架构在理论上很酷，能同时看到全局，但目前的技术还不够成熟。它们比传统的模型更容易产生幻觉，而且这种幻觉不是简单的“记错”，而是结构性的混乱（比如突然断片、乱码、串台）。
一句话总结：
现在的扩散模型就像是一个拥有上帝视角但手有点抖的画家。他能看到整幅画，但在把噪点擦干净的过程中，经常因为手抖把画改得面目全非，或者突然把风景画改成数学题。要想让他真正可靠，还需要更多的技术改进，让他学会“边擦边检查”，而不是盲目地乱擦。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。