💬 NLP

Time-Annealed Perturbation Sampling: Diverse Generation for Diffusion Language Models

该论文提出了一种名为时间退火扰动采样（TAPS）的免训练推理策略，通过利用扩散语言模型在生成过程中“早期决定语义结构、后期细化词汇”的时间分工特性，在生成初期鼓励语义分支以增加多样性，并在后期逐步减少扰动以保障流畅性和指令遵循度，从而在不牺牲生成质量的前提下显著提升了创意写作和推理任务中的输出多样性。

原作者： Jingxuan Wu, Zhenglin Wan, Xingrui Yu, Yuzhe Yang, Yiqiao Huang, Ivor Tsang, Yang You

发布于 2026-03-18

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jingxuan Wu, Zhenglin Wan, Xingrui Yu, Yuzhe Yang, Yiqiao Huang, Ivor Tsang, Yang You

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 TAPS（时间退火扰动采样）的新方法，专门用来让“扩散语言模型”（Diffusion Language Models）写出更多样化、更有创意的内容，同时不牺牲文章的质量。

为了让你轻松理解，我们可以把写故事比作雕刻一尊雕像，或者烹饪一道大餐。

1. 背景：现在的 AI 写东西有什么毛病？

想象一下，你请一位 AI 厨师（扩散语言模型）做一道菜，要求是“做一道有创意的意大利面”。

传统 AI（自回归模型）：像是一个按部就班的流水线工人。它先放第一勺酱，再放第二勺，再放第三勺……一旦第一勺酱决定了是“番茄味”，后面就很难变成“奶油味”了。如果它想创新，往往只能在小细节上改改，或者变得很重复、很无聊。
扩散模型（Diffusion-LM）：这更像是一个先画草图再上色的画家。它一开始面对的是满纸的“噪点”（乱码），然后一步步把乱码变成清晰的图像。
- 早期阶段：画家在画草图，决定这是个人物还是风景（全局语义）。
- 后期阶段：画家在描边、上色、画细节（局部词汇）。

问题在于：虽然扩散模型有这种“先画大轮廓，再抠细节”的天赋，但以前的用法太死板了。无论怎么生成，它总是沿着同一条“草图”去画，导致生成的故事虽然通顺，但千篇一律，缺乏真正的创意分支。

2. TAPS 的核心创意：给画家一点“微醺”的灵感

作者发现，如果我们在画家**画草图（早期）的时候，轻轻推他一下，让他稍微偏离原来的路线，他可能会画出完全不同的构图；而在画细节（后期）**的时候，我们让他冷静下来，专注于把画修得完美。

这就是 TAPS 的做法，它分三步走：

第一步：早期“微醺”（时间退火扰动）

在生成的最开始阶段（比如前 30% 的时间），TAPS 会给模型的“大脑”（提示词向量）注入一点点随机的“噪音”。

比喻：就像在画家开始动笔前，轻轻摇晃了一下他的画笔，或者给他喝了一小口酒。这让他不再死板地沿着原来的思路走，而是敢于尝试不同的故事走向（比如：骑士是去救公主，还是去救一只猫？是骑马去，还是骑自行车去？）。
作用：这时候的“乱”是好事，因为它能打开语义分支，让故事走向不同的可能性。

第二步：逐渐“清醒”（退火/Annealing）

随着生成的进行，这个“噪音”的强度会慢慢减弱，就像酒劲慢慢过去，画家逐渐清醒。

比喻：到了画细节的时候，画家不再摇晃了，开始专注地把线条画直，把颜色涂匀。
作用：这保证了故事在后期不会跑偏，依然能听懂你的指令，语句通顺，不会胡言乱语。

第三步：智能“校准”（重缩放与投影）

为了防止那个“微醺”把画彻底搞坏（比如把人物画成怪物），TAPS 还有一个安全网。

比喻：就像有一个助手在旁边看着，如果画家画歪得太厉害，助手会轻轻把他拉回正轨，但保留他刚才那种“大胆尝试”的感觉。
作用：确保生成的文字既多样，又不会变成乱码，依然符合人类的语言习惯。

3. 效果如何？

作者在论文里做了很多实验，把 TAPS 用在两个不同的 AI 模型上（LLaDA 和 TraDo），测试了写故事、做数学题等任务。

写故事：以前 AI 写骑士救公主，可能十个故事里九个都是“骑马进山洞”。用了 TAPS 后，有的骑士骑龙，有的坐飞船，有的甚至是个女骑士，而且故事依然很精彩，逻辑通顺。
做数学题：在解决复杂的数学题时，TAPS 能让 AI 尝试多种解题路径。虽然单看某一次可能算错，但如果让 AI 算 10 次，然后取大家投票最多的答案，正确率反而比传统方法更高。这就像让一群专家各自想一个方案，最后选大家共识的那个，往往更靠谱。

4. 总结

TAPS 就像是一个聪明的“导演”：

在剧本构思阶段（早期），它鼓励演员（AI）大胆尝试不同的剧情走向，不要怕跑偏，要多样。
在拍摄执行阶段（后期），它要求演员回归剧本，把台词念准，把动作做对，要高质量。

一句话总结：
TAPS 不需要重新训练 AI，只需要在 AI 生成内容的过程中，“先给点刺激让它发散思维，再慢慢让它冷静下来把活干好”，从而让 AI 写出既丰富多样又高质量的内容。

这对于我们需要 AI 提供创意灵感、寻找多种解决方案的场景（比如写小说、头脑风暴、解决复杂问题）来说，是一个非常实用且免费（不需要重新训练模型）的升级方案。

这是一篇关于**扩散语言模型（Diffusion Language Models, Diffusion-LMs）生成多样性的技术论文总结。论文提出了一种名为时间退火扰动采样（Time-Annealed Perturbation Sampling, TAPS）**的推理策略，旨在解决扩散语言模型在生成过程中缺乏多样性、容易陷入重复或保守输出的问题。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

现状：扩散语言模型（Diffusion-LMs）作为一种新兴的文本生成范式，在创造性写作、推理和指令遵循等方面表现出竞争力。然而，它们与自回归模型一样，面临生成内容重复、保守的问题。
现有方法的局限性：
- 训练时方法：需要修改优化目标或重新训练，成本高且泛化性差。
- 解码时方法：现有的多样性控制方法（如温度缩放、Top-k/p 采样、Min-p 采样等）主要针对自回归模型设计，直接应用于扩散模型效果不佳。它们往往在提升多样性的同时严重损害生成质量（连贯性、流畅度），或者无法有效激发深层的语义多样性。
- 核心痛点：如何在扩散模型的推理过程中，利用其特有的时间维度结构，在不牺牲生成质量的前提下，有效探索多种语义或推理路径。

2. 核心洞察 (Key Insight)

论文通过实证研究发现，扩散语言模型在生成过程中存在时间分工（Temporal Division of Labor）：

早期去噪步骤：主要决定文本的全局语义结构（Global Semantic Structure）。
后期去噪步骤：主要专注于局部词汇细化（Local Lexical Refinement）和流畅度。

基于此，如果在早期步骤引入扰动，可以引导模型探索不同的语义分支；而在后期减少扰动，则能保证文本的连贯性和对指令的遵循。

3. 方法论：时间退火扰动采样 (TAPS)

TAPS 是一种**无需训练（Training-free）**的推理策略，通过在推理过程中动态扰动条件信号（Conditioning Signal）来增加多样性。

核心流程：

扰动注入（Perturbation Injection）：
- 在推理的早期阶段（ $t \in [t_{start}, t_{end}]$ ），向提示词（Prompt）的上下文嵌入（Context Embeddings）添加高斯噪声 $\epsilon$ 。
- 扰动强度 $\sigma(t)$ 遵循**时间退火（Time-Annealed）**策略，即随着去噪步数的增加，扰动强度单调递减，直至为零。
- 公式： $\tilde{E}(t) = E + \sigma(t)\epsilon$ 。
噪声重缩放（Noise Rescaling）：
- 为了防止过强的扰动导致分布漂移和生成质量下降，对扰动后的嵌入进行统计重缩放，使其均值和标准差与原始嵌入对齐。
- 引入混合系数 $\psi$ ，在重缩放后的嵌入和原始嵌入之间进行插值，以平衡探索（多样性）与利用（质量）。
范数保持投影（Norm-Preserving Projection）：
- 为了维持模型学习到的表示几何结构，对每个 Token 的嵌入向量进行投影，强制扰动后的向量范数与原始向量范数保持一致。这避免了因向量模长变化导致的生成不稳定。

算法逻辑：

早期：强扰动 $\rightarrow$ 打破单一条件轨迹依赖 $\rightarrow$ 促进语义分支（Semantic Branching）。
后期：弱扰动/无扰动 $\rightarrow$ 恢复与原始提示的对齐 $\rightarrow$ 细化词汇和风格。

4. 主要贡献 (Key Contributions)

实证发现：首次明确指出了扩散语言模型中“早期定语义，后期定词汇”的时间语义结构。
提出 TAPS：设计了一种简单、无需训练且可扩展的推理策略，利用扩散时间语义来提升输出多样性，同时保持生成质量。
广泛验证：在多种任务（创意写作、指令遵循、开放生成、数学推理）和多个扩散模型骨干（LLaDA, TraDo）上进行了验证。结果表明，TAPS 在显著提升语义和词汇多样性的同时，并未牺牲生成质量，甚至在推理任务中通过多样性探索提升了多数投票的准确率。

5. 实验结果 (Results)

论文在四个基准测试中进行了评估：WritingPrompts（长文本故事）、NoveltyBench（多样性评估）、Arena-Hard-Auto（偏好对齐写作）和 GSM8K（数学推理）。

多样性提升：
- 在 NoveltyBench 和 WritingPrompts 上，TAPS 在 IntraDistinct、Div-Blue、Sent-BERT（语义多样性）和 EAD（嵌入空间多样性）等指标上均显著优于基线方法（包括 Top-k, Top-p, Min-p, 动态温度 EDT 等）。
- 特别是在语义层面（Sent-BERT）和嵌入层面（EAD）的提升最为明显，说明生成的不仅仅是词汇变化，而是真正的语义差异。
质量保持：
- 使用 GPT-4o 和 Skywork-Reward 进行多维度评估（创造力、连贯性、写作质量、相关性）。TAPS 在保持与基线相当甚至略优的质量分数的同时，实现了多样性的大幅提升。
- 相比之下，其他方法（如 EDT 或 Diverse Prompt）往往在提升多样性时导致质量大幅下降。
推理鲁棒性 (GSM8K)：
- 在数学推理任务中，TAPS 生成的多个推理路径具有较低的误差相关性。
- 虽然单样本准确率（Pass@1）略有下降，但**多数投票准确率（Majority Vote Accuracy）**显著高于基线，表明 TAPS 能更有效地探索正确的推理路径。
消融实验：
- 证实了早期注入噪声对语义多样性至关重要，晚期注入主要影响词汇变化。
- 噪声重缩放系数 $\psi$ 能有效在多样性和质量之间取得平衡。

6. 意义与影响 (Significance)

理论意义：揭示了扩散语言模型与扩散图像模型在生成机制上的相似性（时间分工），为理解 Diffusion-LMs 的内在动力学提供了新视角。
应用价值：提供了一种即插即用（Plug-and-play）的解决方案，无需重新训练模型即可显著提升生成内容的创造性和多样性。这对于需要多候选方案生成的场景（如创意写作辅助、代码生成、自我训练中的探索策略）具有重要价值。
未来方向：为受控文本生成（Controlled Text Generation）开辟了新路径，表明通过操纵推理过程中的时间动态，可以精细控制生成内容的语义结构。

总结：TAPS 通过模拟扩散过程中的“时间退火”机制，巧妙地平衡了探索（多样性）与利用（质量），解决了当前扩散语言模型生成内容单一、保守的瓶颈问题，是扩散语言模型推理策略领域的一项重要进展。