💬 NLP

DiLaDiff: Distilled Latent-Augmented Diffusion for Language Modeling

DiLaDiff 通过引入一个利用语义潜在空间、潜在扩散先验和一致性蒸馏的三阶段框架，解决了扩散语言模型中采样质量与吞吐量之间的权衡问题，实现了高质量、少步数的生成，其性能显著优于掩码扩散基线。

原作者： Jean-Marie Lemercier, Tomas Geffner, Karsten Kreis, Morteza Mardani, Arash Vahdat, Ante Jukić

发布于 2026-05-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Jean-Marie Lemercier, Tomas Geffner, Karsten Kreis, Morteza Mardani, Arash Vahdat, Ante Jukić

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试写一个故事，但有一条严格的规则：你一次只能写一个词，而且必须仅根据你已经写下的词来猜测下一个词。这就是目前大多数 AI 文本生成器的工作原理（就像非常快速、非常智能的自动补全）。它很准确，但速度很慢，因为它必须在移动到下一个词之前等待每一个词。

现在，想象一种不同的方法：“扩散”模型。把它想象成一位雕塑家，从一块完全被雾气笼罩的大理石开始。雕塑家的工作是慢慢驱散雾气，露出底下的雕像。在 AI 的世界里，这种“雾气”是随机噪声，而“雕像”则是文本。

旧雕塑家的问题
论文指出，当 AI 尝试将这种“驱散雾气”的方法用于文本时，会遇到一个重大障碍。因为 AI 将每个词视为独立的猜测（就像在不知道句子结构的情况下猜测下一个词），如果它试图一次性驱散太多雾气，往往会生成胡言乱语。为了获得好的结果，它必须非常缓慢地驱散雾气，一次只清除一点点。这使得过程变得极其缓慢。

解决方案：DiLaDiff（“智能蓝图”方法）
作者提出了一种名为 DiLaDiff 的新方法。为了理解它，让我们使用一个建筑类比。

蓝图（潜在空间）：AI 不是从零开始一块砖（一个词）一块砖地建造房子（文本），而是首先绘制一个高层的蓝图。这张蓝图不是由词组成的；它是故事含义和氛围的压缩数学摘要。它捕捉了“大局”相关性——例如，知道如果故事是关于“风暴”的，那么“雨”、“风”和“黑暗”这些词很可能一起出现。
- 他们是如何制作的：他们训练了一个特殊的“自动编码器”（一种翻译器），它将一个句子压缩成这个智能蓝图，然后尝试从中重建句子。他们确保这张蓝图是“平滑”且易于操作的。
建筑师（潜在扩散）：现在，AI 不再清除单个词的雾气，而是清除蓝图上的雾气。因为蓝图是意义的连续平滑地图，AI 可以更快、更准确地清除雾气。它可以在几步之内就跳出来，确定故事的大致轮廓。
建造者（离散解码器）：一旦蓝图清晰，AI 就将其交给“建造者”（解码器）。建造者查看蓝图并填入实际的砖块（具体的词）。因为蓝图已经明确告诉建造者故事是关于什么的，建造者就不需要猜测了。它可以一次放下许多砖块而不出错。

魔法技巧：蒸馏（“速通”）
即使有了蓝图，驱散雾气也需要一点时间。作者添加了一个名为蒸馏的最后步骤。

想象一位大师建筑师需要 200 步来绘制一张完美的蓝图。
作者训练了一位学生建筑师，让他观察大师并学习绘图的平均方向。
经过训练后，学生只需5 步就能绘制出几乎相同的蓝图。

这对读者意味着什么
论文声称，这个新系统 DiLaDiff 实现了以前系统无法同时做好的两件事：

速度：它生成文本的速度比之前的最佳方法快7 倍。
质量：它没有牺牲文本质量。句子通顺流畅，不像旧有的“快速”方法那样产生胡言乱语。

简而言之
可以把旧方法想象成试图通过一个接一个地猜测每个像素来绘制一幅杰作。新方法（DiLaDiff）则像是先用宽阔、平滑的笔触（潜在蓝图）勾勒出整幅图像，以确立构图，然后快速填充细节。通过使用这种素描过程的“蒸馏”版本，他们可以在极短的时间内以同样高的质量完成最终画作。

该论文完全专注于如何更快、更好地生成文本的机制。它并未声称这将用于特定的医疗诊断、法律建议或其他专业应用，而是改进了 AI 写作的基础引擎。

技术摘要：DiLaDiff：用于语言建模的蒸馏潜在增强扩散模型

问题陈述
扩散语言模型（DLM）在采样质量与吞吐量之间面临根本性的权衡。虽然离散扩散模型（特别是掩码扩散语言模型，MDLM）对分类数据有效，但它们本质上无法捕捉解码 token 之间的相关性。这一局限性源于去噪器将后验分布近似为独立 token 边缘分布的乘积。因此，并行生成多个 token 会导致句子不连贯，迫使模型依赖顺序生成或降低并行度，从而严重限制吞吐量。相反，应用于文本表示（例如嵌入）的连续扩散模型提供了 principled 的采样和蒸馏技术，但往往难以平衡表达力与可解码性之间的权衡（即上下文表示难以解码回离散 token），或者无法达到离散对应模型的性能。

方法论
作者提出了 DiLaDiff（蒸馏潜在增强扩散语言模型），这是一种混合连续 - 离散框架，旨在解决 token 相关性问题的同时保持高吞吐量。该架构包含三个主要组件：

潜在增强自编码器（LaDiff）：
- 编码器： 基于 Transformer 的编码器（ $E_\phi$ ）从上下文表示（源自 BERT 隐藏状态）中学习连续潜在空间（ $z$ ）。该潜在空间旨在捕捉全局 token 相关性和语义信息。
- 解码器： 离散解码器（ $x_\theta$ ）从预训练的 MDLM 初始化。它根据潜在变量 $z$ 的条件生成文本 token。
- 训练： 系统使用改进的证据下界（ELBO）进行训练，该下界结合了自编码与掩码扩散。关键在于，后验分布是在以潜在变量 $z$ 为条件的情况下按 token 进行分解的。由于 $z$ 捕捉了相关性，条件独立性假设成立，从而允许准确的并行 token 生成。
- 正则化： 为了防止潜在空间变得过于稀疏而无法用于生成建模，作者采用了增强鲁棒性的启发式方法，包括坐标归一化、对特征和潜在变量的随机掩码以及高斯噪声注入。
潜在先验学习：
- 由于在推理阶段无法获得干净序列，因此训练一个连续扩散模型（潜在去噪器 $z_\psi$ ）来学习编码器输出上的先验分布 $p(z)$ 。这使得模型能够在解码之前，通过反向概率流 ODE 采样到高质量的潜在变量 $z$ 。
一致性蒸馏（DiLaDiff）：
- 为了进一步降低连续扩散步骤的计算开销，作者应用了 MeanFlow 蒸馏。学生模型（ $u_\eta$ ）被训练来预测两个时间步（ $t$ 和 $r$ ）之间 ODE 轨迹的平均速度，而不是瞬时速度。
- 这种蒸馏使得潜在变量 $z$ 能够在少数步骤（例如 5 步）内生成，同时保持接近教师模型（LaDiff，需要许多步骤，例如 200 步）的性能。

主要贡献

混合架构： 本文提出了一种训练文本自编码器的方案，其中解码器从预训练的离散扩散基线初始化。这产生了一个可控的、正则化的潜在空间，能够捕捉语义信息和 token 相关性。
潜在引导的并行性： 通过利用连续扩散学习潜在先验，该模型（LaDiff）能够在不牺牲文本质量的情况下并行采样多个 token，因为潜在变量解决了离散模型所遗漏的 token 依赖关系。
首个针对文本潜在变量的成功 ODE 蒸馏： 作者提出了 DiLaDiff，这是首次成功尝试对上下文文本潜在变量的 ODE 轨迹进行蒸馏。与离散解码相比，这将潜在生成的成本降低到了可忽略的水平。

结果
实验在 OpenWebText 数据集上进行，序列长度为 1024 个 token。

性能与基线对比： 即使没有蒸馏，LaDiff 的表现也优于掩码扩散基线（MDLM）。在无条件生成中，与使用 1024 个离散步骤的 MDLM 相比，LaDiff 在生成困惑度（GenPPL）上实现了 28.5 的绝对提升，在 MAUVE 指标上实现了 0.08 的绝对提升。
吞吐量： 在批量大小为 32 的情况下，LaDiff 将推理速度提高了 7 倍，优于最优的 MDLM 设置。
蒸馏效率： DiLaDiff 仅使用 5 个潜在扩散步骤（教师模型需要 200 步）就实现了接近其 LaDiff 教师模型的性能。潜在扩散组件的计算开销降至总运行时间的约 5%，使得潜在生成成本相对于离散解码成本变得微不足道。
少步生成： DiLaDiff 在与最先进的少步方法（如 MDLM+SDTT 和 DUO+DCD）竞争时，并未显式蒸馏离散解码器，这证明了潜在增强的有效性。
语义多样性： 分析表明，潜在空间保留了语义信息（通过对噪声潜在变量进行 BERTScore 验证），并允许多样化生成，证据在于解码器即使在较低温度下也能保持熵值。

意义与主张
本文主张 DiLaDiff 成功弥合了连续表示的表达力与离散解码的鲁棒性之间的差距。通过在潜在空间中捕捉全局相关性，该模型克服了离散扩散模型在并行 token 生成方面的固有局限性。作者强调，他们的方法能够在显著降低推理延迟的同时实现高质量文本生成。

本文对其局限性保持了适度的态度：

DiLaDiff 在少步设置下尚未完全达到其教师模型（LaDiff）的性能，表明蒸馏方面仍需进一步工作。
离散解码器本身并未被蒸馏；作者指出，将他们的潜在蒸馏与离散解码器蒸馏相结合，是实现真正最先进少步性能的自然未来扩展方向。
正则化策略和扩散调度设计目前属于启发式方法，尽管作者在附录中提出了更具原则性的尝试。

总之，DiLaDiff 表明，通过潜在蒸馏增强的混合连续 - 离散方法，可以在保持或提高生成质量的同时显著加速语言建模推理，从而有效解决当前扩散语言模型中固有的吞吐量与质量之间的权衡问题。

技术摘要：DiLaDiff：用于语言建模的蒸馏潜在增强扩散模型

类似论文