💬 NLP

Smoothie: Smoothing Diffusion on Token Embeddings for Text Generation

本文介绍了“Smoothie”，这是一种新颖的文本生成扩散方法，它基于语义相似性逐步平滑词元嵌入，从而有效弥合连续潜在空间与离散词元解码之间的差距，实现了优于现有扩散模型的生成质量。

原作者： Alexander Shabalin, Viacheslav Meshchaninov, Dmitry Vetrov

发布于 2026-05-18

📖 1 分钟阅读☕ 轻松阅读

原作者： Alexander Shabalin, Viacheslav Meshchaninov, Dmitry Vetrov

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试教一台计算机如何写故事。多年来，最出色的计算机一直像是“强化版自动更正”，逐个预测下一个单词。但最近，一种名为扩散模型（Diffusion Model）的新型人工智能因能创作出令人惊叹的图像、音乐和视频而闻名。

问题出在哪里？这些扩散模型擅长处理平滑、连续的事物（例如绘画中的颜色渐变），但它们在处理文本时却举步维艰，因为文本是离散的。你不可能拥有“半个单词”或“略带红色的单词”。它要么是“猫”，要么是“狗”，中间没有任何过渡。

以往试图解决这一问题的方法，就像试图把方钉硬塞进圆孔：

“模糊”方法：它们将单词视为模糊的颜色。这种方法保持了意义的平滑，却使得将模糊的结果还原为清晰的单词变得不可能。
“随机交换”方法：它们将单词视为牌组中的卡片，随机交换它们。这种方法保持了单词的清晰，却丢失了意义（将“快乐”替换为“悲伤”与替换为“喜悦”同样容易）。

登场：SMOOTHIE——“语义平滑器”

本文的作者提出了一种名为SMOOTHIE（基于令牌嵌入的平滑扩散）的新方法。你可以把它想象成一位神奇的翻译官，它在开始扩散过程之前，就能理解单词之间的关系。

以下是其工作原理，使用一个简单的类比：

1. 意义地图（嵌入空间）

想象字典里的每一个单词都是巨大地图上的一个城市。

“猫”和“小猫”是彼此紧邻的城市。
“猫”和“狗”相距稍远一些。
“猫”和“飞机”则位于世界的两端。

在旧的“模糊”方法中，它们只是给城市的坐标添加噪声，最终导致你无法分辨自己身处哪个城市。而在“随机交换”方法中，它们只是将你随机传送到另一个城市，完全无视了这张地图。

2. 平滑过程

SMOOTHIE 做了一件巧妙的事。它不仅仅是给城市坐标添加噪声，而是查看你当前所在的城市与地图上所有其他城市之间的距离。

前向过程（添加噪声）：想象你正站在“猫”这座城市。随着 AI 添加噪声，它不仅仅是模糊了你的位置，而是开始将你的身份在地图上“涂抹”开来。
- 首先，你开始看起来有点像“小猫”和“猫科动物”（你的邻居）。
- 接着，你开始看起来有点像“狗”（邻居的邻居）。
- 最后，你看起来像一点点所有事物，但总体上你仍然看起来像“猫”。
- 魔法所在：因为 AI 知道“猫”与“小猫”很近，所以它首先将信息向“小猫”方向涂抹。它尊重了语义地图。直到噪声非常大时，它才将“猫”向“飞机”方向涂抹。
反向过程（去噪）：现在，AI 必须逆转这一过程。它从一个混乱、涂抹的信号（混合了“猫”、“小猫”、“狗”等）开始，逆向工作。因为它了解这张地图，它可以说：“啊，这个混乱的信号主要是‘猫’，带有一点点‘小猫’的噪声，所以让我们把它清理回‘猫’。”

3. 为何这很重要

该论文声称，通过在保持单词独特性（离散性质）的同时尊重单词之间的“距离”（语义相似性），SMOOTHIE 实现了两全其美。

更高质量：在他们的测试中，SMOOTHIE 撰写的故事、摘要和改写文本优于以往的扩散模型。它甚至能与顶尖的“逐词”预测模型相媲美。
可控性：他们发现了一个“旋钮”（称为 $\tilde{\delta}$ $\tilde{δ}$ ），可以控制清理过程中允许多少随机性。
- 调低它：AI 会写出非常安全、标准的句子（高质量，低多样性）。
- 调高它：AI 会变得更加富有创意和独特（高多样性，质量略低）。
- 这使得他们能够平衡“流畅度”（听起来自然吗？）与“多样性”（有趣吗？）。

权衡：速度与智能

这里有一个陷阱。因为 SMOOTHIE 必须不断检查当前单词与字典中所有其他单词之间的距离，以进行这种“平滑”，所以它比某些其他方法更慢。

类比：想象一位图书管理员，他不再只是随手取一本书，而是必须走过每一条过道，在决定取哪本书之前，先检查每本书与他正在寻找的书有多相似。这花费了更多时间，但做出的决定要明智得多。

总结

本文介绍了SMOOTHIE，这是一种利用扩散技术生成文本的 AI 新方法。它不再将单词视为随机符号或模糊颜色，而是将其视为意义地图上的点。通过根据单词在意义上的接近程度对文本进行“平滑”，它生成了高质量的文本，既尊重了单词的离散性质，又尊重了它们的语义关系，在多项写作任务中超越了以往的方法。

技术摘要：SMOOTHIE（基于 Token 嵌入的平滑扩散）

问题陈述

扩散模型在图像和音频等连续领域取得了最先进的成果，但由于语言的离散性质，其在文本生成应用上面临重大挑战。现有方法通常分为两类，各自具有明显的局限性：

潜在空间中的高斯扩散：这些方法对连续的 Token 嵌入施加高斯噪声。虽然它们保留了语义结构（基于欧几里得语义空间假设），但在离散解码步骤上存在困难，通常需要将连续向量显式映射回 Token，这一过程可能不稳定或造成信息损失。
分类/单纯形扩散：这些方法直接在词汇概率单纯形或分类分布上操作。虽然它们尊重了文本的离散性质并消除了对显式解码的需求，但在加噪过程中通常忽略了 Token 之间的语义关系。这导致信息的退化更加混乱且缺乏意义。

核心问题在于缺乏一种扩散框架，既能尊重文本的离散性质，又能以在正向过程中保持语义连贯的方式逐步移除语义信息。

方法论：SMOOTHIE

作者提出了 SMOOTHIE（基于 Token 嵌入的平滑扩散），这是一种新颖的框架，通过基于语义相似性平滑 Token 嵌入，弥合了连续扩散与离散扩散之间的鸿沟。

1. 前向扩散过程（加噪）

SMOOTHIE 不是直接将噪声添加到嵌入或分类概率上，而是将目标序列中的每个 Token $w_i$ 表示为其嵌入与词汇表中所有 Token 嵌入之间的负欧几里得距离平方向量：
$D_0 = \left( -\|E_{w_i} - E_j\|^2 \right)_{i,j=1}^{m,V}$
其中 $E$ 是固定的嵌入矩阵（例如来自 BERT）， $m$ 是序列长度， $V$ 是词汇表大小。

前向过程通过添加高斯噪声逐渐扰动这些距离向量：
$q(D_t | D_0) = \mathcal{N}\left(D_t \mid \frac{1}{\sigma_t^2}D_0, \delta^2 I\right)$
这里， $\sigma_t$ 是控制带宽的噪声调度器， $\delta$ 控制随机性。噪声向量 $D_t$ 使用 Softmax 函数转换为词汇表上的概率分布： $p_t = \text{softmax}(D_t)$ 。

关键洞察：随着噪声增加（ $\sigma_t$ 增大），最初集中在正确 Token 上的概率质量逐渐分布到其他 Token 上。关键在于，由于输入基于欧几里得距离，概率质量首先扩散到语义相似的 Token（那些欧几里得距离较小的 Token），然后才到达遥远的 Token。这模拟了“热耗散”原理，确保语义信息是逐步而非混乱地被移除。

2. 反向扩散过程（去噪）

反向过程被建模为马尔可夫链，其中神经网络 $f_\theta$ 从噪声输入 $p_t$ 预测原始距离向量 $D_0$ （或其缩放版本）。模型通过最小化预测距离向量与实际距离向量之间的均方误差（MSE）进行训练：
$L(\theta) = \mathbb{E}[\|D_0 - g_\theta(p_t, t)\|^2]$
作者证明，预测距离向量等同于预测期望嵌入，这使得模型能够输出干净的嵌入估计，然后通过最近邻搜索或 argmax 将其转换回 Token。

3. 采样与求解器

作者引入了一种特定的采样方案（公式 9），该方案通过直接将前向过程应用于模型的预测来更新潜在状态，而不是像标准 DDPM 求解器那样依赖先前的潜在状态。
$D_{t-1} = \frac{1}{\sigma_{t-1}^2}D_0(f_\theta(p_t, t)) + \tilde{\delta}\epsilon$
这种方法在更新步骤中忽略了先前的隐藏状态。作者认为，这对于文本嵌入的稀疏数据分布是有益的，降低了潜在表示偏离数据流形的风险。

4. 架构与条件控制

架构：基于带有 UNet 风格跳跃连接的 Transformer 解码器层。
条件控制：对于序列到序列任务，额外的 Transformer 编码器处理源序列，并通过交叉注意力机制集成。
自条件控制：模型利用自条件控制，将自身的先前预测作为输入馈送给后续步骤，以提高稳定性和质量。

主要贡献

新颖的扩散框架：SMOOTHIE 是第一种同时尊重文本离散性质并通过基于欧几里得距离平滑 Token 嵌入来逐步移除语义信息的文本扩散方法。
单纯形扩散的泛化：作者从理论上证明，其基于距离的潜在空间泛化了基于单纯形的潜在空间（用于 SSD-LM 和 TESS）。单纯形扩散被证明是 SMOOTHIE 的一个特例，其中距离度量是平凡的（相同 Token 为 0，否则为 1）。
改进的采样求解器：本文提出了一种在更新过程中忽略先前隐藏状态的求解器，经验表明其在序列到序列任务上优于标准 DDPM 和 DDIM 求解器。
实证优越性：大量实验表明，SMOOTHIE 优于现有的基于扩散的模型（包括基于嵌入和基于单纯形的变体），并在多项任务中达到了与自回归模型（如 BART 和 GPT-2）相当的质量。

实验结果

作者在无条件的生成任务（ROCStories）和四个序列到序列任务（Quora Question Pairs, Quasar-T, XSum, ParaDetox）上评估了 SMOOTHIE。

性能：SMOOTHIE 始终优于其他基于扩散的基线（DiffuSeq, TESS, SSD-LM, TEncDM 等）以及在相同框架内训练的替代潜在空间实现（基于嵌入和基于单纯形的扩散）。
指标：
- XSum：实现了 68.8 的 BERTScore 和 26.0 的 ROUGE-L，优于其他扩散方法，并接近自回归基线。
- ROCStories：在扩散模型中取得了最高的 MAUVE 分数（80.7），几乎与 GPT-2（78.9）持平，同时保持了高多样性。
- ParaDetox：在文本解毒方面取得了最高的 J-Score（51.7）。
消融研究：
- $\tilde{\delta}$ （随机性）：对于序列到序列任务，较低的 $\tilde{\delta}$ 值（例如 0.1）提高了困惑度和连贯性，而稍高的值对于无条件生成以保持多样性是最优的。
- 求解器：提出的求解器（公式 9）在所有任务中始终优于 DDPM 和 DDIM。
- 嵌入：模型依赖于预训练的 BERT 嵌入。消融实验表明，虽然 GPT-2 嵌入表现相似，但 GloVe 嵌入导致质量较低，突显了嵌入质量的重要性。

意义与主张

本文声称，SMOOTHIE 通过解决语义保持与离散结构之间的权衡，代表了文本扩散的重要进步。通过将语义关系直接通过欧几里得距离纳入加噪过程，该方法实现了一个“自然解码过程”，其中信息是逐步且有意义地被移除的。

作者谦逊地指出，虽然该方法适用于其他具有内在相似性的分类领域（如图、蛋白质序列），但目前它依赖于预训练嵌入而非端到端训练，由于 MSE 损失的稳定性问题，这仍然是一个挑战。他们还承认每一步计算成对距离的计算瓶颈，但认为性能增益证明了成本的合理性，并且该方法为需要高多样性和可控性的任务提供了自回归模型的稳健替代方案。

这项工作表明，潜在空间的选择和特定的扩散求解器与模型架构本身一样关键，而 SMOOTHIE 提供了一个统一的框架，利用了连续扩散和离散扩散方法的优势。