💬 NLP

Token Time Continuous Diffusion for Language Modeling

本文介绍了 Token 时间连续扩散模型（Token Time Continuous Diffusion, TTCD），这是一种利用逐 Token 时间调度将噪声确定性地映射到 Token 的连续空间扩散语言模型，与现有的离散模型相比，该模型在条件生成和高速推理方面实现了更优越的性能。

原作者： Parikshit Bansal, Sujay Sanghavi

发布于 2026-07-17

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Parikshit Bansal, Sujay Sanghavi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一个机器人如何写故事。很长一段时间以来，教它最好的方法是让机器人一次猜一个词，就像是在玩填字游戏，但你只能看到当前方格的答案。这种方法效果很好，但很慢，因为机器人在每写一个词之后都必须停下来思考。最近，科学家们尝试了一种不同的方法，叫做“扩散”（diffusion）。与其逐词猜测，不如从满页的静态噪声开始——就像没有信号的电视屏幕一样——然后慢慢清理它，直到文字显现出来。这就像是在观察一个浑浊的水洼如何慢慢变成一个清澈的池塘。

然而，这里有一个问题。当你试图非常快地（仅用几步）清理整个页面时，机器人会感到困惑。它试图同时决定多个词，但因为它同时观察所有词，所以会出错。这就像是试图通过一次抓起一把拼图碎片并同时猜测它们的位置，而不是先找准一个位置后再移动到下一个，来解决一个拼图游戏。这篇论文介绍了一种修复这个混乱的新方法，通过给每个词自己的专属进度表，让机器人写得更快、更好。

论文：Token Time Continuous Diffusion (TTCD)

作者 Parikshit Bansal 和 Sujay Sanghavi 提出了名为 Token Time Continuous Diffusion (TTCD) 的新方法。你可以把他们的想法想象成给句子中的每一个词都配备了一个专属的秒表。

在之前的“扩散”模型中，整个句子被视为一个整体。所有人同时从噪声状态开始，并被要求在同一时刻变成清晰的词。作者意识到这正是问题所在。在现实生活中，有些词很容易猜（比如“the”或“I”），而有些词很难（比如特定的名字或复杂的动词）。强迫简单的词等待困难的词会拖慢整体速度，并且在尝试加速时会导致错误。

TTCD 改变了规则。不再使用针对整个句子的全局时钟，而是让每个词拥有自己的“Token 时间”。

简单的词： 如果模型对一个词非常有把握（低不确定性），它就会走快速通道。它会迅速从噪声变为清晰的词。
困难的词： 如果模型感到困惑，那个词就会移动得慢一些，花更多时间去理清自己。

想象一个教室里老师在提问。在旧系统中，全班同学必须在同一秒钟举手。如果有一个学生反应慢，所有人都要等待。在 TTCD 系统中，知道答案的学生会立即举手，而那些还在思考的学生则会多花几秒钟。老师（AI）可以观察谁知道什么，并利用这些信息来帮助其他人更快地得出答案。

他们是如何测试的

为了验证这种“个人进度表”的想法是否奏效，研究人员通过两种截然不同的方式测试了它：

数独测试： 他们让模型解决 9x9 的数独谜题。这是一个极好的测试，因为它需要严格的逻辑；如果你弄错了一个数字，整个谜题都会失败。
- 结果： 当他们尝试仅用 2 步（非常快）来解决谜题时，旧方法惨败，正确率不足 12%。然而，新的 TTCD 方法成功解决了 31.51% 的谜题。它是唯一能在这种速度下保持不崩溃的方法。
故事测试： 他们在大量的互联网文本（OpenWebText）上训练了一个模型，以观察它写故事的能力。他们将自己的方法与其他顶尖模型进行了对比，其中包括一些经过“蒸馏”（一种通过模仿更聪明的老师来使其运行更快的专业说法）的模型。
- 结果： 在测试模型生成文本仅需 1 到 4 步 的情况下，TTCD 产生的写作质量高于其他模型。它能够保持文本的多样性和趣味性，而不会陷入循环或编造胡言乱语。论文指出，虽然该模型在总体质量上与其它模型相当，但在“条件生成”（即当你给出一个起始句/提示词时）方面，它比竞争对手更具逻辑性，能更好地延续故事。

他们的发现（以及未实现的发现）

作者确信他们的“每 Token 时间”想法解决了特定的问题：即“分解问题”（factorization problem）。这是指模型在没有足够思考时间的情况下尝试同时猜测多个词时所犯的错误。通过让每个词以不同的速度完成其“清理”过程，TTCD 避开了这个陷阱。

然而，论文也谨慎地表示，这并不是解决一切问题的万灵药。

规模： 他们测试的模型相对较小，拥有 1.6 亿个参数。他们承认，要真正与现有的巨型 AI 模型竞争，他们需要将规模扩大到 10 亿个参数，而目前尚未做到这一点。
速度 vs 质量： 虽然 TTCD 在高速度（少步数）下表现出色，但论文并未声称它在所有速度下都是绝对最好的。在一些较慢的多步场景中，其他模型的表现也非常接近。
“捷径”： 为了让模型更快，他们使用了“自我蒸馏”（或“捷径模型”）技术。这使得他们能够创建一个只需几步即可生成高质量文本的 TTCD 版本。

底线

这篇论文表明，我们教 AI 写作的方式不必是一个僵化的、一刀切的过程。通过给每个词自己的节奏——让确定的词冲刺，让不确定的词慢跑——AI 可以写得更快、更准确。这是一个巧妙的微调，它将混乱、嘈杂的局面变成了一场组织有序的比赛，证明了有时，最好的前进方式就是让每个人都以自己的速度移动。

技术摘要：用于语言建模的 Token 时间连续扩散模型 (TTCD)

问题陈述

目前的扩散语言模型 (LM) 主要在离散 Token 空间中运行，利用诸如取消掩码（unmasking）空 Token 或从均匀随机性中去噪等迭代优化过程。虽然这些模型取得了具有竞争力的基准成绩，但它们面临着一个被称为因子化问题 (factorization problem) 的关键局限，尤其是在高加速（少步数）生成设置下。当多个 Token 在单个步骤中同时进行去噪时，模型采样自乘积边缘分布而非真实的底层联合分布。这导致随着生成步数的减少，文本质量会出现显著下降。

此外，现有的连续空间扩散模型面临“突变”问题，即 Token 嵌入在高度噪声水平下保持无信息状态，而在低噪声水平下则表现出高度确定性，两者之间存在极窄的中间过渡带。试图通过全局时间扭曲（global time warping）来解决此问题的尝试，未能考虑到序列中不同 Token 推导难度的内在差异性。此外，全局时间模型难以区分干净的输入提示词（prompt）与需要生成的噪声画布（canvas），从而导致条件生成效果不佳。

方法论：Token 时间连续扩散 (TTCD)

作者提出了 Token 时间连续扩散 (TTCD)，这是一个在连续嵌入空间中运行并引入了 每 Token 时间 (per-token times) 概念的新颖框架。

核心机制

连续空间演化： TTCD 将高斯噪声（时间 $t=0$ ）确定性地映射到干净的 Token 嵌入（时间 $t=1$ ），无需中间采样步骤，从而避免了离散空间固有的因子化问题。
每 Token 时间： 不同于以往方法对所有 Token 施加单一全局噪声水平 ( $t_g$ $t_{g}$ ) 的做法，TTCD 为每个 Token $l$ $l$ 分配一个唯一的局部时间 $t_l$ $t_{l}$ 。
- 秩分配 (Rank Assignment)： 每个 Token 被分配一个秩 $u_l \in [0, 1]$ 。
- 时间函数： 局部时间由函数 $t_l = F(t_g, u_l)$ 决定。作者选择 $F$ 使其遵循 Beta 分布，确保高秩 Token（较易推导的 Token）比低秩 Token 更快地从噪声向数据演进。
- 属性： 函数 $F$ 确保在全局时间 $t_g=0$ 时，所有 Token 均为噪声；在 $t_g=1$ 时，所有 Token 均为数据；且局部时间的平均值等于全局时间。
动态去噪： 在推理过程中，Token 根据其分配的秩以不同的速率进行去噪。“确定”的 Token（低熵）被分配较高的秩并更早去噪，而“不确定”的 Token 则较晚去噪。这使得模型能够根据已确定的“确定”Token 来对困难 Token 的生成进行条件化，从而更好地建模 Token 间的依赖关系。
条件生成： 对于前缀条件任务，输入提示词的 Token 在整个过程中被分配固定的时间 $t=1$ （干净），而画布 Token 则从 $t=0$ 演化至 $t=1$ 。这明确区分了提示词与生成内容。
架构修改： 该模型通过将 DiT 架构中的全局时间调节（adaptive LayerNorm 中的全局时间调节）替换为每 Token 时间调节来适配。这种修改不会引入额外的参数。
蒸馏（快捷模型）： 为了加速推理，作者使用“快捷 (shortcut)”模型采用了一种自蒸馏策略。模型被训练用于预测任意起始和结束全局时间之间的平均流速度，并以 Token 时间为条件，从而实现极少步数（例如 1-4 步）的高质量生成。

核心贡献

具有每 Token 速率的连续空间： 提出了一种连续空间扩散语言模型，其中 Token 根据分配的秩以不同的速率进行去噪，使“Token 身份具有不同程度的可推导性”这一想法形式化。
无参数架构变更： 对标准 DiT 架构进行了修改，以支持不增加参数量的每 Token 时间调节。
最先进的少步性能： 证明了 TTCD 在高加速（少步生成）机制下优于现有的离散和连续扩散模型。
有效的蒸馏： 成功应用了基于快捷模型的自蒸馏技术，在少步生成方面取得了最先进的结果。

实验结果

作者在三个任务上评估了 TTCD：

数独解题（算法推理）：
- 在 2 步生成预算的 9x9 数独求解中，TTCD 达到了 31.51% 的准确率。
- 这显著优于离散掩码基准（基于熵的取消掩码为 11.65%）和朴素连续方法（接近 0%）。
- 结果强调了 TTCD 通过正确排列 Token 确定性等级并避免了困扰离散并行采样的因子化错误的能力。
OpenWebText 语言生成：
- 训练并自蒸馏了一个 160M 参数的 TTCD 模型。
- 无条件生成： 在 1-4 步生成中，TTCD（蒸馏后）在生成困惑度 (Gen PPL) 和文本熵方面与离散基准（Duo, MDLM）及连续基准（FLM）相当或更优。值得注意的是，TTCD 保持了比 FLM 更高的熵（多样性），而 FLM 则遭受了熵崩溃问题。
- 条件生成： 在前缀条件任务（给定提示词生成 32 或 128 个 Token）中，TTCD 显著优于所有基准模型，包括 Duo 和 FLM 的蒸馏版本。每 Token 时间机制被证明非常适合处理干净提示词与噪声画布之间的差异。
分子生成 (QM9)：
- 在分类器自由引导实验中，具有 Token 时间的连续空间方法 (TTCD) 比离散基准生成了更多有效的分子，并实现了更好的前沿性能。

意义与主张

论文声称 TTCD 通过在连续空间中运行解决了离散扩散模型的根本“因子化问题”，并通过引入每 Token 时间解决了现有连续模型的“突变”问题。

作者断言：

高加速可行性： TTCD 是第一个在高加速（少步生成）设置下实现与离散模型具有竞争性或更优性能的扩散语言模型，而在该设置下，离散模型通常会因为采样不准确而失效。
条件生成优势： 对每 Token 时间的显式处理使得条件生成更加卓越，因为模型可以自然地区分固定的输入提示词和演化的输出序列。
可扩展性： 该方法能有效扩展，通过训练一个 160M 参数的模型，在相同数据上超越了规模相似的自蒸馏基准模型。

作者对局限性保持谦逊，指出目前的结果仅限于 100M-160M 参数规模，若要与多 Token 预测器自回归模型进行全面比较，则需要扩展到 1B+ 参数。他们还建议，Token 时间的概念未来可能被扩展到均匀加噪的离散模型中。