💬 NLP

TokenTiming: A Dynamic Alignment Method for Universal Speculative Decoding Model Pairs

TokenTiming 是一种通用的推测解码方法，它利用动态时间规整来对齐具有不同词表的草稿模型与目标模型之间的不匹配，从而在无需重新训练模型的情况下实现高效的大语言模型推理加速。

原作者： Sibo Xiao, Jinyuan Fu, Zhongle Xie, Lidan Shou

发布于 2026-05-06

📖 1 分钟阅读☕ 轻松阅读

原作者： Sibo Xiao, Jinyuan Fu, Zhongle Xie, Lidan Shou

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用简单语言和创意类比对论文 TokenTiming 的解释。

核心难题：两人说着不同的方言

想象你有一位非常聪明但缓慢的老师（目标模型），他负责撰写文章。你还有一位快速且精力充沛的学生（草稿模型），他试图猜测老师接下来会写什么。

在人工智能领域，有一种技术叫做推测解码（Speculative Decoding）。其工作原理如下：

学生快速猜测接下来的几个词。
老师检查这些猜测。
如果老师同意，他们就会一次性接受所有单词（速度极快！）。
如果老师不同意，他们就会拒绝猜测，并亲自写出正确的词。

关键难点：要使这种方法生效，学生和老师必须使用完全相同的语言。他们必须使用完全相同的词典。如果学生说"Scal-ing"（两个词），而老师只知道"Scaling"（一个词），系统就会崩溃。老师无法检查学生的作业，因为他们正在查看拼图中不同的碎片。

目前，为了解决这个问题，你必须重新训练学生，使其学习老师特定的词典。这就像强迫一个讲法语的人为了和讲英语的人玩游戏而重新学习英语一样。这既缓慢又昂贵，并且限制了你们只能使用那些已经掌握该特定方言的学生。

解决方案：TokenTiming（通用翻译器）

这篇论文的作者提出了一种名为 TokenTiming 的新方法。他们不是强迫学生重新学习词典，而是构建了一个能够即时工作的智能“翻译器”。

以下是其工作原理，借用对齐两种不同电影字幕的类比：

1. “重新编码”技巧

想象学生写了一个句子："Scal-ing law"。
老师的词典将其视为："Scaling"和"law"。
系统将学生的单词还原为纯文本（"Scaling law"），然后立即使用老师的词典重新将其切分。现在，双方都在查看相同的文本，只是被切分成了不同大小的块。

2. “动态时间规整”（DTW）

这是魔法所在。作者借用了一种源自音乐和语音分析的算法，称为动态时间规整（Dynamic Time Warping, DTW）。

类比：想象你有同一首歌的两段录音。一段由快鼓手演奏，另一段由慢鼓手演奏。尽管节拍没有完美对齐（一个节拍对两个节拍），你仍然可以将快歌的“副歌”与慢歌的“副歌”匹配起来。
在论文中：该算法在学生和老师的词块之间绘制了一张映射图。它计算出学生的"Scal" + "ing"对应老师的"Scaling"。它创建了一个灵活的、多对多的映射关系。

3. “概率交接”

一旦映射图绘制完成，系统就会将学生的置信度（例如，“我有 90% 的把握下一个词是'Scaling'"）转移到老师版本的单词上。然后老师检查：“我的计算结果与此一致吗？”如果一致，单词就被接受。如果不一致，系统就会自我修正。

为何这意义重大

该论文宣称取得了三大主要胜利：

无需再训练：你现在可以将任何小型、快速的模型用作任何大型、缓慢的老师的“学生”，即使它们拥有完全不同的词典。这是“即插即用”的。
速度：在他们的测试中，这种方法使 AI 生成文本的速度比标准方法快了 1.57 倍。它击败了之前试图解决此问题的方法（如 TLI），因为那些方法过于僵化，且在词典不完全匹配时会丢弃信息。
通用性：他们在数学、编程、翻译和摘要任务上测试了该方法。它在所有领域都表现良好，即使“学生”非常小（6800 万参数）而“老师”非常巨大（700 亿参数）。

总结

TokenTiming 就像是人工智能的通用适配器。以前，你需要特定的插头才能插入特定的插座。现在，你拥有一个智能适配器，可以瞬间重塑插头以适配任何插座。这使得我们能够利用最快、最小的 AI 模型来加速最大、最聪明的模型，而无需从头重建它们。

该论文未宣称的内容：

它并未宣称这会让 AI 变得更聪明（写作质量与老师保持一致）。
它并未宣称这适用于医疗诊断或临床用途（它纯粹是为了加快文本生成速度）。
它并未宣称这能消除所有错误；它只是让检查猜测的过程变得更加灵活。

技术摘要：TokenTiming

问题陈述

推测解码（Speculative Decoding, SD）是一种加速大语言模型（LLM）推理的显著技术，它利用较小的“草稿”模型提出令牌，并由较大的“目标”模型进行验证。然而，当前的 SD 方法面临一个根本性约束：草稿模型和目标模型必须共享相同的词汇表（ $V_d = V_t$ ）。这一要求严重限制了可用草稿模型的选择，通常需要从零开始训练新的草稿模型，或者使用特定的模型家族，其中小型变体对于高效加速而言仍然过大。

现有解决“异构词汇表”（即 $V_d \neq V_t$ ）的尝试收效甚微。诸如令牌级交集（Token-Level Intersection, TLI）之类的方法依赖于词汇表的交集，丢弃了词汇表外令牌的概率质量，从而违反了解码过程的无损性。其他方法，如字符串级精确匹配（String-level Exact Match, SLEM），则无法执行概率采样。因此，目前缺乏一个通用的、无损的 SD 框架，能够在无需重新训练的情况下利用任何现成的草稿模型。

方法：TokenTiming

作者提出了TokenTiming，这是一种动态对齐方法，能够在不修改目标或草稿模型的情况下，实现跨异构词汇表的无损推测解码。其核心创新是**动态令牌扭曲（Dynamic Token Warping, DTW）**算法，该算法改编自时间序列分析中的动态时间规整（Dynamic Time Warping, DTW）。

TokenTiming 流程如下：

重新分词（字符串级桥梁）：
在每个解码步骤中，草稿模型生成一系列令牌 $D = (d_1, \dots, d_k)$ 。TokenTiming 不是直接将它们与目标词汇表进行比较，而是首先使用草稿分词器将 $D$ 解码为中间字符串表示 $S$ 。随后，该字符串使用目标分词器重新编码，生成“代理目标令牌序列” $T = (t_1, \dots, t_m)$ 。此步骤确保了底层字符流的一致性，弥合了不同分词粒度之间的差距。
动态令牌扭曲（DTW）对齐：
由于分词器的差异，草稿令牌数量（ $k$ ）和代理目标令牌数量（ $m$ ）往往不同，简单的点对点映射是不可能的。TokenTiming 采用 DTW 来构建 $D$ 和 $T$ 之间的最优多对多对齐路径 $\pi^*$ 。
- 距离度量： 算法使用莱文斯坦距离（编辑距离）来衡量令牌之间的差异。
- 约束： 为确保计算效率，应用了 Sakoe-Chiba 带约束，将搜索空间限制在宽度为 $w$ 的对角带内。这将复杂度从 $O(k \cdot m)$ 降低到 $O(w \cdot \max(k, m))$ 。
- 输出： 结果是一个映射 $\pi^*$ ，将草稿令牌与代理目标令牌对齐，处理一个草稿令牌映射到多个目标令牌（例如 "Scaling" $\to$ "Scale", "ing"）或反之的情况。
概率转移与验证：
利用对齐路径 $\pi^*$ ，将草稿模型的概率分布转移到目标词汇表。
- 多对一： 如果多个草稿令牌映射到单个目标令牌，则将终端草稿令牌的概率分配给该目标令牌。
- 一对多： 如果一个草稿令牌映射到多个目标令牌，则将草稿的概率复制给所有对应的目标令牌。
  随后，目标模型并行验证代理序列 $T$ 。令牌根据标准推测采样准则被接受： $r < \min(1, q(t_j)/p(t_j))$ ，其中 $q$ 是目标概率， $p$ 是转移后的草稿概率。这保证了最终输出分布与目标模型的分布完全相同（无损）。

主要贡献

通用兼容性： TokenTiming 消除了共享词汇表的约束，允许任何现成的草稿模型（无论架构或分词器如何）无需重新训练或修改模型即可插入到目标模型中。
无损加速： 通过 DTW 构建完整的令牌映射，该方法确保推测采样保持无损，即使在词汇表不匹配的情况下，也能保持目标模型输出分布的完整性。
动态对齐： 该方法在每个解码步骤中即时运行，通过 DTW 机制动态处理可变的令牌数量和粒度。

实验结果

作者在多种任务（摘要、翻译、代码生成、数学和问答）上评估了 TokenTiming，使用了各种模型对，包括 7B 到 70B 参数的目标模型，以及从 68M 到 350M 参数的草稿模型。

加速性能： TokenTiming 在各种任务上相比自回归基线实现了高达 1.57 倍 的加速。例如，在使用 Qwen3-0.6B 草稿模型针对 Qwen3-32B 目标模型时，实现了 1.57 倍的加速，显著优于 TLI 基线（1.21 倍）。
与最先进方法（SOTA）的比较： 在 7B 和 33B 目标模型上，TokenTiming 缩小了与同质词汇表最先进方法（如 EAGLE-3）的性能差距。具体而言，在 33B 目标模型上，TokenTiming 实现了 2.27 倍 的加速，超过了 Medusa（1.71 倍）和 EAGLE-1（2.21 倍），同时保留了使用异构草稿的灵活性。
任务鲁棒性： 该方法在所有五个评估的任务类别中 consistently 优于 TLI。在数学和摘要任务中，加速效果尤为显著（例如，在数学任务上达到 2.53 倍）。
开销： DTW 对齐和重新分词引入的计算开销微乎其微，仅占总运行时间的 0.1% 到 0.5%，因为每个解码周期的阻塞时间约为 663 微秒。

意义与主张

该论文声称，TokenTiming 代表了将推测解码转变为 LLM 加速的通用且实用工具的重要一步。通过消除词汇表不匹配这一根本瓶颈，它实现了“草稿模型选择的通用方法”。这使得从业者能够利用大量现有的、小型的异构模型作为草稿生成器，而无需承担训练新草稿头或针对特定目标词汇表重新训练模型的成本和僵化性。这项工作表明，通过“即插即用”的兼容性可以实现高速推理，弥合了 SD 的理论效率与多样化模型生态系统的实际约束之间的差距。