💬 NLP

LiLiCorr: Lightweight Likelihood Correlation of Parallel Drafts for Speculative Decoding

LiLiCorr 是一种轻量级方法，它通过高效地关联草拟者（drafter）的逐位置边缘分布以捕捉联合标记相干性，从而在保持极低延迟开销的同时，显著增加接受长度并提升整体吞吐量。

原作者： Matan Rusanovsky, Yoav Miron, Roy Uziel, Omer Belhasin, Ran Zilberstein, Maor Ashkenazi, Michael Elad

发布于 2026-08-24

📖 1 分钟阅读☕ 轻松阅读

原作者： Matan Rusanovsky, Yoav Miron, Roy Uziel, Omer Belhasin, Ran Zilberstein, Maor Ashkenazi, Michael Elad

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个这样的世界：阅读一本书是瞬间完成的，并非因为文字出现得更快，而是因为你的大脑能在你翻页之前就预判出整个段落。这就是一种被称为“投机采样”（speculative decoding）的技术所承诺的前景，这种方法旨在让人工智能以空前的速度进行表达和写作。其核心过程依赖于一种简单的分工：一个小巧、快速的模型充当“草拟员”，负责猜测接下来的内容；而一个更大、更强大的模型则充当“法官”，负责验证这些猜测。如果法官认可草拟员的预测，系统就会接受该猜测并继续推进，从而跳过了从头开始逐字生成的缓慢步骤。草拟员被信任能正确写出长串单词的速度越快，整个对话的流动就越顺畅。然而，一个持久的问题一直阻碍着这项技术的发展：草拟员往往能把单个词写对，却无法让它们组合成连贯的句子。这就像一位音乐家，虽然每个音符单独演奏时都完美无瑕，但当音符连贯起来时，却创造出了一种刺耳且毫无意义的旋律。

英伟达（NVIDIA）的研究人员推出了一种名为 LiLiCorr 的新方法，旨在解决这个特定的连贯性问题，且不牺牲速度。该系统基于一种名为 DFlash 的草拟模型，它能够通过一次快速的爆发式输出，预测出一整块未来的词组。虽然 DFlash 速度极快，但它将每个词的位置视为独立事件，这意味着它可能会在第一个位置建议“The dog”（那只狗），而在第二个位置建议“meows”（喵喵叫），却未能意识到在整个句子的语境下，“The cat”（那只猫）会是更好的选择。这种新方法并不试图重新训练草拟员使其变得完美，而是增加了一个轻量级的逻辑层，充当快速编辑的角色。这个编辑器会查看草拟员为每个位置提出的前几个候选词，并检查它们之间的衔接程度。它为每个候选词分配一对方向信号：一个指示该词与前一个词的契合度，另一个指示它与后一个词的衔接度。通过比较这些信号，系统可以瞬间识别出哪种词序构成了一条平滑且逻辑通顺的路径，从而剔除那些会导致大模型拒绝的突兀组合。

这一设计的精妙之处在于其高效性。系统并非通过缓慢的顺序链条逐一检查每个词，而是利用一次大规模的并行计算，同时评估候选词之间所有可能的连接。这使得系统几乎可以在瞬间找到最连贯的序列，仅留下一个简单的最后步骤来锁定选择。研究人员发现，通过训练这个编辑器与草拟员协同工作，两个模型学会了相互配合，草拟员最终提出的候选词也更容易被编辑器链接成长且被接受的链条。在涵盖从解决数学问题到编写代码及进行对话的九项不同基准测试中，这种新方法表现始终优于以往的方法。与未经编辑的草拟员相比，它将接受词的数量提高了 9% 到 19%，并在 72 个测试场景中的 70 个场景中实现了最高的整体速度。即使当系统处理的输入长度是其训练数据的十倍时，它依然保持领先地位，证明了这种链接候选词的方法具有鲁棒性和可扩展性。

结果表明，加速 AI 的瓶颈不仅在于让草拟员更快，还在于让草拟员的猜测更容易被验证。通过在将猜测发送给法官之前修复其连贯性，系统避免了拒绝和重新生成的浪费时间。这种方法不需要主模型投入巨大的计算能力来进行关联处理；相反，它使用了一个微小的专门网络，仅增加了极少的时间——仅占每块文本总时间的约 2.8%。研究人员证明，这一小部分的增加带来了巨大的回报，使系统处理信息的速度显著提升。虽然其他方法试图通过对每个单词进行复杂的检查或要求主模型做额外工作来解决此问题，但 LiLiCorr 通过将草拟员已提供的信息组织成易于导航的结构，从而实现了其目标。研究结果表明，对于未来高速 AI 而言，关键可能不在于构建更大的模型，而在于构建更聪明、更高效的方式，在它们生成的词汇之间建立起有效的联系。

技术摘要：LiLiCorr

问题陈述

投机采样（Speculative decoding）通过使用较小的“草拟”（drafter）模型来提议未来的 token，并由较大的“目标”（target）模型进行并行验证，从而加速自回归语言模型的推理。一类极具前景的草拟模型，例如 DFlash，通过一种扩散式架构在单次前向传播中预测整个未来的 token 块。然而，这些模型是在逐位置边缘分布（即独立预测特定位置 token 的概率）上进行训练的，而非联合块分布（joint block distribution）。

因此，尽管 DFlash 生成的 token 在个体上是合理的，但在联合分布上往往是不连贯的。在每个槽位（slot）独立选择概率最大的 token，往往会导致生成的序列被目标模型过早拒绝，从而限制了接受长度和由此带来的加速效果。从这些边缘分布中恢复出连贯序列在组合数学上是极其困难的，因为 $B$ 个位置、词表大小为 $V$ 的联合分布拥有 $V^B$ 种实现方式，使得显式建模变得不可行。现有解决方案要么依赖于迭代优化（增加昂贵的草拟器多次前向传播），要么将相关性负担转移给目标模型（这违背了投机采样的初衷），或者使用逐个槽位处理的顺序自回归修正网络。

方法论：LiLiCorr

LiLiCorr（轻量级似然相关性，Lightweight Likelihood Correlation）通过在单次网络传递中从逐槽位边缘分布中恢复连贯序列来解决这一问题。它将该问题视为学习一个候选格点（candidate lattice）上的评分模型，而非对完整的联合分布进行建模。

1. 候选格点与表示

LiLiCorr 不仅仅在每个槽位选择单个 token，而是保留来自草拟器边缘分布的每个槽位的前 $K$ 个候选 token。

节点构建： 每个候选 token 被表示为一个向量（节点），该向量由四个部分求和而成：
1. 冻结的目标模型中该 token 的输入嵌入（embedding）。
2. 该槽位的草拟器隐藏状态（在同一槽位的候选间共享）。
3. 一个处理草拟器置信度标量特征（如 log-prob、排名等）的小型网络。
4. 用于槽位索引和候选排名的学习编码。
上下文处理： 一个轻量级的双向 Transformer 对整个 $(B-1) \times K$ 的格点进行联合处理。这使得每个候选 token 都能与所有其他候选进行信息交换（包括同一槽位内的竞争候选以及相邻槽位的候选），从而编码整个块的上下文。

2. 通过入/出向量实现相关性

对于每个候选节点，LiLiCorr 会生成两个归一化向量：一个入向量（in vector, $i$ ）和一个出向量（out vector, $o$ ）。

成对评分： 相邻槽位 $s$ 和 $s+1$ 通过计算 $s$ 处候选的“出”向量与 $s+1$ 处候选的“入”向量之间的余弦相似度来进行耦合。
效率： 这种形式将相关性逻辑简化为批处理矩阵乘法。在单次前向传播后，整个块的所有成对交互都可以并行计算。
稳定性： 使用余弦相似度（通过常数 $\sigma$ 缩放）可以防止由于数值过大而导致在联合训练期间使共享的 DFlash 主干网络失稳。

3. 训练目标

LiLiCorr 与 DFlash 草拟器进行协同训练。训练损失由三个部分组成：

DFlash 损失： 草拟器的标准逐槽位交叉熵损失。
预言机前缀交叉熵 ( $L_{CE}$ )：一种教师强制（teacher-forced）损失，用于训练 LiLiCorr 在给定前一槽位预言机 token 的条件下，使真实 token 的排名最高。至关重要的是，监督仅应用于“预言机前缀”（oracle prefix）——即真实 token 存在于前 $K$ 个候选中的最长领先槽位序列。
干扰惩罚 ( $L_{dist}$ )：一个代价感知项，惩罚那些目标模型评级较低的候选。它最小化相对于真实值的预期目标代价，特别是压低那些会被目标模型拒绝的“干扰者”，从而扩大正确 token 的边际。

4. 解码

在推理阶段，过程分为两个阶段：

并行评分： 单次 LiLiCorr 传递计算所有入/出向量及所有成对匹配得分。
顺序贪婪行走： 块按从左到右的顺序提交。在每个槽位，算法选择与前一个已提交候选匹配度最高的候选。这种贪婪行走是顺序进行的，但不涉及任何网络权重，因此计算成本极低。

核心贡献

新颖的形式化： 一种基于似然的方法，通过学习候选路径上的评分模型，从逐槽位边缘分布中恢复连贯序列，避免了全联合分布建模的不可行性。
并行相关性： 将相关性逻辑简化为高效、可并行的矩阵运算。不同于以往在每个槽位运行一次修正网络的做法，LiLiCorr 在单次传递中对整个候选格点进行评分，随后进行廉价的贪婪选择。
达到 SOTA 性能： 该方法在多种设置下刷新了投机采样的基准，在多样化的场景中优于同时期的工作（如 Domino、DSpark）以及原始的 DFlash 草拟器。

实验结果

作者在九个基准测试（数学、代码、对话）上，使用 Qwen3-8B 和 Qwen3-4B 目标模型，在贪婪解码和温度为 1 的解码模式下对 LiLiCorr 进行了评估。

接受长度： 与原始 DFlash 草拟器相比，LiLiCorr 在所有基准测试中将接受长度提升了 9% 至 19%。
吞吐量： LiLiCorr 在 72 个测试设置（涵盖不同的基准、目标规模、解码机制和并发水平）中，在 70 个中实现了最高的吞吐量。
- 它比最强的基线（Domino）平均高出约 5.3%。
- 经过优化后，LiLiCorr 的头部仅占每块延迟的 2.8%，且其成本约为 Domino 头的 2.4 倍。
泛化能力： 即使在输入长度比训练范围长一个数量级（高达 32K tokens）的情况下，只要扩展了位置编码（例如通过 YaRN），其性能优势依然存在。
消融实验： 实验证明干扰惩罚项至关重要，尤其是在短提示词场景下，它能将接受长度额外提升 1.5% 至 8.9%。

意义与主张

论文声称，LiLiCorr 代表了投机采样领域的一项结构性改进，它将草拟 token 的相关性与顺序自回归传递解耦。通过在单次并行传递中完成所有相关性工作，它在最大化接受长度的同时，将草拟器的开销降至最低。

作者强调，该方法的范畴是适度的：它依赖于草拟器能够提出包含真实值的候选池（即“预言机前缀”）。如果正确的 token 不在前 $K$ 个候选之中，LiLiCorr 则无法将其恢复。然而，在候选池的约束范围内，它提供了一种极其高效的机制来恢复联合连贯性，使其成为在包括高并发和长上下文场景在内的广泛服务条件下的最快系统。这项工作表明，未来的改进可以探索超越相邻对的槽位耦合，尽管论文指出，在考虑前缀接受度时，是否这种更长程的耦合能带来物有所值的收益仍是一个开放性问题。