🤖 machine learning

D-PACE: Dynamic Position-Aware Cross-Entropy for Parallel Speculative Drafting

本文介绍了 D-PACE，一种动态位置感知交叉熵损失函数，它根据预期的接受草稿长度自适应地调整训练权重，从而在不改变模型架构或推理流程的情况下提升并行推测解码的效率和加速比。

原作者： Tianyu Wu, Yu Yao, Zhenting Qi, Han Zheng, Zhuohan Wang, Haoran Ma, Lawrence Liao, Himabindu Lakkaraju, Ju Li, Yilun Du

发布于 2026-05-20

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Tianyu Wu, Yu Yao, Zhenting Qi, Han Zheng, Zhuohan Wang, Haoran Ma, Lawrence Liao, Himabindu Lakkaraju, Ju Li, Yilun Du

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试写一个长篇故事，但有一条严格的规则：你每次只能写一个词，而且必须等待一位“老板”（一台非常聪明但速度很慢的计算机）检查完这个词后，才能写下一个词。这就是目前大多数人工智能模型的工作方式。它很准确，但极其缓慢，因为老板总是让你等待。

捷径：推测解码
为了加快速度，研究人员发明了一种“草稿”系统。他们使用一个小型、快速的助手（草稿模型）来一次性猜测接下来的几个词（比如一次猜 16 个词）。然后，大老板一次性检查这 16 个词。

如果助手猜对了第一个词，老板就接受它。
如果助手猜对了第二个词，老板也接受它。
关键点：一旦助手犯了一个错误，老板就会立即停止检查。即使助手完美地猜对了第 15 个词，该错误之后的所有内容都会被丢弃。

旧方法（DFlash）的问题
这篇论文讨论了一种称为DFlash的方法，它是一个非常优秀的助手，能一次性猜测所有 16 个词。然而，在训练这个助手时，旧方法使用了一条固定规则来决定对错误的重视程度。

旧规则：“我们非常关注第一个词，对第二个词的关注稍少一些，对第三个词的关注更少，而对第 16 个词几乎不关注。”
为何失效：想象一下，助手在第一个词上变得非常擅长。现在，第一个词很少出错。真正的瓶颈（阻碍老板接受整个词块的因素）已经转移到了第 10 个或第 12 个词上。但旧规则仍然忽略第 12 个词，因为它在序列中“靠后”。助手继续浪费精力试图在第一个词上做到完美（它已经做到了），却忽视了实际上导致失败的后面的词。

解决方案：D-PACE（智能教练）
作者提出了D-PACE，它就像一个智能、动态的教练。教练不使用固定规则，而是实时观察助手，并问道：“在这个词块中，具体是哪个词目前导致了最多的拒绝？”

以下是 D-PACE 如何工作的简单类比：

“信任链”：将这 16 个词想象成一条链条。为了让老板接受整条链条，每一个链接都必须牢固。如果链接 #1 断裂，整条链条就毫无用处。如果链接 #1 保持完好但链接 #5 断裂，那么链接 6 到 16 也同样无用。
“代理”（水晶球）：论文创建了一个数学上的“水晶球”（称为代理），它根据助手对每个词的置信度，来估计被接受的词链会有多长。
动态加权：
- 如果助手在第 #1 个词上表现不稳，教练就会喊道：“专注于第 #1 个词！”因为那是薄弱环节。
- 如果助手在第 #1 个词上表现很棒，但在第 #10 个词上表现不稳，教练会立即转移焦点：“第 #1 个词做得很好！现在，修复第 #10 个词，因为那是阻碍我们获得完整词块的原因！”
- 教练将**更多的训练点数（权重）**分配给当前成为瓶颈的那个特定词。

D-PACE 的关键特性

无需新硬件：它不需要更大的计算机或新型人工智能模型。它只是改变了模型在训练期间学习的方式。
非对称平滑：为了防止当助手非常不确定时数学计算崩溃（这会导致“信任链”归零），教练使用了一张安全网。它适度平滑置信度分数以保持数学稳定性，但不改变实际的学习目标。
快速：它几乎不会给训练过程增加额外时间（仅慢了约 2.3%）。

结果
论文在多种不同的人工智能模型和基准测试（如数学问题、编程和聊天）上测试了这种方法。

更快的速度：使用 D-PACE 的人工智能模型生成文本的速度比之前的最佳方法快 8% 到 12%。
更长的链条：“接受长度”（老板一次性接受的词数）显著增加。老板不再在 4 个词后停止，而是经常接受 5 个或 6 个词。
通用性：它在不同类型的人工智能模型（Qwen 和 Llama）上表现良好，证明这是一种通用的改进，而不仅仅是针对特定模型的技巧。

总结
D-PACE 不再根据位置将序列中的所有词视为具有同等重要性。相反，它动态地识别出接受链中当前哪个词是“薄弱环节”，并指示人工智能将学习精力集中在那里。这种策略上的简单转变，使得人工智能在无需任何新硬件的情况下，显著变得更快、更高效。

技术摘要：D-PACE

问题陈述

推测解码（Speculative Decoding, SD）通过使用较小的草稿模型提出令牌，并由较大的目标模型并行验证这些令牌，从而加速大语言模型（LLM）的推理。尽管像 DFlash 这样的近期并行草稿模型通过在一次前向传递中预测整个 $B$ 个令牌的块来提高效率，但它们依赖于固定的位置相关加权调度（例如，头依赖权重或指数衰减）作为其训练目标。

作者指出了这些固定调度的一个关键局限性：它们无法适应草稿过程的动态特性。在训练期间，限制草稿块被接受的位置会发生变化。

如果早期位置高度准确，瓶颈会转移到后期位置，这些位置应获得更多的训练信号。
如果早期位置不正确，无论后期位置的质量如何，它们都会被拒绝，导致分配给它们的训练信号失效。

固定调度错误地分配了训练信号，因为它们仅依赖于令牌位置，而不是特定示例当前的接受瓶颈。

方法论：D-PACE

为解决这一问题，作者提出了D-PACE（动态位置感知交叉熵），这是一种训练目标，它根据预期的接受草稿长度动态推导每个位置的权重。

1. 接受长度代理

核心洞察是，预期接受长度 $E[X]$ 可以通过一个平滑、可微的代理 $\tilde{S}$ 来近似。

设 $q_i$ 为草稿模型对目标模型在位置 $i$ 所选令牌的置信度。
直到位置 $k$ 的前缀被接受的概率近似为累积乘积 $\prod_{i=1}^k q_i$ 。
利用非负整数的尾和恒等式，预期接受长度近似为：
$\tilde{S}(\psi) = \sum_{k=1}^B \prod_{i=1}^k q_i$
该代理在训练期间作为块接受长度的代理。

2. 自适应权重的推导

D-PACE 计算代理 $\tilde{S}$ 关于草稿置信度的梯度，以确定每个位置对总接受长度的贡献。

通过对 $\tilde{S}$ 关于 $q_j$ 求导，作者推导出了位置 $j$ 的闭式权重 $w_j$ ：
$w_j = \left( \prod_{i \le j} q_i \right) \cdot f_j$
其中 $f_j$ 是“延续值”，表示在前缀被接受的条件下的位置 $j$ 及其所有后续位置所贡献的预期接受长度。
该权重结合了累积置信度（到达位置 $j$ 的概率）和延续值（剩余块的价值）。

3. 非对称平滑

原始累积乘积 $\prod q_i$ 在数值上不稳定；如果早期置信度较低，后期位置的权重会消失，从而抑制其训练信号。

解决方案：作者应用非对称平滑。他们仅在计算权重时平滑置信度： $\tilde{q}_i = (1-\alpha)q_i + \alpha$ 。
交叉熵损失项本身仍基于未平滑的概率 $-\log q_j$ 。这保留了标准的令牌级梯度，同时防止早期低置信度预测将后续位置的权重归零。

4. D-PACE 损失

最终目标是一个加权交叉熵损失，其中权重 $\bar{w}_j$ 与梯度分离（视为常数）：
$L_{\text{D-PACE}} = \sum_{j=1}^B \bar{w}_j (-\log q_j)$
该方法无需更改草稿器架构或推理过程。

主要贡献

自适应每位置权重：推导了一种加权交叉熵目标，用根据给定示例当前限制块接受的位置而自适应的权重，取代了固定的衰减调度。
通过非对称平滑实现稳定训练：一种通过仅平滑权重计算来稳定累积乘积权重的技术，同时保留交叉熵项的标准梯度特性。
效率：该方法引入了可忽略的开销（训练时间增加 2.3%），且无需架构修改。

实验结果

作者在六个基准测试（数学、代码、聊天）、两个目标模型（Qwen3-4B、Qwen3-8B、Llama-3.1-8B）以及不同的草稿深度（3L、5L）和温度下评估了 D-PACE。

性能提升：与 DFlash 基线相比，D-PACE 一致地提高了实时加速比和平均发射长度（ $\tau$ $τ$ ）。
- 在 Qwen3-4B（3L）上，D-PACE 将平均发射长度提高了**+8.5% 至 +10.7%，加速比提高了+8.0% 至 +9.7%**。
- 在 Qwen3-8B 和 Llama-3.1-8B 上，发射长度的提升分别约为**+12.8%和+12.5%**。
消融研究：
- 组件分析：“仅累积”变体（按前缀概率加权）提供了大部分增益，而“仅延续”变体提供的改进有限。完整的 D-PACE（结合两者）产生了最佳结果。
- 平滑敏感性：性能在平滑参数 $\alpha \in [0.3, 0.7]$ 范围内保持稳定。没有平滑（ $\alpha=0$ ）时，性能崩溃。
- 块大小：D-PACE 在块大小 $B=8, 12, 16$ 上均显示出一致的改进，且随着块大小增加，增益略有增加。
泛化性：该方法有效地迁移到了不同的目标模型（Llama-3.1-8B、Qwen3-8B）和数据集上，无需重新调整核心逻辑。

意义与主张

该论文声称，D-PACE 代表了从静态的、基于位置的训练调度向动态的、基于贡献的加权的转变。通过将训练信号直接与预期接受长度对齐，D-PACE 确保草稿器将学习精力集中在当前限制并行解码过程的位置上。

作者强调，这一改进是在不进行以下操作的情况下实现的：

更改草稿器架构。
修改推理过程。
引入显著的计算开销。

这项工作表明，对于并行块草稿器，用源自接受可微代理的权重取代固定调度，是一种提高推测解码效率的通用策略。论文明确指出，该推导适用于在一次传递中生成所有位置的并行块草稿器，目前不适用于状态累积破坏固定前缀分解的序列草稿器。