DBLAST: Dependent Block Drafting for Stochastic Speculative Decoding

技术摘要：DBlast —— 用于随机投机解码的依赖块草拟技术

问题陈述

投机解码通过使用轻量级草拟模型（drafter）来提出多个未来标记（tokens），并由目标模型进行并行验证，从而加速大语言模型（LLM）的推理。虽然近期的基于块的草拟器（如 DFlash）可以在单次传递中预测多个位置，但它们通常依赖于独立块采样（independent block sampling）。这种方法假设草拟块内的标记在给定前缀的情况下是条件独立的。

这种假设在贪婪或低熵解码模式下表现良好，但在随机（非贪婪）解码机制中会变得脆弱，而这种机制对于开放式任务（如对话、创意写作和强化学习探索）至关重要。在随机设置下，目标分布是刻意多样化的，多种延续路径都是合理的。本文指出了一种根本性的不匹配：虽然草拟器通过独立采样来匹配边缘目标分布，但目标模型是顺序地验证这些标记，并将每一次接受都建立在先前已接受标记的条件之上。因此，即使一个块具有准确的逐位置边缘分布，也可能无法形成连贯的条件轨迹，导致随着目标采样分布熵值的增加，接受的草拟长度显著下降。

方法论

作者提出了 DBlast（Dependent Block Drafting，依赖块草拟），这是一个在不牺牲并行预测效率的前提下，为块扩散草拟器注入依赖关系的框架。该方法由两个核心组件组成：

1. 通过潜在混合实现的依赖块采样：
   不同于将提议分布分解到各个位置（$q(x_{1:b}|y) = \prod q_i(x_i|y)$），DBlast 引入了一个分类潜在变量 $z$（一个“分支”或“模式”）来诱导块内的相关性。其联合分布被建模为一个低秩典型成分分解（CP）混合模型：
   $$q_{dep}(x_{1:b} | y) = \sum_{z=1}^{K} q(z | y) \prod_{i=1}^{b} q_i(x_i | y, z)$$

   • 架构： 该方法通过在 DFlash 式草拟器中添加一个轻量级的“类别隐藏扩展器”（category hidden expander）来修改模型，该扩展器将 Transformer 隐藏状态映射到 $K$ 个特定类别的偏移量，并添加一个“类别先验头”（category-prior head）来预测 $q(z|y)$。
   • 推理： 在推理过程中，采样一个潜在类别（可选地使用温度参数 $Z_T$），然后对应的分支在单次并行传递中进行贪婪解码。这保留了块草拟的一次传递效率，同时允许模型表示连贯的、替代性的块级延续。

2. 面向接受度的训练目标：
   标准的训练通过最小化目标块的负对数似然（NLL）来进行，这优化了提议的似然度，却忽略了顺序验证的性质。DBlast 引入了一种基于**期望接受长度（Expected Accepted Length, AL）**的代理损失。

   • 该目标函数源自于前缀接受事件的期望接受长度。
   • 为了处理在训练初期（当草拟器与目标分布重叠度较低时）重要性采样权重不稳定的问题，作者提出了一个阈值截断的对数域代理损失。该损失在保留的前缀集合上（其重要性比例超过阈值 $\tau$）对概率的对数比值和条件接受长度的对数进行求和。
   • 这种方法直接针对验证器的顺序接受行为，通过与依赖建模相结合，弥补了仅靠块似然度不足以解决的问题。

核心贡献

1. 诊断不匹配问题： 作者通过实验证明，当目标解码变得不再确定时，独立块采样表现会变差。他们展示了在高熵机制下，由于独立提议缺乏顺序验证所需的连贯性，接受长度会显著下降。
2. 依赖块采样： 他们首次将 CP 式潜在混合提议应用于子词块扩散草拟器，用于非贪婪投机采样。该方法在保持并行标记预测的同时，诱导了块内位置之间的相关性。
3. 面向接受度的损失函数： 他们提出了一种受期望接受长度启发的创新训练代理函数。该目标函数结合阈值截断，提供了一个稳定的训练信号，使草拟器与顺序验证过程保持一致。

实验结果

实验使用 Qwen3-4B 和 Qwen3-8B 作为目标模型，并在四个基准测试上进行了评估：GSM8K（数学）、MT-Bench（对话）、HumanEval（编程）以及一个创意写作基准。评估涵盖了从高确定性（Temperature 0.7）到低确定性（Temperature 1.5）的三种目标采样机制。

• 性能提升： DBlast 的表现始终优于独立块采样（DFlash）和使用 NLL 训练的基线模型。
  • 在高熵设置（目标温度 1.5）下，相比于独立基线，DBlast 使 Qwen3-8B 的接受长度实现了 12.1% 的宏平均增益。
  • 增益在低确定性区域最为显著，证实了依赖建模在多种延续路径均有可能存在时最具价值。
• 消融研究：
  • 潜在类别数量 ($K$)： 增加 $K$ 会提升性能，但在 $K=4$ 之后观察到收益递减。
  • 训练目标： 面向接受度（AL）的损失函数在独立（$K=1$）草拟器上也始终优于 NLL 训练，尽管结合了依赖建模和 AL 损失的效果最好。
  • 推理温度： 通过校准类别采样温度（$Z_T$），可以使草拟器更好地匹配目标分布的随机性，从而进一步提高接受长度。

意义与主张

本文声称 DBlast 解决了投机解码中的一个关键差距：即当前的块草拟器无法高效处理随机验证。通过证明块内依赖建模与面向接受度的训练是互补的，作者表明，在不牺牲使投机解码具有吸引力的并行效率的前提下，实现多样化、非贪婪解码场景下的高接受率是可能的。

作者也谦虚地指出，虽然他们的代理损失并非形式上的无偏估计量或下界，但它是一个实用且有效的训练信号。他们还承认，训练期间使用的软潜在混合模型与推理期间使用的贪婪分支解码之间的关系仍是一个有待进行形式化表征的开放领域，尽管其实证结果展示了有效的迁移。这项工作表明，未来的开放式生成投机解码系统必须超越独立的标记预测，转而捕捉未来序列的结构连贯性。