技术摘要：VIA-SD

1. 问题陈述

投机采样（Speculative Decoding, SD）是减少大语言模型（LLM）推理延迟的一种广泛采用的技术。它基于两层的“草拟-验证”（draft-verify）范式：一个轻量级的草拟模型生成候选 Token，随后由一个更大的目标模型进行并行验证。如果验证器接受这些候选 Token，则将其输出；如果拒绝，系统则回退到由验证器执行的全自回归解码。

本文指出，现有 SD 方法存在一个根本性的局限性：它们依赖于一种僵化的二元决策规则（接受或完全重新计算）。作者观察到，许多 Token 处于一个“中间地带”，即草拟模型的预测与验证器的预测接近但并非完全可靠。在现有框架中，这些 Token 会触发大模型的全量重新计算，从而产生不必要的计算开销。此外，现有的分层方法通常依赖中间模型进行二元决策，未能利用中间模型进行主动的 Token 生成或修正。

核心研究问题在于：通过引入一系列中间验证阶段，是否可以在不增加草拟模型与验证器之间分布差距的情况下，有效处理这些“中间地带”的 Token。

2. 方法论：VIA-SD

作者提出了通过模型内路由进行验证的投机采样（Verification via Intra-Model Routing for Speculative Decoding, VIA-SD），这是一个多层框架，旨在用分层验证过程取代二元接受-拒绝机制。

理论基础：KL 几何学

作者从信息论的角度重新审视了 SD。虽然全损失（lossless）SD 中的全变差（Total Variation, TV）距离严格控制着拒绝率（这意味着中间步骤无法减少拒绝），但 Kullback-Leibler (KL) 散度 提供了一个更灵活的几何视角。

• 勾股分解（Pythagorean Decomposition）： 基于信息几何中的广义勾股定理，草拟分布 $p$ 与验证器分布 $q$ 之间的 KL 散度可以通过中间分布 $u$ 进行分解：$D_{KL}(p \| q) \ge D_{KL}(p \| u) + D_{KL}(u \| q)$。
• 启示： 这表明，只要 $u$ 是一个合适的投影，引入中间分布 $u$ 可以降低累积散度（从而降低验证成本），相比于直接的 $p \to q$ 路径。

架构：精简验证器（The Slim-Verifier）

为了使中间分布 $u$ 具有可操作性，VIA-SD 引入了一个通过动态模型内路由（Dynamic Intra-Model Routing, DIMR）构建的精简验证器（slim-verifier）。

• 模型内路由： 精简验证器并非训练一个独立的中间模型，而是通过从完整验证器 $q$ 中派生出的路由子模型。它通过基于路由掩码 $z$ 选择性地跳过 Transformer 层来创建。
• 分布一致性： 由于精简验证器共享相同的嵌入（embeddings）和输出头（output head），因此它比同等规模的独立中间模型能更好地保持分布对齐。
• DIMR 优化： 通过结合随机搜索和贝叶斯优化，离线寻找最优路由掩码，以最小化类 KL 代价函数，从而确保精简验证器是中间分布的一个稳定近似。

VIA-SD 流水线

推理过程涉及对一组草拟 Token 的三个验证阶段：

1. 直接接受： 高置信度 Token（即草拟器 $p$ 与精简验证器 $q'$ 高度一致的 Token）被立即接受。
2. 精简验证器重写： 中等置信度 Token（即 $p$ 接近但并不完美的 Token）由精简验证器 $q'$ 处理。如果 $q'$ 足够置信，它会重写该 Token；否则，进入下一阶段。
3. 全量模型验证： 低置信度或不确定性的 Token 被提升至全量验证器 $q$，进行最终验证或重新生成。

这种分层门控机制允许系统使用计算成本更低的精简验证器来解决“中间地带”的 Token，仅将全量模型保留给最困难的情况。

3. 核心贡献

1. 理论重构： 本文引入了基于 KL 散度的信息论视角，为引入中间验证阶段提供了理论依据，超越了基于 TV 距离的二元范式限制。
2. 精简验证器设计： 设计了一个动态路由的内源性（intra-model）精简验证器，能够高效近似大模型的分布，专门针对中等置信度的 Token 以减少冗余的全量模型调用。
3. VIA-SD 框架： 提出了一个实用的多层框架，并将其实例化为一个三层系统（草拟器 $\to$ 精简验证器 $\to$ 全量验证器）。这缓解了传统方法的二元局限性。
4. 兼容性： 该方法与现有的 SD 框架（如 EAGLE、PEARL）兼容，无需重新训练草拟器，也无需修改验证器的训练过程。

4. 实验结果

作者在四种代表性任务（摘要、翻译、推理、问答和编程）上评估了 VIA-SD，使用了多种模型家族（T5、Gemma2、LLaMA2、Qwen）以及各种规模配置（例如 2B$\to$9B, 7B$\to$70B）。

• 拒绝率降低： 与强力的投机采样基准（如 Cascade SD、Faster Cascades）相比，VIA-SD 持续降低了 0.10–0.22 的拒绝率。
• 加速比： 该方法比最先进的投机采样基准实现了 10–20% 的加速。与非草拟的贪婪解码相比，它实现了 2.5–3 倍的加速。
• 质量： 准确率（通过 ROUGE、BLEU 和特定任务得分衡量）保持不变或略有提高，证明了中间路由的“有损”性质并不会降低生成质量。
• 效率： 路由掩码（DIMR）的离线搜索成本适中（每个模型对 18–68 分钟），且仅需执行一次，而在线解码的加速效果显著。
• 消融实验： 实验证实，路由精简验证器的表现优于独立的中间模型（会增加内存开销）和随机层跳过方法（无法维持分布一致性）。

5. 重要性与主张

论文声称 VIA-SD 确立了多层投机解码作为实现可扩展且高效的 LLM 推理的一种通用范式。

• 范式转变： 它将领域从二元的“接受/拒绝”逻辑转向了验证资源的“分阶段分配”，有效地利用了 Token 不确定性的“中间地带”。
• 实用性： 通过从目标模型本身（通过层跳过）派生中间验证器，该方法避免了加载独立中间模型的内存和工程开销，使其在部署中极具实用价值。
• 可扩展性： 结果表明，随着草拟器与验证器之间容量差距的增大，使用路由精简验证器的分层验证优势会更加显著，为加速大规模 LLM 服务提供了一种鲁棒的解决方案。