💻 computer science

Decoupled Contrastive Decoding via Expert-Aligned Drafting

本文介绍了解耦对比解码（Decoupled Contrastive Decoding, DCD），该方法通过采用专家对齐的草拟模型生成提议，同时保留业余模型进行验证，从而加速了对比解码，并避免了因将草拟模型与对比信号对齐而导致的性能下降。

原作者： Zhixuan Liu, Zhichen Dong, Yuanfu Wang, Chao Yang

发布于 2026-08-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Zhixuan Liu, Zhichen Dong, Yuanfu Wang, Chao Yang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图写出一个完美的故事，但你有一个非常聪明但说话很慢的严厉编辑。每当你想要写下一个新词时，你都必须等待这位编辑思考、检查，然后大声说出来。这就是目前被称为“大语言模型”的强大计算机大脑的工作方式：它们非常擅长写作，但因为必须逐个检查每一个词，所以速度很慢。

为了提高速度，科学家们发明了一个名为“投机采样”（Speculative Decoding）的小技巧。你可以把它想象成有一个动作敏捷、充满活力的助手，在缓慢的编辑有机会查看之前，就先猜测故事的下几个词。助手快速地写出一个完整的句子，然后由缓慢的编辑来检查这些猜测是否正确。如果正确，太棒了！你节省了时间。如果不对，编辑就会纠正错误。这在常规写作中效果显著。

但问题在于，有时计算机大脑会编造事实或产生“幻觉”。为了解决这个问题，研究人员使用了名为“对比解码”（Contrastive Decoding）的技术。这就像是拥有第二个不太聪明的助手（一个“业余选手”），这个选手容易犯错。系统会将聪明编辑的猜测与业余选手的猜测进行比较。如果聪明编辑说“是”而业余选手说“不是”，系统就知道应该更加信任聪明编辑。这是一个确保写作更准确的安全网。然而，这个安全网代价高昂，因为它需要为每一个词同时运行“聪明编辑”和“笨拙业余选手”，这又让速度慢了下来。大问题在于：我们能否既保留这个安全网，又让它变快？

这篇题为《通过专家对齐草拟实现的解耦对比解码》（Decoupled Contrastive Decoding via Expert-Aligned Drafting）的论文正是深入探讨了这个问题。作者们——来自上海交通大学和上海人工智能实验室的研究人员——想要看看他们是否可以通过教导“快速助手”在进行猜测时使用“业余选手”这一安全网，从而让这个快速助手变得更聪明。他们问道：快速助手应该尝试在写作时模仿复杂的安全规则，还是应该只管尽可能快地书写，然后让安全检查在稍后进行？

研究人员通过一系列巧妙的实验测试了这个想法。他们尝试训练快速助手直接理解“业余选手”的信号，希望它能成为一个能够自主避免错误的“超级猜测者”。但他们发现了一个令人惊讶的结果：试图教导快速助手学习安全规则反而让它的表现变差了。这就像是试图教一名赛车手在驾驶的同时还要解数学题；赛车手会感到困惑并犯下更多错误。由于“业余选手”的信号往往太弱，无法修复助手的自然错误，试图将两者结合只会让错误变得更大。

因此，作者提出了一个新方案，称为解耦对比解码（DCD）。他们没有强迫快速助手去学习安全规则，而是让它做自己最擅长的事：仅使用聪明编辑的风格来猜测下一个词。他们完全移除了快速猜测阶段中的笨拙业余选手。安全检查（即对比解码）仅在助手完成猜测后的验证步骤中进行。

结果令人印象深刻。通过保持快速助手的简单与专注，并仅在最后阶段才使用复杂的安全检查，他们成功地显著提升了速度。在测试中，这种新方法比那些试图在猜测阶段加入笨拙业余选手的旧方法快了 1.65 到 1.95 倍。此外，与那些尝试在猜测阶段包含业余选手的法相比，它将“猜测”环节所花费的时间缩短了 5 到 12 倍。

论文得出结论，想要兼顾速度与准确性，最好的办法是保持角色分离：让快速助手成为一个纯粹的、与专家对齐的猜测者，并让安全检查仅在需要验证时发生。这种“解耦”的方法确保了计算机大脑在保持高速运行的同时，不会失去辨别真伪的能力。

技术摘要：通过专家对齐草拟实现解耦对比解码

问题陈述

对比解码（Contrastive Decoding, CD）通过利用一个较弱的“业余”（amateur）模型来修正强大的“专家”（expert）模型，从而提升大语言模型（LLM）的生成质量。然而，标准的 CD 在每个 token 生成时需要进行两次模型前向计算（专家和业余模型），这使得推理成本高昂。虽然投机采样（speculative decoding）可以加速生成，但在应用到 CD 时引入了一个关键的设计选择：提议对齐（proposal alignment）。具体而言，投机草拟器（proposer）应该整合业余模型的信号以逼近对比分布，还是应该保持仅与专家对齐，将对比修正完全留给验证步骤？现有的方法如 Speculative Contrastive Decoding (SCD) 和 Chain-of-Speculation (CoS) 将业余模型耦合进串行提议路径中，导致了高延迟。

方法论

核心诊断：对比感知草拟的失效

作者研究了将业余信号集成到轻量级草拟器中（即“对比感知”方法）是否比保持草拟器专家对齐能产生更好的性能。他们在匹配条件下采用了两种受控诊断实验：

匹配的 Cross- $\alpha$ 训练： 在保持架构和数据固定的情况下，使用变化的对比强度（ $\alpha$ ）训练一个双输入 EAGLE 变体。
近似双草拟器分解： 一种分别学习专家和业余分布并在推理时进行解析重组的方法。

研究结果： 两种诊断均表明，对比感知草拟在提高接受长度方面并不比专家对齐草拟具有一致的优势。分析显示：

对比信号（修正项）通常弱于轻量级草拟器的固有误差。
在 81.1% 的位置上，信号强度低于 1.0；而在 48.7% 的位置上，存在显著的专家侧提议误差（KL 散度 $\ge$ 2.0）。
从独立的专家/业余近似值重构对比分布，往往会放大草拟器的基准误差，而非对其进行修正。
正向收益仅限于极少数高信号、低误差的单元格区域，这不足以抵消重构误差导致的整体性能下降。

拟议方案：解耦对比解码 (DCD)

基于上述诊断，作者提出了解耦对比解码 (DCD)，它将提议生成与对比修正解耦：

专家对齐提议： 轻量级草拟器（如 EAGLE3）严格用于逼近专家模型的分布 ( $\pi_p$ )。它不尝试在草拟阶段建模业余信号或对比目标。
对比验证： 业余模型 ( $M_q$ ) 仅保留用于验证步骤。投机接受/拒绝逻辑根据完整的、未改变的对比分布 $\pi_{CD}$ 来评估草拟的 token。
无损保证： 由于验证步骤针对的是精确归一化的 CD 分布 $\pi_{CD}$ ，因此改变提议者不会改变最终的输出分布，从而保留了原生 CD 的理论保证。

该系统将业余模型在草拟循环中的昂贵串行成本（约 $\gamma \cdot t_q$ ）替换为轻量级专家对齐提议者的成本（约 $\gamma \cdot t_e$ ，其中 $t_e \ll t_q$ ）。

核心贡献

提议对齐的公式化： 本文识别并形式化了“提议对齐”这一在投机 CD 中的核心设计选择，区分了业余耦合型、对比感知型和专家对齐型路径。
诊断性证据： 通过受控实验（Cross- $\alpha$ 和 Dual-Drafter），作者证明了在轻量级草拟器中尝试建模对比信号通常是适得其反的，因为草拟器误差主导了微弱的对比信号。
DCD 实现： 引入了 DCD，这是一种无损加速器，通过将业余模型移出串行提议路径，实现了部署级的加速。作者通过 EAGLE3 基底的提议器和 N-gram 提议器实例化了该方法。

实验结果

性能指标

在包括 GSM8K、MMLU、HumanEval 和 CNN/DM 在内的数据集上，针对 8B 级模型家族（LLAMA-3, QWEN3, LLAMA-EFT）进行了评估：

加速比： 使用 EAGLE3 的 DCD ( $DCD_{EAGLE3}$ ) 在贪婪搜索下实现了 1.65× 至 1.95× 的平均加速。
延迟降低： 相对于业余耦合的提议路径（SCD/CoS），DCD 将 MMLU 提议路径的延迟降低了约 5 到 12 倍。
鲁棒性： 在 70B 扩展实验中，DCD 保持了接近 2× 的加速。
对比： 在更困难的设置下（例如 $\alpha=0.5$ 的 QWEN3），竞争方法（SCD, CoS）在某些任务上的加速比降至 1.0× 以下，而 DCD 仍能保持增益（例如 MMLU 上为 1.60×）。

一致性与准确性

任务准确率： 实验证实 DCD 保留了原生 CD 的输出分布。在不同对比强度 ( $\alpha$ ) 下，DCD 在 GSM8K 和 MMLU 上的准确率与原生 CD 高度一致。
对 $\alpha$ 的鲁棒性： 随着对比强度增加，与业余耦合的基准方法相比，DCD 在接受长度方面的下降更为缓慢。这归功于专家对齐草拟器即使在业余惩罚改变分布时，也能保持与目标的对齐。

重要性与主张

本文认为，加速 CD 的主要瓶颈不在于缺乏复杂的草拟器，而在于将业余模型耦合进提议循环这一架构决策。通过将草拟（专家对齐）与验证（对比）解耦，DCD 在不牺牲 CD 质量保证的前提下，实现了显著的效率提升。

作者强调，DCD 在输出分布方面是无损的，且无需针对特定的对比目标对业余模型或草拟器进行重新训练（在采用 EAGLE3 基底的 DCD 情况下）。该工作表明，对于对比目标的投机采样，提议路径应针对速度和专家对齐进行优化，而验证路径则应处理复杂的分布修正。

论文总结道，虽然对比感知草拟在理论上可能在高信号、低误差的机制下提供收益，但这些机制在实践中过于稀疏，不足以支撑其带来的复杂性和误差放大。因此，专家对齐的解耦方法是更优的策略。