🤖 machine learning

Depth Exploration for LLM Decoding

该论文提出了深度探索解码（DEX），这是一种通过将单深度选择替换为对多个候选深度的并行探索，从而减少计算浪费并超越现有深度自适应及投机解码方法的无损算法，旨在提高大语言模型（LLM）的推理效率。

原作者： Weisi Yang, Zipeng Sun, Stephen Xia

发布于 2026-06-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Weisi Yang, Zipeng Sun, Stephen Xia

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

问题所在：“完整阶梯”的习惯

想象一下，大型语言模型（LLM）是一座拥有 100 层楼的宏伟多层建筑。为了生成一个单词（token），模型通常会强迫信息从地面一直传输到第 100 层，无论如何都要走完。

然而，研究人员发现，对于许多单词来说，早在信息到达第 40 层时，答案其实就已经很明确了。剩下的 60 层纯粹是在浪费时间和精力，重复已经完成的工作。

旧方案（深度选择/Depth Selection）：
以往的方法试图通过“赌”某一个特定的楼层来解决这个问题。它们会说：“让我们在第 4 0层检查答案。”

如果猜对了： 太棒了！节省了 60 层的计算量。
如果猜错了： 第 40 层的答案实际上与最终第 100 层的答案不同。他们必须丢弃这些工作，回到地面，重新爬到第 100 层。这种“回退”（fallback）会浪费更多的时间。

这就像是通过观察 40 层的窗户来预测天气。如果你猜错了，你必须跑回楼顶去查看真实的天气，从而损失了你在 40 层所花费的所有时间。

新方案：深度探索解码 (DEX)

作者提出了一种名为 DEX 的新方法。DEX 不再仅仅押注于一个楼层，而是派出了一支侦察队，同时检查多个楼层。

类比：“多侦察员”电梯
想象你需要为一份食谱找到正确的温度。

旧方法： 你派一个人去第 40 层。如果他错了，你再派另一个人去第 100 层。
DEX 方法： 你同时派出四个人：
- 侦察兵 A 检查第 25 层。
- 侦察兵 B 检查第 50 层。
- 侦察兵 C 检查第 75 层。
- 侦察兵 D（老板）检查第 100 层。

他们同时汇报结果。老板（第 100 层）代表着“真相”。

如果侦察兵 A 的答案与老板一致，你就使用侦察兵 A 的答案并停止。你节省了 75 层的计算量！
如果侦察兵 A 错了，但侦察兵 B 与老板一致，你就使用侦察兵 B。你仍然节省了 50 层。
如果只有老板匹配，你就使用老板的答案。

为什么这更好：
在旧方法中，如果你选错了楼层，你会失去一切。而在 DEX 中，如果浅层的侦察兵错了，你也不必惊慌。你只需查看下一个更深的侦察兵，他可能是正确的。你仅仅是“浪费”了检查过浅楼层所需的时间，而不是整个攀爬过程。

它是如何工作的（“展开、提交、折叠”循环）

论文描述了计算机在生成每个单词时进行的特定三步舞步：

展开 (Expand)： 计算机运行并行的“分支”计算。这就像展开一把梯子，每一横杠都是一个不同的深度。它同时计算不同深度的潜在答案。
提交 (Commit)： 计算机查看最终的第 100 层答案（“参考值”）。它将此与所有较浅层侦察兵的答案进行比较。它挑选出与最终答案相匹配的最浅层侦察兵。这就是它正式写下的单词。
折叠 (Collapse)： 这是神奇的魔术。一旦单词被写下，计算机就会查看它正在计算的所有其他分支。
- 任何预测了不同单词的分支都会被丢弃（剪枝）。
- 任何预测了相同单词的分支都会被保留并“折叠”进主路径中。这意味着计算机不需要为下一个单词重新计算大脑的这部分内容；它可以复用刚刚完成的工作。

“适配器”技巧

论文指出，该方法在那些已经经过“提前退出（early-exit）友好型”训练的模型（即知道何时可以提前停止的模型）上效果最好。对于标准的、未经过此类训练的模型，作者会在中间层附加微小的“适配器”（就像小型的辅助轮）。这些适配器有助于让中间层与最终层使用相同的“语言”，使得浅层侦察兵更容易给出准确的答案。

实验结果

研究人员在几个大型 AI 模型（如 Llama 和 CodeLlama）上测试了该方法，发现：

速度： DEX 比旧的“单次猜测”方法更快。
可扩展性： 你增加的“侦察员”（深度探索者）越多，速度就越快。这就像给大楼增加更多的电梯一样；侦察员越多，你就越接近理论上的最大速度。
准确性： 它生成的文本与标准的、缓慢的方法完全一致。它是“无损”的，这意味着它不会为了追求速度而牺牲准确性。

总结

DEX 将游戏规则从“猜一个楼层并祈祷”转变为“同时检查多个楼层并挑选最佳匹配”。通过运行并行检查并仅保留与最终真相一致的分支，它在不牺牲准确性的情况下，节省了大量的计算资源。它将 AI 模型的“深度”从一个瓶颈变成了一条高速公路。

技术摘要：深度探索解码 (DEX)

1. 问题陈述

大语言模型（LLM）中的自回归（AR）解码本质上是昂贵的，因为生成的每个 token 都必须经过整个层堆栈才能产生下一个 token。近期的研究发现，在深度维度上存在显著的冗余：许多 token 在中间层就已经变得可预测，这意味着它们并不严格需要完整的模型深度来保证准确性。

现有的无损深度自适应方法尝试通过采用深度选择（depth-selection）策略来利用这一点。这些方法从单个预选的中间深度抽取一个 token，并将其与最终深度的模型进行验证。然而，作者指出存在一个关键的选择瓶颈：

退出过晚（Late Exit）： 如果选择的退出深度过深，则会在已经冗余的层上浪费计算资源。
退出过早（Early Exit）： 如果选择的退出点过浅，且预测与最终深度输出不匹配，系统会触发回退（fallback）。这不仅丢弃了当前的 token，还会使任何依赖于它的“后代”草拟（drafts）失效，从而导致显著的效率损失。

论文认为，目前的基于选择的方法与理想的“先知”（Oracle，即已知 token 变得稳定的确切最早深度）之间存在巨大差距。核心问题在于，是否可以通过降低错误退出深度决策的风险，更有效地利用这种冗余。

2. 方法论：深度探索解码 (DEX)

作者提出了 深度探索解码 (DEX)，这是一种无损算法，它用在多个候选深度上的并行探索取代了单深度选择。

核心概念

最早可用深度 (Earliest Available Depth, EAD)： 作者将 EAD 定义为 token 的预测与最终深度输出相匹配，并在后续层中保持稳定的最浅层。
探索集 ( $X$ )： DEX 不再选择单一退出点，而是定义了一个候选深度集合 $\{d_0, d_1, \dots, d_{N-1}\}$ ，其中 $d_{N-1}$ 是最终深度。
分辨率 (Resolution)： DEX 的开销受限于该集合的“分辨率”（即任何一层与其下一个探索深度之间的最大间隔）。随着集合变得更精细，其开销趋于零。

算法：扩展–提交–折叠 (Expand–Commit–Collapse)

DEX 在一个由有限状态机（FSM）管理的**深度-位置晶格（depth–position lattice）**上运行。该过程包含三个阶段：

晶格扩展（并行探索）：
- 模型被划分为 $N$ 个深度阶段，每个阶段由一个独立的“深度探索器”（可能在不同的硬件单元上）处理。
- 在每个提交位置，系统并行扩展候选分支。一个探索 token 可以经历深度扩展（将其隐藏状态传递给下一层探索器）或位置扩展（使用当前候选作为前缀来生成下一个 token 位置）。
- 这创建了一个潜在未来的树状结构，其中不同的分支代表在不同深度做出的预测。
提交（验证）：
- 一旦“锚点路径”（遍历所有层的分支）到达最终深度，它会产生最终深度参考 token。
- DEX 将来自锚点路径的所有非最终候选 token 与此参考进行验证。
- 它选择与最终深度参考匹配的最浅分支。如果没有找到中间匹配项，则回退到最终深度分支。
- 至关重要的是，附加到输出的 token 始终是最终深度参考所产生的，这确保了与标准 AR 解码的无损等效性。
折叠（状态剪枝）：
- 提交一个 token 后，系统折叠晶格。与新提交的前缀不一致的分支将被丢弃。
- 只有来自所选分支的状态（KV 缓存、隐藏状态）会被保留用于下一步。
- 这确保了虽然系统在探索多个深度，但仍能维持执行下一个 AR 步骤所需的精确状态。

优化

深度耦合采样 (Depth-Coupled Sampling, DECS)： 为了防止同一槽位链中的不同深度提出相同的 token（这会浪费探索），DEX 在解码更深的候选时，会对已被较浅深度提出的 token 进行掩码处理。这在不改变最终采样分布的前提下，鼓励了中间提案的多样性。
诱导适配器 (Inducing Adapter)： 对于中间层与输出头自然不对齐的标准 LLM，作者建议在中间深度附加小型残差适配器。这些适配器通过自蒸馏进行训练，以使中间隐藏状态与最终 LM 头对齐，从而提高浅层 token 的“就绪度”。

3. 核心贡献

Token 就绪性的形式化： 论文定义了 最早可用深度 (EAD) 来量化 token 何时变得可预测。利用这一点，论文在数学上证明了现有方法的“选择瓶颈”，表明其开销是由错误选择的风险而非仅仅是计算成本驱动的。
DEX 算法： 这是一种无损解码算法，通过“扩展–提交–折叠”程序实现深度探索。它在保持与标准 AR 解码完全等效的同时，降低了提交 token 的成本。
实证验证： 作者在包括数学推理 (GSM8K)、代码生成 (HumanEval) 和摘要生成 (XSum) 在内的任务上，对经过早期退出训练的模型（LayerSkip 训练的 CodeLlama-34B 和 Llama-2-70B）以及标准 LLM（CodeLlama-34B, Llama-2-70B, Qwen3-32B）进行了评估。

4. 实验结果

作者在两种模型上评估了 DEX：经过早期退出训练的模型（LayerSkip 训练的 CodeLlama-34B 和 Llama-2-70B）以及标准 LLM（CodeLlama-34B, Llama-2-70B, Qwen3-32B），涵盖了数学推理 (GSM8K)、代码生成 (HumanEval) 和摘要生成 (XSum) 等任务。

吞吐量增益： DEX 始终比深度选择基准方法获得更高的每秒 token 数 (TPS)。在 LayerSkip 模型上，DEX 实现了比选择方法更大的理论“先知”余量。
随分辨率缩放： 随着探索分辨率变得更精细（即增加更多的探索器），吞吐量随之提高。例如，在 Llama-2-70B 上，将探索器从 3 个增加到 8 个显著缩小了与先知加速之间的差距。
竞争力： 在端到端对比中，在匹配的硬件资源下，拥有 3–4 个探索器的 DEX 在性能上足以媲美多 GPU 张量并行 (TP) 和分布式投机解码 (PEARL, EAGLE)。
消融实验： 去除中间分支（单退出变体）的结果表明，性能提升专门来自于探索多个深度，而不仅仅是并行化各层。

5. 重要性与主张

论文声称，并行深度探索提供了一种可扩展的方式，可以利用 LLM 解码中未被充分利用的深度轴。

范式转变： 不同于以往赌注在单一退出点的方法，DEX 将深度自适应视为一个受分辨率控制的问题。通过探索一组深度，它将“何时退出”的不确定性转化为了由探索集间距决定的有界开销。
无损效率： DEX 在不损害输出正确性（无损）且无需更改模型架构（除非在标准模型中使用可选适配器）的情况下实现了这些增益。
互补性： 作者指出，DEX 作用于“深度轴”（即 token 何时被确定），这与“token 轴”加速方法（即预测多少个未来 token）是互补的。他们表示，虽然结合两者是可能的，但这需要复杂的协调。

总之，本文确立了通过将单深度选择替换为并行探索，可以在显著降低解码延迟的同时，保持与标准自回归模型完全一致的行为。