🤖 machine learning

ConfLayers: Adaptive Confidence-based Layer Skipping for Self-Speculative Decoding

本文提出了 ConfLayers，一种基于置信度动态跳过中间层的即插即用方法，用于在自投机解码中自适应构建草稿模型，从而在无需训练策略开销的情况下实现最高 1.4 倍的推理加速。

原作者： Walaa Amer, Uday das, Fadi Kurdahi

发布于 2026-04-17

📖 1 分钟阅读☕ 轻松阅读

原作者： Walaa Amer, Uday das, Fadi Kurdahi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 ConfLayers 的新技术，旨在让大型人工智能（AI）模型说话、写文章或回答问题时更快，同时不牺牲质量。

为了让你轻松理解，我们可以把 AI 模型想象成一个超级严谨的“多层级审核团队”。

1. 背景：为什么 AI 说话这么慢？

想象一下，你有一个由 100 层 专家组成的审核团队（这就是大型语言模型，LLM）。

当你问一个问题时，这个团队必须一层一层地传递信息。
第 1 层专家看完后，传给第 2 层，第 2 层看完传给第 3 层……直到第 100 层。
只有当第 100 层专家最终拍板决定“下一个词是什么”时，这句话才算生成了一个字。
痛点：因为必须层层过审，所以速度很慢，就像快递必须经过 100 个中转站才能送到你家。

2. 现有的“投机取巧”方法（自推测解码）

为了加速，以前的方法（叫“自推测解码”）是这样的：

团队里派出一个**“实习生”**（草稿模型）先快速猜几个词。
然后，“正式团队”（完整模型）花一点时间检查一下实习生猜得对不对。
如果实习生猜对了，团队就一次性采纳；如果猜错了，就重新来过。
问题：以前的“实习生”要么需要专门训练（成本高），要么靠死板的规则（比如“永远跳过第 5 层”），不够灵活，有时候反而帮倒忙。

3. ConfLayers 的绝招：看“自信度”跳过层级

ConfLayers 的核心思想非常聪明：它不需要训练新的实习生，而是让现有的团队自己决定哪些步骤可以“跳过”。

核心比喻：自信的“直觉”

想象这个审核团队里的每一层专家，在传递信息时都会给自己打分，表示**“我对这个答案有多自信”**。

高自信（Confidence High）：第 10 层专家非常确定：“这个词肯定是‘苹果’，不用后面的人再纠结了。”
低自信（Confidence Low）：第 50 层专家很犹豫：“嗯……可能是‘苹果’，也可能是‘梨’，我不确定，需要后面的人再确认一下。”

ConfLayers 的做法是：

实时计算自信度：在生成过程中，它实时计算每一层专家的“自信分”。
动态跳过：如果某几层专家的“自信分”都很高（或者变化不大，说明它们在做重复工作），ConfLayers 就会说：“这几层太‘自信’了，或者太‘无聊’了，我们直接跳过它们，让信息直接传给更后面的关键层！”
自适应调整：它不是死板地跳过固定的层数。
- 如果某一段内容很复杂（自信度波动大），它就少跳过，让团队仔细审核。
- 如果某一段内容很简单（自信度很稳），它就多跳过，让团队飞起来。

就像开车一样：

普通 AI：无论路况如何，都严格按照 100 个红绿灯（100 层）停车起步。
ConfLayers：像一位老司机。在直道上（简单内容），它直接加速冲过去，忽略中间不必要的减速点（跳过层级）；在弯道或路口（复杂内容），它减速慢行，仔细检查每一个路口（保留所有层级）。

4. 它是如何工作的？（三步走）

试跑（生成草稿）：先用当前的“跳过规则”快速生成一些词。
检查（验证）：让完整的团队（100 层）检查这些词对不对。
优化（寻找最佳跳过方案）：
- 如果跳过太多导致猜错太多，下次就少跳过点。
- 如果跳过太少导致没加速，下次就多跳过点。
- 它会不断微调，直到找到一个**“既快又准”**的完美平衡点。

5. 结果怎么样？

论文通过大量实验证明：

速度快：相比原来的“慢吞吞”模式，速度提升了 1.4 倍（就像原本 10 分钟的路，现在 7 分钟就到了）。
质量好：因为它是基于“自信度”智能跳过的，所以生成的文章质量几乎没有下降，和原来一样好。
通用性强：无论是写代码、做数学题、还是写新闻，它都能自动适应，不需要重新训练。

总结

ConfLayers 就像给 AI 团队装上了一个**“智能导航系统”。它不再让团队机械地走完所有 100 层，而是根据每一层专家的“自信程度”，灵活地跳过那些不必要的步骤**。

以前：不管多简单，都要走完 100 层。
现在：简单的时候走 60 层，复杂的时候走 100 层。
结果：既省了时间（加速），又没办错事（保真）。

这项技术让 AI 变得更聪明、更敏捷，而且不需要额外的训练成本，是一个“即插即用”的加速神器。

以下是关于论文 ConfLayers: Adaptive Confidence-based Layer Skipping for Self-Speculative Decoding 的详细技术总结：

1. 研究背景与问题 (Problem)

背景：
大型语言模型（LLM）的自回归推理过程存在巨大的计算延迟和成本，尤其是在生成长文本时。投机采样（Speculative Decoding）是一种有效的加速技术，它利用一个轻量级的“草稿模型”（Draft Model）快速生成多个候选 token，然后由目标模型（Target Model）进行一次性验证。

现有挑战：

传统投机采样的局限： 通常需要训练一个独立的草稿模型，这增加了训练成本、存储开销和部署复杂性。此外，草稿模型与目标模型之间的分布不匹配会降低 token 的接受率。
自投机采样（Self-Speculative Decoding, SSD）的瓶颈： SSD 旨在复用同一个 LLM 作为草稿和验证器（通过构建子网络），避免了外部模型。然而，现有的 SSD 方法在构建草稿子网络时存在不足：
- 基于策略（Policy-based）的方法： 需要额外的训练，泛化能力差。
- 基于启发式（Heuristic-based）的方法： 虽然简单，但缺乏适应性，无法针对不同任务或输入动态调整，导致速度与质量的权衡（Speed-Quality Trade-off）不是最优的。

核心问题： 如何在不进行额外训练、不引入外部模型的前提下，设计一种自适应的、即插即用的机制，能够动态地识别并跳过 LLM 中贡献度较低的层，从而构建高效的草稿子网络？

2. 方法论 (Methodology)

论文提出了 ConfLayers，一种基于**置信度（Confidence）**的动态层跳过框架。其核心思想是在推理过程中实时计算每一层的置信度分数，并据此自适应地决定跳过哪些层。

2.1 核心流程

ConfLayers 的工作流程分为三个主要步骤（如图 2 所示）：

生成（Generation）： 使用当前的非跳过层集合（Draft Model）生成候选 token，并由完整的目标模型进行验证。
层优化搜索（Layer Optimization Search）： 基于置信度计算，动态调整哪些层应该被跳过。
搜索检查（Search Check）： 评估当前搜索轮次的表现，决定是否终止搜索或继续优化。

2.2 关键技术组件

基于置信度的层跳过 (Confidence-based Layer Skipping, 3.1 节)：
- 置信度计算： 利用预测熵（Predictive Entropy）与不确定性的关系。提取每一层 FFNN 和 Attention 模块的隐藏状态，通过共享的 LM Head 投影得到 logits。
- 公式： 计算 Softmax 概率分布的香农熵 $H(p)$ ，置信度定义为 $1 - \frac{H(p)}{H_{max}}$ 。置信度接近 1 表示预测确定，接近 0 表示不确定。
- 逻辑： 低置信度的层对最终预测贡献较小，适合被跳过。
自适应置信度窗口过滤 (Adaptive Confidence-based Window Sizing, 3.2 节)：
- 问题： 固定大小的邻居窗口在置信度剧烈变化区域太敏感（噪声大），在稳定区域太粗糙。
- 解决方案： 设计了一个自适应窗口大小机制。
  - 计算置信度序列的二阶离散梯度（反映波动程度）。
  - 窗口大小 $w_i$ 取决于梯度大小和当前层索引：早期层（处理词法/句法）使用小窗口；深层（处理抽象/上下文）使用大窗口。
  - 跳过判定： 如果某层的置信度低于其局部邻域的平均值减去一个阈值（ $\mu_{local} - \lambda \cdot \sigma_{local}$ ），则标记为跳过。
基于间隔的周期性搜索 (Interval-based Periodic Search, 3.3 节)：
- 为了避免每次生成都进行昂贵的搜索，ConfLayers 采用周期性机制。
- 每隔 Opt_Interval 次迭代，检查累积的接受 token 数量是否达到目标。如果达到，则停止搜索并使用当前最佳层集合作为最终配置；否则继续搜索。
- 这种设计确保了搜索过程本身不会引入显著的端到端延迟。

3. 主要贡献 (Key Contributions)

新颖的置信度机制： 提出了一种无需辅助模型、无需训练的基于置信度的草稿子网络构建方法。它直接利用模型内部的中间层表示来评估不确定性。
即插即用的自适应算法： 设计了一种迭代算法，通过置信度引导的层选择，在解码速度和 token 接受率之间取得平衡。该方法能够适应不同的任务和数据集。
全面的实证评估： 在多个模型（LLaMa-2/3, CodeLLaMa, Qwen）和多个数据集（CNN-DM, GSM8K, WMT14, Alpaca）上进行了广泛测试，证明了其相对于现有基线（如 SWIFT, DEL）的优越性。

4. 实验结果 (Results)

加速比（Speedup）：
- ConfLayers 在多种模型和任务上实现了 1.1x 到 1.4x 的加速比（相对于原生 LLM 生成）。
- 在 LLaMa-2-70B 和 LLaMa-3-70B 等大规模模型上表现尤为突出，例如在 CNN-DM 摘要任务上达到 1.37x - 1.38x 的加速。
- 相比之下，基线方法 DEL 在某些情况下甚至无法提供加速（<1x），而 SWIFT 的加速效果通常低于 ConfLayers。
接受率与质量：
- 虽然 ConfLayers 的 token 接受率（Acceptance Rate）有时略低于 SWIFT，但它能接受更多的总 token 数量（因为搜索策略更关注最大化接受 token 数而非单纯比率），从而获得更高的整体加速。
- 输出质量： 通过 Rouge-2 指标评估，ConfLayers 生成的文本与原生生成高度重叠，证明了在加速的同时保持了输出质量。
泛化能力（动态输入流）：
- 实验显示，ConfLayers 在一个任务（如 CNN-DM）上搜索到的最佳层集合，直接应用于其他任务（如数学推理、翻译）时，依然能保持 >1.1x 的加速比。
- 相比之下，SWIFT 在跨任务应用时性能下降明显，甚至出现负加速（<1x）。
消融实验：
- 证明了自适应窗口大小的重要性。使用固定窗口大小（如 10 或 20）在不同模型和层上表现不一致且效果较差，而自适应窗口能显著提升性能。

5. 意义与结论 (Significance & Conclusion)

无需训练的实用性： ConfLayers 提供了一种真正的“即插即用”解决方案，无需微调模型或训练额外的策略网络，极大地降低了部署门槛。
细粒度的适应性： 相比现有的粗粒度跳过策略，ConfLayers 能够根据输入内容的置信度动态调整，实现了更细粒度的计算资源分配。
效率与质量的平衡： 该方法证明了简单的、基于置信度的启发式规则可以替代复杂的基于学习的方法，在保持 LLM 输出质量的同时，显著降低推理延迟。
未来展望： 这项工作为高效 LLM 推理开辟了新方向，表明利用模型内部的不确定性信号进行动态计算卸载是提升大模型实时性的有效途径。

总结： ConfLayers 通过引入基于中间层置信度的自适应层跳过机制，成功解决了自投机采样中草稿模型构建的难题，在不牺牲质量的前提下，为大规模 LLM 提供了显著且稳定的推理加速。