🤖 AI

KnapSpec: Self-Speculative Decoding via Adaptive Layer Selection as a Knapsack Problem

KnapSpec 是一个无需训练的自投机解码框架，它将自适应层选择重新表述为一个背包问题，通过基于硬件特定延迟和上下文长度动态优化草案模型配置，从而实现推理吞吐量的最大化。

原作者： Seongjin Cha, Gyuwan Kim, Dongsu Han, Tao Yang, Insu Han

发布于 2026-06-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Seongjin Cha, Gyuwan Kim, Dongsu Han, Tao Yang, Insu Han

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图烤一个巨大且复杂的蛋糕（生成文本），而使用的是一个非常先进但运行缓慢的烤箱（大语言模型）。每当你添加一种新原料（单词/Token）时，烤箱都必须进行一次完整的、昂贵的循环，以检查蛋糕是否正在膨胀。这使得烘焙过程变得极其漫长。

自我投机采样（Self-Speculative Decoding） 就像是雇佣了一位快速的初级烘焙师，在主烤箱检查之前，先去猜测接下来的几种原料。如果初级烘焙师猜对了，主烤箱就会跳过工作并说：“做得好，继续。”这提高了速度。但问题在于，如果初级烘焙师猜错了，主烤箱就必须丢弃这个猜测并重新开始，从而浪费时间。

现有方法的问题在于，它们将烤箱的内部组件视为一个单一且不可改变的整体。它们没有意识到，随着蛋糕变得越来越大（上下文变长），烤箱的某些部分会变慢，而其他部分的速度则保持不变。

于是有了 KnapSpec。作者提出了一种新的构建这种“初级烘焙师”的方法，将烤箱的各个部分视为背包中的物品（背包问题）。

核心思想：背包类比

想象你是一名徒步旅行者（AI），正试图背着一个背包。你在感到疲劳（时间/延迟）之前，有一个有限的能量限制。你有一系列可以携带的物品（模型内部的层）：

沉重且笨重的物品： 这些是 注意力层（Attention layers）。随着你的徒步路程越长（处理的文本越多），它们就会变得越来越重。
重量恒定的轻便物品： 这些是 MLP 层。无论徒步路程多长，它们的重量都保持不变。

旧的方法只是简单地说，“带上前 5 件物品”或“带上最后 5 件物品”。它们并不关心这些物品到底是重还是轻。

KnapSpec 则提出了一个更聪明的问题：“鉴于我当前的能量限制以及这些特定物品现在的重量，哪种组合能让我最有机会到达顶峰（生成准确的文本），同时又不会耗尽我的能量？”

它通过使用“背包算法”在数学上解决了这个问题。它决定在徒步过程变长时跳过沉重、缓慢的部件，同时保留轻便、快速的部件，从而确保“初级烘焙师”既快速又准确。

它是如何运作的（简单步骤）

“草稿”是一个子模型： KnapSpec 并不是训练一个全新的初级烘焙师，而是通过挑选主烤箱的特定部分来构建它。它可以跳过某些层并保留另一些层。
“背包”数学： 它计算每个部分在当前时刻运行需要多长时间（因为长文本会让“注意力”部分变慢）。然后，它解开一个谜题，寻找一个完美的层组合，既符合时间预算，又能正确预测下一个单词。
“信任”测试： 它如何知道该选择哪些层？它使用 余弦相似度（Cosine Similarity）。你可以把它看作是一种“氛围感检查（vibe check）”。它将初级烘焙师的猜测与主烤箱原本会想出的结果进行比较。如果这种“氛围”（数学上的相似性）足够接近，系统就会信任这个猜测。论文从数学上证明了，如果这种“氛围感检查”很高，那么猜测几乎肯定是正确的。
自适应速度： 当你输入一个越来越长的故事时，“注意力”部分的模型会变慢。KnapSpec 会实时察觉到这一点，并自动调整它的背包，跳过更多缓慢的部分，以保持速度。

为什么它更好（结果）

论文在流行的 AI 模型（如 Qwen 和 Llama）上针对超长故事和复杂推理任务进行了测试。

结果： KnapSpec 始终比其他方法更快，它将过程加速了高达 1.47 倍（几乎快了 50%）。
秘诀所在： 其他方法试图最大化初级烘焙师“猜对”的频率（接受率）。而 KnapSpec 意识到，如果检查过程本身太慢，那么猜对也毫无意义。相反，它最大化的是 每秒 Token 数（Tokens-per-Time）（即每秒能得到多少个单词）。
无需额外训练： 你不需要重新训练 AI 或添加新部件。它是一个“即插即用”的升级，可以直接应用于现有模型。

总结

把 KnapSpec 看作是 AI 的智能交通控制器。它不会让每一辆车（层）同时通过城市（模型），而是观察交通状况（上下文长度），并将重型卡车（慢速层）重新路由以避开瓶颈，同时让摩托车（快速层）疾速穿梭。这确保了交付（文本生成）能在不导致系统崩溃的前提下，尽可能快地完成。

技术摘要：KnapSpec

问题陈述

大型语言模型（LLMs）面临着显著的推理延迟和计算成本问题，尤其是在模型规模和上下文长度增加时。虽然投机采样（Speculative Decoding, SD）通过使用草稿模型提出 Token，并由目标模型进行并行验证来加速生成，但依赖于不同草稿模型的传统方法引入了部署复杂性和分布不匹配的问题。自投机解码（Self-Speculative Decoding, SSD）通过使用目标模型的子网络作为草稿器解决了这一问题，消除了对辅助模型的需求。

然而，现有的 SSD 方法存在关键局限性：

静态启发式方法： 大多数方法依赖于固定的层跳过策略或静态的早期退出点，这些方法无法考虑到长上下文场景下注意力机制（Attention mechanism）的动态计算开销。
低效的指标： 先前的研究通常优化诸如“每层 Token 数”（Tokens-per-Layer, TPL）或原始接受率等代理指标，这些指标与实际的墙钟吞吐量（wall-clock throughput）之间缺乏强相关性。
硬件无关性： 许多方法将 Transformer 层视为不可分割且具有统一延迟的单元，忽略了 Attention 层的延迟随上下文长度呈线性扩展（ $O(n)$ ），而 MLP 延迟保持恒定（ $O(1)$ ）的事实。

方法论：KnapSpec

KnapSpec 是一个无需训练的框架，它将草稿子网络的选择重新表述为一个旨在最大化 Tokens-per-Time (TPT) 吞吐量的 0/1 背包问题。

1. 解耦与自适应延迟建模

与跳过整个 Transformer 块的方法不同，KnapSpec 解耦了 Attention 和 MLP 层。它将它们的硬件特定延迟建模为上下文长度的函数：

$t_{Attn} = \Theta(n)$ （随序列长度缩放）
$t_{MLP} = \Theta(1)$ （常数）
这使得系统能够随着上下文窗口的扩大自适应地重新配置草稿模型，将瓶颈从 MLP 转移到 Attention。

2. TPT 指标

KnapSpec 引入了 Tokens-per-Time (TPT) 作为主要的优化目标，取代了 TPL。TPT 定义为：
$\text{TPT}(S, \gamma) = \frac{1 - \alpha_S^{\gamma+1}}{1 - \alpha_S} \cdot \frac{1}{\gamma \cdot t_{\text{Draft}}(S) + t_{\text{Target}}}$
其中 $\alpha_S$ 是接受率， $\gamma$ 是草稿长度， $t_{\text{Draft}}(S)$ 是所选子网络 $S$ 的延迟。该指标直接使优化目标与墙钟速度对齐。

3. 背包公式化与动态规划

层选择问题被映射为一个背包问题：

物品： 单个 Attention 层和 MLP 层。
重量： 层的延迟（归一化为整数）。
价值： 草稿层隐藏状态与目标模型隐藏状态之间的余弦相似度（作为接受率的代理）。

为了高效解决该问题，KnapSpec 采用了 并行动态规划 (DP) 算法：

阶段 1（DP 搜索）： 它通过最大化余弦相似度，计算各种延迟预算下的最优层子集。此阶段利用基于相似度阈值 ( $\tau = 0.5$ ) 的剪枝来减少搜索空间。
阶段 2（网格搜索）： 从 DP 生成的候选集中，通过网格搜索选择能使 TPT 指标最大化的对 $(S^*, \gamma^*)$ 。

4. 理论证明

论文提供了严谨的理论分析，确立了隐藏状态之间的 余弦相似度 是一个在数学上合理的接受率代理。引理 4.1 证明，如果草稿嵌入与目标嵌入之间的余弦相似度超过特定界限（取决于目标模型 Top-1 token 的边际），则贪婪解码预测保证是完全一致的。这证明了使用余弦相似度作为背包公式中“价值”的合理性。

核心贡献

基于背包的层选择： 第一个将 SSD 草稿选择重新表述为背包问题的框架，实现了 Attention 和 MLP 层的解耦以进行自适应配置。
上下文感知优化： 通过将延迟建模为序列长度的函数，KnapSpec 在上下文窗口扩大时仍能保持高加速比，解决了现实硬件中不断变化的瓶颈问题。
TPT 指标： 引入了一种比接受率或 TPL 更能与实际吞吐量相关联的硬件感知指标。
理论基础： 首次建立了将余弦相似度与 SSD 背景下 Token 接受率联系起来的严谨证明，为使用其作为优化目标提供了形式化依据。
无需训练的高效性： 一种即插即用的方法，不需要额外的训练、蒸馏或辅助参数。

实验结果

实验在 Qwen3 和 Llama3 模型上进行，涵盖各种规模（1B 到 70B）以及长上下文任务（高达 32K tokens，包括推理和摘要任务）。

性能： KnapSpec 在各种指标上均一致优于最先进的无需训练基线（LayerSkip, Kangaroo, DEL, ASD, Draft & Verify, SWIFT, CLaSp）。
加速比： 与标准自回归解码相比，它实现了高达 1.47× 的墙钟加速（例如，在 Llama3.1-70B 的 GovReport 摘要任务上）。
鲁棒性： 该方法在贪婪解码和随机采样（温度 $T=0.7$ 的核采样）中均保持了卓越的性能。
消融实验： 分析确认 TPT 是比接受率更好的吞吐量预测器（皮尔逊相关系数分别为 0.837 和 0.538）。此外，KnapSpec 会随着上下文长度的增加动态增加跳过的 Attention 层比例，而静态方法则无法实现这种自适应。

意义与主张

作者声称，KnapSpec 为加速下一代生成式 AI 提供了一个实用的解决方案，且无需承担开发独立草稿模型的开销。通过将层选择视为一个考虑了硬件特定延迟和上下文长度的约束优化问题，KnapSpec 能够应对推理过程中不断变化的瓶颈，从而实现吞吐量最大化。这项工作为 SSD 建立了一种新的范式，即从静态启发式转向自适应、有数学依据的配置选择，确保在处理长序列时实现高速推理，同时保留目标模型的输出分布。