💬 NLP

AsymSpec: Context-Asymmetric Speculative Decoding for Agentic LLMs

AsymSpec 是一种非对称投机解码框架，它使轻量级草拟器能够访问完整的输入上下文，而大型验证器则在压缩视图上运行，通过以显著降低的计算成本实现接近全上下文的性能，从而有效平衡智能体大语言模型（agentic LLMs）的推理速度与准确性。

原作者： Sheng Liang, Yongyue Zhang, Nathanael Brian, Hang Lv, Hao Wang, Chen Zhang, Yong Liu

发布于 2026-08-27

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Sheng Liang, Yongyue Zhang, Nathanael Brian, Hang Lv, Hao Wang, Chen Zhang, Yong Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

现代人工智能系统正日益成为自主智能体，能够检索文档、使用软件工具并进行多轮对话以解决复杂问题。随着这些智能体的运行，它们会积累不断增长的信息历史：搜索结果、工具输出以及过去的对话信息。为了使这些系统达到实际应用中的速度，工程师通常会对这些历史记录进行压缩，将长文档总结为短句，或剥离详细的图像以节省时间。然而，这种压缩付出了沉重的代价：人工智能失去了进行准确推理所需的细粒度细节，迫使人们在速度与智能之间做出艰难的选择。一种被称为“投机采样”（speculative decoding）的标准技术——利用一个小巧、快速的模型来猜测大模型、慢模型的输出——一直是加速人工智能的主流方案。然而，这种传统方法在智能体场景中遇到了瓶颈，因为它要求作为“猜测者”的小模型和作为“验证者”的大模型必须看到完全相同的信息。如果信息为了节省时间而被压缩，猜测者也会像验证者一样丢失关键细节，这意味着这种加速手段无法挽回损失的准确性。

华为技术有限公司与中国科学技术大学的研究人员提出了一种名为 ASYMSPEC 的新方法，通过允许两个模型看到同一故事的不同版本，打破了这一僵局。在他们的系统中，负责做出最终决策的强大且大型的模型仅基于压缩后的快速版本输入进行操作，以保持低延迟。与此同时，一个更小、更轻量级的模型在后台读取完整的、未压缩的历史记录。这个小模型充当了一个引导者，精确识别出压缩过程中丢失了哪些信息，并微妙地引导大模型的预测，使其包含这些缺失的细节。研究人员发现，这种非对称设置使系统能够在保持压缩版运行速度的同时，保留几乎接近全上下文分析的准确度。在包括复杂多步提问和工具使用在内的四种不同智能体能力测试中，该方法在仅使用 20% 到 30% 计算成本的情况下，恢复了约 90% 的全上下文准确度。

其核心创新在于两个模型如何进行通信。该系统并非简单地让小模型进行猜测并寄希望于大模型达成一致，而是将小模型对全文的反应与其对压缩文本的反应进行对比。这两个反应之间的差异揭示了压缩过程究竟剔除了什么。随后，系统利用这一特定信号来调整大模型的输出，从而在不需要大模型本身处理沉重的全长数据的情况下，有效地填补了空白。一种智能门控机制确保这种引导仅在必要时才被应用，从而防止系统在压缩程度较轻时产生困惑。这种方法即使在输入涉及不同类型媒体时也同样有效；例如，一个小模型可以查看原始图像，而大模型仅能看到文本描述，此时小模型可以引导大模型去理解它无法看到的视觉细节。

研究人员在现实世界的智能体任务上测试了这种方法，例如回答需要检索多个文档、遵循多轮指令以及使用软件工具的问题。他们将该系统与标准方法进行了对比，这些标准方法要么缓慢地处理所有内容，要么快速地压缩所有内容。结果显示，传统的投机采样无法挽回因压缩而损失的准确性；它仅仅是加速了这一有损的过程。相比之下，这种新的非对称方法成功弥合了差距，以极小的代价实现了接近于缓慢、全上下文理想状态的表现。在涉及长文档的具体基准测试中，该系统与未压缩的基准线相比，实现了 1.3 到 1.7 倍的加速，同时将所需的计算能力降低到了约五分之一。研究表明，当压缩程度非常严重时，该技术尤其具有价值，因为系统恢复丢失信息的能力与最初剥离细节的程度直接相关。

这项工作证明了人工智能智能体中速度与准确性之间的权衡并非不可逾越。通过将快速模型所见的内容与慢速模型所见的内容解耦，并利用轻量级引导者来传输关键洞察，实现效率与高质量推理是可能的。研究结果表明，对于上下文沉重且细节易丢失的任务，一个阅读完整图景的小模型可以有效地引导一个处理摘要的大模型。这种方法为在生产环境中部署复杂的 AI 智能体提供了一条切实可行的路径，在这些环境中，延迟和成本是关键约束，同时又无需牺牲复杂决策所需的可靠性。

技术摘要：AsymSpec：面向智能体 LLM 的上下文非对称投机采样

1. 问题陈述

现代智能体 LLM 流水线（涉及检索、工具使用和多轮交互）随着上下文量的累积面临着不断上升的推理成本。为了管理延迟，生产系统通常会对输入进行压缩（例如，总结检索到的段落、使用 API 签名代替完整文档，或使用标题替换原始图像）。然而，这种压缩会系统性地丢弃对任务准确性至关重要的细粒度细节，从而产生一个僵化的权衡：要么接受全上下文生成带来的高昂延迟，要么承受显著的准确性下降。

现有的投机采样（Speculative Decoding, SD）方法通过使用轻量级草拟模型（drafter）为大型验证器（verifier）提议 Token 来加速生成，但无法解决这一权衡。标准的 SD 强制执行对称上下文约束：草拟模型和验证器必须处理相同的输入 Token。因此，如果为了节省延迟而压缩验证器，草拟模型也被迫在压缩后的视图上运行，从而继承了同样的准确性损失。SD 虽然加速了压缩模型，但无法恢复被压缩所丢弃的信息。

2. 方法论：AsymSpec

作者提出了 ASYMSPEC，一个打破投机采样中上下文访问对称性的框架。其核心洞察在于结构性的计算非对称性：单步延迟主要由大型验证器主导，而轻量级草拟模型的开销可以忽略不计。ASYMSPEC 通过解耦上下文访问来利用这一点：

验证器： 严格在压缩视图（ $x_{comp}$ ）上运行，以保持低延迟。
草拟模型： 读取完整输入（ $x_{full}$ ），以重建因压缩而被丢弃的信息。

该框架通过两个耦合机制来恢复全上下文的推理保真度：

2.1 对比式 $\delta$ -融合（Contrastive $\delta$ -Fusion）

为了在不需要验证器关注 $x_{full}$ 的情况下，利用全上下文草拟模型来引导压缩后的验证器，ASYMSPEC 采用了对比机制：

草拟模型 ( $S$ ) 执行两次前向传播：一次基于 $x_{full}$ （产生 Logits $a$ ），一次基于 $x_{comp}$ （产生 Logits $b$ ）。
通过减去压缩后的 Logits 来隔离上下文增益信号： $\delta = a - b$ 。
这种减法抵消了草拟模型与上下文无关的偏好，从而隔离出了由未压缩输入提供的特定信息增益。
信号 $\delta$ 通过加权求和方式融合到验证器的 Logits ( $t$ ) 中： $t' = t + \beta \delta$ ，其中 $\beta$ 控制引导强度。

2.2 上下文差异接受（CDA）门控

标准的 SD 使用固定的接受阈值。然而，当全视图和压缩视图发生剧烈分歧时，固定阈值可能会过度拒绝那些包含关键恢复信息的草拟内容。ASYMSPEC 引入了一个无参数的**上下文差异接受（Context-Divergence Acceptance, CDA）**门控：

有效阈值 $\gamma_{eff}$ 会根据全上下文与压缩上下文之间的差异成比例地放宽。
分歧度 ( $D_i$ ) 使用 $x_{full}$ 和 $x_{comp}$ 之间草拟模型分布的 Jensen-Shannon 散度（JSD）来衡量。
阈值调节方式为 $\gamma_{eff}(i) = \gamma \cdot \exp(-D_i)$ 。
这确保了在高上下文诱导分歧的位置（即压缩验证器可能对有用的全上下文草拟内容评分过低的地方）能够更轻易地被接受，同时保持稳定性。

2.3 跨模态扩展

该框架自然地扩展到了跨模态场景。视觉语言草拟模型可以处理原始图像（ $x_{full}$ ），而纯文本验证器可以操作标题（ $x_{comp}$ ）。由于输出 Token 词表是共享的， $\delta$ 信号和接受逻辑依然定义明确，从而允许文本验证器受到视觉信息的引导，即使它无法直接消费这些视觉信息。

3. 核心贡献

非对称投机采样框架： ASYMSPEC 引入了一个运行点，使压缩后的验证器通过利用全上下文草拟模型，能够达到接近上限的准确性，而这种配置在对称 SD 方法中是无法实现的。
双重机制： 作者通过同模型跨上下文的 $\delta$ -融合（通过抵消容量偏差来隔离上下文增益）以及无参数的 CDA 门控（在无需针对特定数据集调优的情况下限制引导强度）实现了这一点。
跨模态能力： 该框架使纯文本验证器能够通过受视觉语言草拟模型引导，来执行视觉推理任务，从而避免了对验证器端多模态基础设施的升级。

4. 实验结果

在四种智能体能力（长上下文多跳问答、多轮指令遵循、工具使用、多模态推理）和两个端到端基准测试（GAIA, SimpleQA）上进行了评估：

准确性恢复： ASYMSPEC 平均恢复了约 90% 的全上下文准确性。例如，在 LongBench 多跳子集上，它填补了压缩“底线”（Floor）与全上下文“天花板”（Ceiling）之间 59–94% 的差距。
效率： 与全上下文生成相比，该方法实现了 1.3–1.7 倍的吞吐量提升，同时在孤立的文本能力上仅消耗 0.2–0.3 倍的计算成本（FLOPs）。
压缩敏感性： 准确性收益随压缩程度的增加而单调增加。在近乎无损压缩的任务（如 MultiChallenge）中，ASYMSPEC 的改进微乎其微，这证实了该机制专门用于恢复被丢弃的信号。
跨模态性能： 在 MathVista 上，ASYMSPEC 比对称 SD 高出 10.1 个百分点，为纯文本验证器原本无法胜任的视觉问答和图形问答任务恢复了显著的准确性。
鲁棒性： 该方法在超参数（ $\beta$ , $\gamma$ ）和压缩器类型（摘要、截断、Token 剪枝）方面表现稳健。要可靠地提取上下文增益信号，草拟模型需要至少 1.7B 的参数量。

5. 意义与主张

论文声称 ASYMSPEC 从根本上改变了智能体 LLM 的效率运行点。通过打破对称上下文约束，它允许系统在保留压缩推理低延迟的同时，恢复全上下文生成的推理保真度。

作者强调，对于上下文长度是主要开销驱动因素的生产级智能体流水线，这种方法具有极高的价值。该方法提供了一个可预测的部署标准：当压缩丢弃了关键推理信号时，非对称引导便是合理的。论文总结道，ASYMSPEC 提供了一种实用的解决方案，可以在不改变底层验证器架构或在验证步骤中访问专有全上下文数据的情况下，解决准确性与开销之间的权衡问题。