💬 NLP

Adversarial Prompts for Acceptance Collapse in Speculative Decoding

本文介绍了 ADSD，这是首个通过使用 Soft-Collapse 代理生成对抗性后缀，从而利用投机采样（speculative decoding）漏洞，在保持任务质量的同时显著增加推理延迟的提示词后缀攻击。

原作者： Run Wang, Chaoyi Zhou, Xi Liu, Yi Zhu, Amir Salarpour, Pedram MohajerAnsari, Zhi-Qi Cheng, Feng Luo, Siyu Huang, Mert D. Pesé

发布于 2026-07-27

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Run Wang, Chaoyi Zhou, Xi Liu, Yi Zhu, Amir Salarpour, Pedram MohajerAnsari, Zhi-Qi Cheng, Feng Luo, Siyu Huang, Mert D. Pesé

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在经营一家高速运转的餐厅，一位主厨（“目标模型”）负责将每一道菜都烹饪得尽善尽美。但主厨动作较慢，而顾客们又等不及了。为了提高速度，餐厅雇佣了一位手脚麻利的副厨（“草稿模型”），他跑在前面，负责切菜并预判主厨下一步会做什么。如果副厨的猜测是对的，主厨只需点点头，就能瞬间上菜；如果副厨猜错了，主厨就必须停下手头的工作，扔掉错误的猜测，并从头开始重新烹饪。这种“猜测并检查”的系统被称为投机采样（speculative decoding），它是让 AI 聊天机器人说话更快且不失智慧的一种流行技巧。

多年来，人们一直认为只要 AI 不说出任何恶意或古怪的话，这个系统就是安全的。当时的观点是，这种速度提升只是一个数学问题：如果两位厨师达成一致，速度就快；如果他们意见不一，速度就慢。但如果有人能通过在顾客的订单中植入一段微小的、秘密的代码，从而诱导系统始终处于“意见不一”的状态呢？这正是克莱姆森大学（Clemson University）及其他机构的研究团队试图回答的问题。他们想知道，是否可以通过一段精心设计的句子，让快速运行的 AI 变得极其缓慢，使其服务既昂贵又令人沮丧，而与此同时，最终给出的答案看起来却依然完美无瑕。

研究人员发现，这确实是可能的。他们创造了一种新型攻击，称为 ADSD（对抗性提示导致接受崩溃/Adversarial Prompts for Acceptance Collapse）。你可以把它想象成餐厅工作流程中的一个“矩阵漏洞”。攻击者并不改变厨师或厨房，他们只是在正常的请求末尾添加几个隐形的、特殊的词汇。这些词汇就像一个魔咒，让那位手脚麻利的副厨变得异常自信却又始终出错。副厨开始满怀信心地喊出像“诡异”或“XX”之类的猜测，但主厨知道这些都是错的，于是立即拒绝了它们。

由于主厨频繁拒绝这些猜测，系统陷入了不断丢弃工作并重新开始的循环中。在测试中，这个小小的技巧将快速响应变成了缓慢响应。在一个名为 GSM8K 的数学问题数据集上，获取答案的平均时间从 26.05 秒 跳升到了 42.29 秒——增加了 62.3%。这就像是一段 10 分钟的车程，仅仅因为一个奇怪的交通信号灯，突然变成了 16 分钟。更令人印象深刻（也更可怕）的是，研究人员发现，客户收到的最终答案与之前几乎一样出色。数学问题仍然被正确解决，故事也依然逻辑通顺。这种攻击并没有破坏 AI 的大脑，它只是破坏了 AI 的速度。

该团队展示了即使餐厅尝试使用不同的、更先进的烹饪方法，这种技巧依然有效。无论使用的是标准的“逐一检查”系统，还是高级的“分块检查”系统，攻击都能让速度下降大致相同的幅度。他们甚至在不同类型的 AI 模型上进行了测试，从 Qwen 系列到 LLaMA 系列，这种减速现象无处不在。在一种使用名为 EAGLE-3 特定架构的极端情况下，速度大幅下降了 76.9%。

研究人员还测试了这种“魔咒”是否能在其未经过专门训练的任务上生效。他们将一个旨在减慢数学题速度的“咒语”用于编程任务和新闻摘要任务。结果成功了！在编程任务中，生成代码的时间增加了一倍以上（141.8%），且代码开始出现更多错误。在新闻摘要任务中，速度降低了 30.4%。这表明，这种漏洞并非某个特定数学测试中的偶然现象，而是这些快速 AI 系统在自我检查机制上的一个根本性弱点。

论文总结道，虽然 AI 的最终答案可能看起来依然完美，但获取答案的“成本”已被劫持。这种攻击具有隐蔽性，因为它不会触发寻找坏词或异常输出的常规警报。这是一种“钱包拒绝服务”（denial of wallet）攻击，攻击者并非窃取数据，而是强迫服务提供商为了交付一个正常的答案而消耗大量的昂贵计算资源。作者指出，仅仅检查输入或最终输出是不够的；我们需要监控“过程”本身。如果系统注意到“猜测并检查”的循环失败频率过高，它可能需要停止猜测，转而采用低速烹饪模式以节省成本。目前，这一发现发出了警告：仅仅因为一个 AI 反应迅速且准确，并不意味着它在面对几句巧妙的文字时是安全的。

技术摘要：针对投机采样中接受度崩溃的对抗性提示词

问题陈述

投机采样（Speculative Decoding）已成为大语言模型（LLM）的一种领先的“无损”加速技术，通过使用快速草稿模型提出 Token，并由较大的目标模型进行并行验证，从而提供显著的推理加速。这种范式的效率完全取决于验证器接受率（verifier acceptance rate）：当草稿 Token 被接受时，单次目标模型前向传播即可提交多个 Token；当被拒绝时，系统会产生重新生成 Token 的无效计算开销。

尽管之前的 LLM 安全研究主要集中在安全性失效、侧信道泄露或输出长度膨胀，但本文识别出了一个关键且尚未被探索的漏洞：投机采样的内部接受机制可以通过提示词操纵受到系统性攻击。 作者证明，攻击者可以构建一个短小的对抗性后缀，迫使草稿模型生成目标模型极不可能接受的 Token。这种“接受度崩溃”（acceptance collapse）将无损加速路径转化为重复的无效计算，在不一定降低最终输出语义质量的情况下，大幅增加延迟和计算成本，从而规避标准的质量监控。

方法论：ADSD

本文引入了 ADSD（针对投机采样的对抗性解码），这是一种旨在最大化验证器拒绝率同时保持任务性能的提示词后缀攻击方法。该方法在白盒威胁模型下运行，攻击者可以离线获取草稿分布 ( $q$ )、目标分布 ( $p$ ) 以及验证逻辑。

核心组件

软崩溃目标 (Soft-Collapse Objective, SC)：
作者基于投机接受规则的不对称性推导出了一个代理目标函数： $\alpha(v) = \min(1, p(v)/q(v))$ 。拒绝压力仅发生在草稿过于自信（即 $q(v) > p(v)$ ）的情况下。定义的软崩溃目标为 $SC(q, p) = \sum_v q(v) \cdot \text{ReLU}(\log q(v) - \log p(v))$ ，它专门针对这些正向对数边际。它将草稿概率质量推向验证器最可能拒绝的 Token，从而有效地使接受率崩溃。
目标语义保持 (Target Semantics Preservation, KL)：
为了确保攻击保持隐蔽性（即最终答案仍然有用），ADSD 包含了一个前向 KL 散度惩罚项： $KL(p^0 \parallel p^u)$ 。该项将对抗性后缀下的目标模型分布 ( $p^u$ ) 锚定在其在良性提示词下的分布 ( $p^0$ )。这防止了攻击仅仅是将输出破坏为乱码（因为乱码会被轻易检测到）。
离散提示词搜索：
由于对抗性后缀由离散 Token 组成，ADSD 采用了梯度引导的顺序束搜索（gradient-guided sequential beam search）。算法迭代地遍历后缀位置，计算相对于 Token 嵌入的梯度，以识别能够最大化组合目标（最大化 SC 同时最小化 KL）的前 $k$ 个替换项。

关键结果

作者在 GSM8K 数据集上评估了 ADSD，涵盖了多种模型架构（Qwen2.5, LLaMA-3）和投机策略（Tokenwise, Blockwise, Hierarchical Speculative Decoding）。

性能退化： 在 GSM8K 上，该攻击将平均样本时间从 26.05s 增加到 42.29s (+62.3%)。
效率崩溃： 块效率（每个块平均接受的 Token 数）从 6.028 降至 3.683 (-38.9%)，解码速度下降了 36.1%。
隐蔽性： 尽管延迟大幅增加，任务准确率仍基本保持不变（仅从 0.821 降至 0.802），这表明攻击成功实现了操作成本与语义正确性的解耦。
泛化能力：
- 架构： 该攻击在不同的草稿-目标对（例如 Qwen 14B→0.5B, LLaMA-3 70B→8B）以及专门的架构如 EAGLE-3（其中效率下降了 76.9%）上均有效。
- 策略： 它成功绕过了先进的解码策略，如 Blockwise 和分层投机采样（HSD），导致了类似的延迟激增（分别增加了 +64.8% 和 +66.1%）。
- 可迁移性： 在 GSM8K 上优化的后缀可迁移至其他领域，导致 HumanEval（代码生成）的延迟增加了 141.8%，CNN/DailyMail（摘要生成）增加了 30.4%，尽管对任务质量的影响程度各异。

重要性与主张

本文声称是首个研究通过提示词诱导攻击来研究投机采样内部接受机制漏洞的工作。其主要贡献包括：

新型威胁向量： 它识别出“提示词诱导的验证器崩溃”是一个不同于传统安全性失效或输出长度膨胀攻击的独特风险。该攻击利用的是草稿与目标之间的分布失配，而非模型的安全对齐。
针对特定机制的攻击： 不同于针对服务栈或护栏（guardrails）的攻击，ADSD 针对的是投机采样本身的核心算法逻辑。
操作性漏洞： 结果表明，“无损”语义保证并不意味着“无损”的操作成本鲁棒性。攻击者可以将一种节省成本的加速技术转化为“拒绝钱包”（denial-of-wallet）向量，从而推高推理请求的实际成本。
防御启示： 作者指出，标准的防御措施（困惑度过滤、输出筛选）是不够的，因为该攻击短小、稀释在良性上下文中，且最终输出在语义上可能保持正确，即便内部效率已经崩溃。他们建议，在线接受率监控可能是一种必要的缓解手段，但这属于未来的研究工作。

总之，本文认为，依赖草稿-目标对齐的投机采样存在一种系统性的脆弱性，这种脆弱性可以被武器化，在不触发标准安全或质量警报的情况下，降低服务可用性并增加成本。