🤖 machine learning

Detecting Fluent Optimization-Based Adversarial Prompts via Sequential Entropy Changes

本文介绍了 CPD Online，这是一种无需训练且与模型无关的检测器，它通过对令牌级熵流应用序列变点检测来识别流畅的基于优化的对抗性提示，在实现优于现有困惑度方法的准确性和精确定位的同时，降低了下游安全过滤器的计算开销。

原作者： Mohammed Alshaalan, Miguel R. D. Rodrigues

发布于 2026-05-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Mohammed Alshaalan, Miguel R. D. Rodrigues

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个非常聪明的机器人助手（大型语言模型，或称 LLM），它被训练得乐于助人且安全可靠。然而，精明的黑客找到了一种方法，诱骗这个机器人说出有害的内容。他们通过在正常问题的末尾添加一段秘密、不可见的“代码”来实现这一点。这段代码被称为对抗性后缀。

问题在于，这些黑客越来越擅长让他们的代码看起来和听起来都完美自然。这就像一个间谍流利地说着你的语言，穿着你的衣服；仅仅是一瞥（或者简单检查词语听起来是否“怪异”），无法区分正常人和间谍。

本文介绍了一种名为CPD Online的新型安全卫士，它通过观察机器人阅读信息时的思考过程来捕捉这些间谍，而不仅仅是查看词语本身。

以下是其工作原理，使用简单的类比说明：

1. 问题：“平滑”的间谍

传统的安全检查会查看信息的“困惑度”（perplexity）。可以将困惑度理解为机器人对词语感到惊讶的程度。

正常信息：机器人通常不会太惊讶。
老式攻击：黑客使用乱码或奇怪的词语。机器人会非常惊讶，安全卫士会大喊：“太奇怪了！停下！”
新式攻击：黑客现在利用人工智能编写他们的秘密代码，使其完美无缺，以至于机器人完全不会惊讶。“惊讶计”保持低位，因此旧卫士会漏掉他们。

2. 解决方案：观察“心跳”

作者意识到，即使词语看起来正常，当机器人遇到秘密代码时，其思考模式也会发生变化。

想象机器人正沿着一条路阅读你的信息。

正常路径：机器人的“不确定性心跳”（称为熵）平稳且有节奏，就像平静的行走。它会略有波动，但保持在舒适的范围内。
间谍的路径：当机器人在句子末尾遇到秘密代码时，其思考模式会发生转变。它开始“漂移”上升。这就像机器人突然开始 uphill 行走或以不符合其通常节奏的方式加速。

3. 侦探："CUSUM"计量器

本文使用了一种名为CUSUM（累积和）的数学工具。可以将其想象为一个灵敏的天平或漂移检测器。

基线：首先，系统观察机器人阅读一条标准、安全的指令（即“系统提示”）。它学习该特定机器人的“正常心跳”是什么样子的。
测试：随着机器人阅读你的信息，检测器将每个新词的“心跳”与该基线进行比较。
警报：
- 如果心跳轻微波动然后恢复正常，天平会重置。（这是正常的句子）。
- 如果心跳开始漂移上升并保持在那里，天平会持续增加重量。一旦重量过大，警报就会响起。

这与旧方法不同，旧方法只是寻找单一的响亮噪音。这种方法寻找的是机器人思考模式的持续转变。

4. 为何更优

本文在六种不同类型的机器人模型和数千次攻击中测试了该方法。以下是他们的发现：

它能捕捉“平滑”的间谍：因为它关注的是变化的模式，而不仅仅是词语有多“怪异”，所以它能捕捉到那些能欺骗其他检测器的新式、流畅的攻击。
它知道间谍在哪里：旧检测器可能只会说：“整条信息都是坏的。”CPD Online 可以指出秘密代码开始的确切时刻。这就像一名安全卫士，不仅说“大楼里有小偷”，而且会指着说：“小偷在下午 3:05 从后门进入的。”
它快速且免费：它不需要新的重型计算机来运行。它利用机器人思考时已经生成的数据，因此几乎不增加延迟。

5. “守门人”策略

本文还提出了一种在现实世界中智能使用此方法的方式。想象一个繁忙的办公室，有一位非常昂贵、训练有素的安全主管（称为LLaMA Guard），他能做出复杂的决定，但检查每位访客需要很长时间。

旧方法：主管检查每个人。这既慢又昂贵。
新方法：CPD Online检测器充当前门的守门人。
- 如果守门人看到平稳、正常的心跳，它会挥手让访客通过，而不打扰主管。
- 如果守门人看到那种“漂移”的心跳，它会拦住访客并呼叫主管进行深度检查。

这节省了大量时间（在他们的测试中将主管的工作量减少了约 20–40%），同时不让坏人溜走。

总结

简而言之，这篇论文告诉我们，要捕捉擅长混入其中的间谍，你不应该只看他们的衣服（词语）；你应该观察他们如何行走（不确定性的模式）。通过追踪机器人的“思考节奏”，这种新检测器能够发现正常对话何时转变为诡计，即使这个诡计听起来完全礼貌。

技术摘要：通过序列熵变检测流畅的基于优化的对抗性提示

1. 问题陈述

大型语言模型（LLM）仍然容易受到基于优化的对抗性后缀的攻击。与人工编写的越狱攻击不同，这些攻击（例如 GCG、AutoDAN、AdvPrompter）是自动生成的，旨在迫使对齐模型违反安全策略，同时保持高流畅度。

现有防御面临两个主要局限：

统计检测器（基于困惑度）： 依赖全局困惑度（PP）或窗口化困惑度（WPP）的方法假设对抗性令牌在统计上不太可能或不够流畅。然而，现代攻击明确优化以降低困惑度并提升自然度，通常将全局 PP 保持在良性提示的范围内，使得这些检测器失效。
安全分类器（防护模型）： 像 LLaMA Guard 这样的模型提供了强大的语义检测能力，但引入了显著的延迟、内存开销和服务复杂性。此外，它们在提示级别运行，无法定位对抗性后缀在输入流中具体从何处开始。

核心挑战在于，在不依赖静态困惑度阈值或昂贵辅助模型的情况下，实时检测并定位这些流畅的、基于优化的后缀。

2. 方法：CPD Online

作者提出了CPD Online，这是一种轻量级、无需训练的检测器，将对抗性后缀检测框架化为令牌级下一个令牌熵流上的**在线变点检测（CPD）**问题。

核心机制

该方法基于以下观察：虽然良性用户输入具有与系统提示相似的熵分布，但基于优化的对抗性后缀即使在整体困惑度不明显的情况下，也会在令牌熵流中引发持续的偏移。

检测流程包含三个步骤：

鲁棒基线估计：
- 使用固定的系统提示建立特定部署的熵基线。
- 计算系统提示令牌熵的中位数（ $\hat{\mu}_0$ ）和中位数绝对偏差（ $\hat{\sigma}_0$ ），以定义鲁棒的位置和尺度。
标准化：
- 用户令牌熵（ $H^{usr}_t$ ）相对于基线进行标准化： $Z_t = (H^{usr}_t - \hat{\mu}_0) / \hat{\sigma}_0$ 。
- 在良性条件下， $Z_t$ 在零附近波动。对抗性后缀会导致 $Z_t$ 的均值产生持续的正向偏移。
单侧 Page CUSUM 检验：
- 对标准化流应用经典的单侧 Page CUSUM 统计量（ $W^+_t$ ）以检测持续的均值偏移：
  $W^+_t = \max\{0, W^+_{t-1} + Z_t - k\}$
  其中 $k \ge 0$ 是“松弛”参数（标准设置 $k=0$ ）。
- 当 $W^+_t$ 超过阈值 $h$ 时，在停止时间 $\tau$ 发出警报。
- 定位： 后缀的起始点（ $\hat{\nu}$ ）通过回溯至警报前 $W^+_t = 0$ 的最后重置点进行估计。

运行特征

模型无关： 仅需访问基础模型的令牌级下一个令牌概率（或 logits）。
无需训练： 不需要额外的训练或辅助网络。
在线且低开销： 在正向传递期间顺序运行，每个令牌的复杂度为 $O(1)$ ，内存占用可忽略不计。
混合门控： 可作为轻量级门控，在调用昂贵的安全分类器（如 LLaMA Guard）之前过滤良性流量。

3. 主要贡献

公式化： 本文将对抗性后缀检测公式化为令牌级熵流上的在线变点检测问题，证明了熵偏移是比静态困惑度更稳健的流畅攻击信号。
算法： 将 CPD Online 实例化为使用系统提示为基础的中位数绝对偏差（MAD）统计量的单侧 Page-CUSUM 检测器。它轻量级、无需训练，并利用标准正向传递中可用的量。
实证性能： 在包含 1,012 个基于优化的攻击（涵盖 GCG、AutoDAN、AdvPrompter、BEAST、AutoDAN-HGA）和 1,012 个困惑度匹配的良性提示的基准测试中，CPD Online 在六个开源权重聊天模型（LLaMA-2、Vicuna、Qwen2.5）上始终优于最强的窗口化困惑度（WPP）基线。
定位能力： 与通常在跨越后缀边界的窗口上触发的 WPP 不同，CPD 将其 79.6% 的触发点集中在对抗性后缀内部，提供了精确的令牌级定位。
效率： 当用作 LLaMA Guard 的门控时，CPD 将防护调用减少了 17–22%（在高流量压力测试中高达 42.2%），同时保持了检测质量。

4. 实验结果

评估在六个基础 LLM（LLaMA-2-7B/13B、Vicuna-7B/13B、Qwen2.5-7B/14B）上进行，使用了困惑度匹配的基准测试（ $\alpha=1$ ），其中良性提示被采样以匹配流畅优化攻击的困惑度分布。

检测准确率（F1）： CPD Online 在所有六个模型上均取得了最高的 F1 分数。
- 示例（LLaMA-2-7B）： CPD 达到了 F1 0.82 和 AUROC 0.88，而最佳 WPP 基线（WPP15）为 F1 0.74 和 AUROC 0.77。全局困惑度（PP）的表现接近随机猜测（AUROC 约 0.46）。
定位精度：
- CPD 在 79.6% 的情况下在后缀内部触发。
- WPP 基线仅在 17–46% 的情况下在后缀内部触发，存在显著的“边界模糊”（在 before+in 类别中触发）以及向良性区域（in-benign）的高泄漏。
对困惑度偏移的鲁棒性： 在良性提示被移至更高困惑度（ $\alpha=2, 3$ ）的压力测试中，CPD 保持或提升了性能，而 WPP 显著下降（在 $\alpha=3$ 时 AUROC 从 0.81 降至 0.67）。
混合门控： 在包含 17,297 个提示（大部分为良性）的部署场景中，CPD 门控将 LLaMA Guard 的调用减少了 42.2%（针对 LG1）和 33.8%（针对 LG2），同时保持了混合 F1 分数。

5. 意义与主张

本文声称是首个工作，在单个请求（系统 + 用户令牌流）内，在令牌级别应用在线变点检测来检测并定位已部署 LLM 中的对抗性后缀。

意义：

超越静态启发式： 它证明了序列熵动态而非绝对困惑度值是基于优化攻击的区分特征。
实际部署： 由于其无需训练且模型无关，它为实时监控提供了可行的解决方案，无需在每个请求上运行第二个 LLM（防护模型）所带来的计算成本。
精确性： 能够定位攻击的确切起始点，使得能够采取有针对性的缓解策略，而非生硬地拒绝整个提示。

承认的局限性：

该方法依赖令牌级概率，这在封闭 API 设置中可能不可用。
它假设使用固定的系统提示进行基线校准；良性流量中的强分布偏移可能需要重新校准。
当前的威胁模型仅限于附加到用户提示的基于优化的后缀，不包括前缀攻击或间接提示注入。

作者总结认为，这项工作鼓励进一步探索序列统计工具和内部不确定性动态，将其作为 LLM 安全的丰富信号。