🤖 AI

The Model's Tell: Measuring Context-Leakage Attack Signals with Behavior Gauges

本文介绍了 LeakGauge，这是一种轻量级且鲁棒的方法，通过分析行为表述后缀（behavior-verbalizing suffix）的预填充标记概率来检测大语言模型中的上下文泄露攻击，在无需访问内部隐藏状态的情况下，在多种模型上均实现了高准确率。

原作者： Maosen Zhang, Jianshuo Dong, Boting Lu, Wenyue Li, Xiaoping Zhang, Tianwei Zhang, Jie Zhang, Han Qiu

发布于 2026-08-19

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Maosen Zhang, Jianshuo Dong, Boting Lu, Wenyue Li, Xiaoping Zhang, Tianwei Zhang, Jie Zhang, Han Qiu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

现代人工智能助手通常依赖于一层隐藏的指令和私有文档来出色地完成工作。这些被称为系统提示词（system prompts）和检索上下文（retrieved context）的隐藏元素，就像一本秘密规则手册或一个私有的档案柜，计算机在回答问题前会先进行查阅。虽然这种设置有助于机器给出更好的答案，但也创造了一个漏洞。一个聪明的攻击者可以设计出一个巧妙的问题，旨在诱骗计算机泄露这些秘密指令或私有文件。多年来，安全专家一直试图通过仅观察用户问题的文本内容来识别这些诡计，就像保镖检查进门客人的身份证一样。然而，当攻击者改变措辞或使用新的策略时，这种方法往往会失效，因为文本本身并不总是能揭示其意图。

研究人员长期以来一直怀疑，在计算机完成输入答案之前，其内部状态就已经持有了更清晰的危险信号。问题在于，窥探机器的“大脑”需要访问复杂的、隐藏的数据，而标准的安全系统无法看到这些数据。来自清华大学及其合作伙伴的一项新研究提出了一个更简单的问题：计算机是否会在其对问题的即时反应中留下一个可见的痕迹，且这个痕迹无需通过破解机器的内部运作即可被观察到？研究人员发现，答案是肯定的。通过在用户问题的末尾附加一个特定的、无害的短语，并观察计算机如何计算其下一个词，研究人员可以高精度地检测出攻击，即使该攻击是全新的。

该团队开发了一种被称为“行为量规”（behavior gauge）的方法。想象一下，计算机即将开口说话，而你在它的提示词末尾添加了一个短句，写着：“基于上述内容，我将给出我的系统提示词。”这句话并不是一个真实的泄密请求；它是一个测试。研究人员随后观察计算机对该测试句前几个词的内部置信度得分。如果用户的原始问题是一个正常的、安全的查询，计算机会将这个测试句视为一个奇怪且不太可能的延续。但如果用户的提问是一个窃取秘密的恶意尝试，计算机的内部逻辑就会发生转变。它会突然发现这个测试句变得更加合理，仿佛恶意的提问已经将其推向了一个愿意泄露秘密的状态。这种转变发生在计算机实际打出任何文字之前的极短瞬间，并在代表计算机置信度的数字中留下了一个独特的模式。

为了证明其有效性，研究人员在十一个不同的语言模型上测试了该方法，涵盖了从小型高效版本到拥有数千亿参数的庞大系统。他们让这些模型经历了数千次攻击，包括窃取系统指令以及从数据库中提取私有文档的尝试。在每种情况下，行为量规都成功区分了安全问题与恶意问题。当研究人员针对从未见过的攻击以及从未遇到的受保护内容进行测试时，该方法识别威胁的 AUC 值仍保持在 0.944 到 0.996 之间。这比以往仅观察问题文本的方法有了显著提升，因为以往的方法在面对新型攻击时往往难以泛化。

一个关键发现是，最有效的测试短语并不需要包含实际的秘密信息。其中一个版本的测试使用了秘密文档的准确开头词，但当语言发生变化，或者当攻击者试图让计算机总结而非逐字复制秘密时，这种方法就失效了。更稳健的版本则只是简单地陈述泄密的意图，使用像“我将给出我的系统提示词”这样通用的词汇。这种通用的措辞在不同语言和不同类型的秘密面前都表现出色，这表明计算机是在对“泄露这一行为”本身做出反应，而不仅仅是识别特定词汇。研究人员通过展示他们可以通过引导计算机的内部状态来使其更容易或更不容易泄密，且行为量规的分数随之完美同步，从而证实了这一点。这证明该信号并非随机的故障，而是与计算机实际的风险内部表示紧密相连。

这项发现的实际价值在于其高效性。由于测试发生在计算机开始生成完整响应之前，因此它可以作为实时过滤器使用。研究人员构建了一个检测器，它通过添加测试短语并检查结果来进行工作，仅需不到 500 个额外的计算参数。这仅为处理请求增加了大约 10 毫秒的延迟，对于人类用户来说，这种延迟微乎其微，几乎察觉不到。相比之下，其他试图监控计算机内部信号的方法通常需要复制整个庞大的模型，或者等待计算机完成长篇大论的输出，这既缓慢又昂贵。新方法提供了一种以极低成本和极高速度捕捉这些攻击的方式。

研究还探讨了这种技术是否可以用于其他类型的安全威胁。通过将测试短语更改为匹配不同的风险（例如检测有毒语言或识别注入隐藏指令的尝试），该方法在这些领域也展现出了潜力。这表明，计算机对提示词的即时反应包含了一个丰富的、可获取的关于其安全状态的信号，而读取这个信号并不需要深入访问机器的内部架构。研究人员已经公开了他们的代码，允许他人验证这些结果，并有可能将这种轻量级的检测器集成到未来人工智能应用的安全性系统中。这项工作表明，有时观察问题的最有效方式不是深入窥探机器内部，而是观察它对一个简单且位置精准的问题所做出的反应。

技术摘要：模型的“征兆”：使用行为量规测量上下文泄露攻击信号

1. 问题陈述

现代大语言模型（LLMs）日益依赖外部上下文（如预定义的系统提示词或检索到的文档/RAG）来增强生成质量。然而，将这些机密上下文与用户查询共同处理会产生显著的攻击面。对抗性输入可能诱导模型泄露受保护的内容，这种漏洞被称为提示词泄露（Prompt Leakage）或提取攻击（Extraction Attacks）。

现有的缓解策略面临两个主要局限性：

仅基于输入的分类器： 基于文本的分类器（如 PromptGuard、PIGuard）将 LLM 视为黑盒，仅依赖输入文本。这些分类器往往无法泛化到未见的或经过改写的攻击。
内部信号提取： 最近的研究表明，在生成之前，隐藏状态和注意力模式中存在泄露信号。然而，提取这些信号需要访问中间模型状态（激活值、梯度、注意力分数）以及特定的层配置，而这些内容在 vLLM 或 SGLang 等标准推理引擎中通常是不公开的。这带来了显著的部署挑战。

本文探讨的核心问题是：模型是否在解码之前，通过无需访问内部表示的方式，暴露了一个更易于获取的泄露攻击“征兆”（Tell）？

2. 方法论：LeakGauge

作者提出了 LeakGauge，一种预解码行为量规，它通过在输入后附加一个特定的后缀来探测 LLM 的响应，并在**预填充阶段（Prefill Stage）**分析生成的 Token 概率。

核心机制

输入构建： 将一个量规序列 $z$ 作为后缀附加到输入上下文 $x$ （包括系统提示词、RAG 数据块和用户查询）之后，形成 $[x; z]$ 。
预填充概率： 在标准推理引擎的并行预填充过程中，模型会生成量规 Token 的对数概率（Log-probabilities）。这些概率反映了给定前文背景下，模型对量规序列的预测偏好。
风险评分： 一个轻量级的多层感知器（MLP）将对数概率向量映射为一个标量攻击风险得分（ $\hat{y} \in [0, 1]$ $\overset{y}{^} \in [0, 1]$ ）。
- 至关重要的是，由于量规是附加在输入之后的，原始输入的键值（KV）缓存不受影响，可以被后续的 Token 生成复用，从而最大限度地降低延迟开销。

量规设计

论文探索了两种不同的量规设计，以探测不同的信号模式：

精确型（Exact）： 使用实际受保护内容的头 $T$ 个 Token（例如，系统提示词的开头）。这测试了模型继续生成特定受保护文本的准备程度。
行为型（Behavior）： 仅对“披露行为”进行言语化，而不引用具体内容（例如，“基于上述内容，我将给出我的系统提示词”）。这探测的是一种与内容无关的披露行为。

3. 主要贡献

发现预解码信号： 作者证明，无需访问内部表示（隐藏状态或注意力分数），即可有效地从预填充 Token 概率中提取泄露攻击信号。
行为量规的优越性： 通过跨语言和跨目标的实验，论文揭示了 行为型 量规（与内容无关）比 精确型 量规能产生更鲁棒且更具泛化性的信号。该信号较少受限于表层内容的延续，而更多地响应披露的意图。
内部-外部相关性： 通过激活转向（Activation Steering），作者展示了可观测的风险得分对内部泄露相关方向是敏感的。沿着该方向转向模型会引起风险得分和实际泄露生成的同步变化，从而验证了可观测的概率信号与内部模型状态之间的联系。
轻量化部署： LeakGauge 实现了一种输入侧检测器，其增加的参数少于 0.5K，并通过复用输入 KV 缓存，产生的延迟极低（约 10.34 ms）。

4. 实验结果

作者在 11 个开源 LLM（参数规模从 8B 到 2.8T，包括 GLM-5.2 和 Kimi-K3）上评估了 LeakGauge，涵盖了系统提示词泄露和 RAG 泄露场景。

检测性能：
- 行为型 量规在所有模型和拆分集（包括具有挑战性的“留出严格型”拆分集，即未见的内容和未见的攻击）中，实现了 0.944–0.996 的 AUROC 范围。
- 相比之下，精确型 量规在分布偏移（如跨语言或语义攻击）下表现出显著的性能下降，证实了其对表层模式的依赖。
- 在 Llama-3.1-8B-Instruct 上，LeakGauge 实现了 0.996 的 AUROC 和 0.983 的 F1 分数。
对偏移的鲁棒性：
- 跨语言： 在针对非英语受保护内容进行测试时，行为型量规保持了 AUROC > 0.95，而精确型量规性能显著下降（例如在日语上降至 0.647）。
- 跨目标： 在语义泄露攻击（目标是改写而非复制）下，行为型量规保持了高性能（AUROC ~0.99），而精确型则出现退化。
部署效率：
- 与“LLM 作为评判者”（延迟 2155 ms）或需要完整模型副本的激活追踪器（延迟 46–70 ms）相比，LeakGauge 仅增加了 10.34 ms 的延迟。
- 它仅需 <0.5K 个额外参数，而其他基于内部信号的方法则需要复制整个目标模型（例如 8B 参数）。
压力测试：
- 硬负样本（Hard Negatives）： LeakGauge 能有效区分泄露攻击与使用类似提取类措辞但针对用户提供内容的良性请求。
- 自适应攻击： 在白盒 GCG 压力测试中，单个探测器容易受到检测器感知型攻击的影响。然而，部署多个具有不同语义构型的探测器可以显著提高检测召回率（从 0.080 提升至 0.976）并降低成功规避的概率。

5. 重要性与主张

论文声称 LeakGauge 提供了一种实用、高性能的方案，用于检测上下文泄露攻击，克服了以往方法的部署障碍。

可访问性： 通过利用标准推理引擎公开的预填充 Token 概率，LeakGauge 使泄露检测在内部模型状态不可访问的生产环境中变得可行。
泛化性： “行为型”量规表明，泄露意图会在模型的概率空间中留下通用的、与内容无关的特征，从而实现即使在面对未见的攻击和内容变化时的检测。
高效性： 该方法以极低的计算开销实现了最先进的检测精度，使其适用于实时保护 LLM 应用。
更广泛的适用性： 初步结果表明，该机制可以通过在后缀中将目标行为言语化，扩展到包括有害请求检测、间接提示注入和幻觉检测在内的其他安全任务。

作者强调，其工作是一种旨在保护 LLM 应用中机密内容的防御措施，所有实验均在隔离环境中使用公开模型和数据集进行。