技术摘要：自信地错误：攻击偏移下提示注入检测器的严重性感知校准

1. 问题陈述

提示注入检测器（防护模型）被部署用于对不可信输入进行评分，并根据置信度分数来决定是信任还是拦截这些输入。该流水线中的一个关键假设是检测器是经过校准的（calibrated）：一个低攻击概率的分数应该对应于真实的低攻击概率。

本文识别了一种标准指标会忽略的特定失效模式：高置信度假阴性（high-confidence false negatives）。这种情况发生在检测器以近乎确定的方式将真实的攻击判定为低概率时。由于下游系统会将低分解释为安全的强有力证据，这些“自信的失误”比不确定的失误更危险，因为它们会被隐式地信任。

核心问题是分布偏移（distribution shift）。检测器通常在干净的、分布内（in-distribution）的基准测试（例如独立的提示词）上进行校准。然而，在部署过程中，攻击会转向间接形式（嵌入在文档或工具输出中）以及新的风格（行为劫持）。本文研究了当攻击分布偏离源基准且运行阈值保持不变时，这些检测器的置信度是否仍然有效。

2. 研究方法

2.1 实验设置

本研究评估了三个无需重训的已发布检测器：

1. ProtectAI-v2：一个 DeBERTa-v3-base 序列分类器。
2. Prompt-Guard-2 (86M)：一个基于 Llama 的检查点。
3. Prompt-Guard-2 (22M)：一个更小的 Llama 检查点（参数量减少 4 倍）。

2.2 冻结阈值传输协议

为了隔离分布偏移的影响，作者采用了**冻结阈值传输（frozen-threshold transport）**协议：

• 校准：为每个检测器在干净的直接基准（deepset/prompt-injections）上设定一个单一的操作点（阈值 $t$），以实现 1% 的假阳性率目标。
• 传输：该阈值被冻结，并原封不动地应用于五种不同的分布偏移：
  1. 直接（Direct）：分布内基准。
  2. 间接-有害（Indirect-Harmful）：嵌入在文档中的诈骗、欺诈和虚假信息。
  3. 间接-劫持（Indirect-Hijack）：嵌入在文档中、旨在覆盖模型行为（如编码、翻译）但不含有害内容的指令。
  4. 越狱（Jailbreak）：独立的角色扮演/越狱提示（接近分布内的压力测试）。
  5. 过度防御（Over-defense）：包含触发词的良性提示。

2.3 指标族

本文引入了一个新指标——严重性（Severity, $S$），以及标准指标：

• 假阴性率（False-Negative Rate, FNR）：标准的准确率视角。
• 严重性（Severity, $S$）：所有漏检攻击的 $(1 - p)$ 的平均值。$S \approx 1.0$ 表示检测器近乎确定漏检的攻击是安全的。该指标是攻击条件相关的（attack-conditional），并且对良性基率具有不变性。
• 攻击条件校准误差（Attack-Conditional Calibration Error, $ECE_{atk}$）：仅针对真实攻击计算的期望校准误差。
• 聚合校准误差（Pooled Calibration Error, $ECE_{pooled}$）：在攻击和良性样本上共同计算的标准指标。

2.4 验证与机制实验

• 下游验证：将漏检的注入攻击运行在实时目标模型（Qwen2.5-7B/3B）上，以验证它们是否确实作为漏洞成功执行。
• 结构 vs. 内容实验：通过改变负载（有害 vs. 良性劫持）和结构（独立 vs. 嵌入）进行受控的 2x2 实验，以确定检测器是基于内容还是注入结构进行判断。
• 生成式裁判（Generative Judge）：使用被提示用于检测注入的 LLM（Qwen2.5-7B）进行测试，以观察其发现是否能推广到编码器分类器之外。
• 对抗性攻击：使用黑盒改写器尝试将真实的注入改写为无害的散文，以最大化检测器对安全性的置信度（即严重性最大化）。

3. 关键结果

3.1 “自信地错误”现象

在所有检测器和偏移场景下，当检测器漏掉攻击时，严重性（$S$）始终保持在 0.99 到 1.00 之间。

• 虽然假阴性率（FNR）随偏移和检测器的不同而显著变化（取决于偏移和检测器，范围从 0.01 到 0.97），但漏检时的置信度却保持不变。
• 当这些检测器失效时，它们会以近乎确定的方式失效，从而向下游系统提供一个“安全”的结论。

3.2 盲点：间接行为劫持

所有三个检测器（以及生成式裁判）在间接行为劫持注入（例如：基础编码、表情符号替换、翻译覆盖）方面表现出一致的盲点。

• 这类注入的 FNR 在 0.69 到 0.97 之间。
• 严重性保持在接近 1.0 的水平。
• 这种失效是结构性的：如果负载本身在语义上不属于“有害”，检测器就无法识别嵌入在良性文档中的指令。

3.3 标准校准指标的失效

本文证明了聚合校准误差（$ECE_{pooled}$）无法限制这种风险。

• 命题：随着良性基率的增加，自信的假阴性会在聚合误差计算中被稀释到由良性样本主导的区间中。
• 证据：Prompt-Guard-2 (86M) 在处理有害间接注入时，其聚合误差为 0.062（显得校准良好），但其攻击条件误差为 0.907（严重失校准）。聚合指标平均掉了漏检攻击所带来的特定危险。

3.4 机制：基于内容而非结构

受控实验表明，检测器基于有害的表面内容进行判断，而非注入的结构事实。

• ProtectAI-v2：当良性劫持指令嵌入到连贯的文档中时，得分显著下降（从 ~0.52 降至 ~0.07），这表明良性上下文“洗白”了攻击。
• Prompt-Guard-2：无论如何嵌入，得分都保持在接近零的水平，表明它对良性负载完全视而不见。
• 生成式裁判：共享相同的盲点（劫持下的 FNR 为 0.805）和严重性（1.0），证明该问题并非编码器架构所特有。然而，该裁判容易受到告诉它内容是安全的“元指令”的影响，而编码器则不会。

3.5 下游可利用性

• 真实漏洞：这些自信漏检的注入并非理论上的，它们在实时模型上的成功率与检测器捕获的攻击相当（成功率约为 40%）。
• 制造出的失误：一个弱黑盒改写器可以将真实的注入改写为无害的散文。这使得检测器的漏检率趋近于 1.0，并将“制造出的自信失误率”（既被自信地判定为安全，又在下游成功执行的攻击）提高到约 15-17%，其中在最危险的类别（表情符号替换，~69%）上成功率最高。

3.6 阈值传输失败

在目标分布的良性数据上重新调整阈值（“先知”阈值）并不能解决问题，对于间接偏移而言也是如此。

• 对于间接偏移，良性文档本身的得分也很高，迫使阈值必须升至顶峰才能维持低假阳性率。
• 因此，即使是先知阈值也会导致某些检测器的 FNR 高达 0.98–0.99。这表明这是一个判别失败（得分分布重叠）而非仅仅是校准失败。

4. 贡献与主张

本文提出了六项具体贡献：

1. 严重性指标（$S$）：一种安全非对称、攻击条件相关的指标，用于衡量假阴性的置信度，且对良性基率具有不变性。
2. 冻结阈值传输面板：一个严格的评估框架，为每个检测器固定一个操作点，并在五个偏移场景下测量性能，并附带自助法（bootstrap）置信区间。
3. 关于聚合误差的命题：一个正式证明，指出标准的聚合校准误差无法限制自信假阴性的风险，因为随着基率下降，它们会被良性样本稀释。
4. 下游验证：提供了漏检的注入攻击在实时模型中作为有效漏洞执行的经验证据。
5. 机制识别：通过受控实验表明检测器基于负载内容而非注入结构进行判断，解释了对良性劫持注入的盲点。
6. 对抗性演示：展示了一个利用内容驱动机制的黑盒对手，通过改写实现严重性最大化的失误，特别是在高潜力攻击类别上。

5. 重要性与局限性

重要性：
本文认为，一旦攻击分布发生偏移，防护模型的评分不应被视为经过校准的安全置信度。主要风险不仅在于检测器会漏掉攻击，更在于它们会自信地漏掉攻击，从而导致下游系统信任有效的漏洞利用。标准的做法（仅报告准确率或聚合校准误差）掩盖了这种特定的、高风险的失效模式。

适度的声明：

• 作者并未声称是第一个研究防护模型校准或观察到聚合误差无法限制风险的人。
• 他们声称是第一个通过命题使该失效形式正式化、通过冻结阈值传输面板应用严重性视角、在下游验证漏洞、识别结构机制（内容驱动）并演示严重性最大化对手的人。
• 本研究仅限于作为发布的检查点进行研究，并不声称描述了此类模型所能达到的最佳性能。
• “制造出的失误”攻击使用的是一个弱的、固定的改写器；报告的速率是可实现的程度的下限。

结论：
本文得出结论，缩小这一差距不仅需要更大的模型。它需要能够独立于负载有害性的结构化注入训练信号，以及惩罚自信假阴性而非聚合误差的校准目标。在此之前，应当使用严重性和攻击条件校准指标来评估检测器，以便在部署前使自信的失效变得可见。