💻 computer science

When Scanners Lie: Evaluator Instability in LLM Red-Teaming

该论文揭示了大语言模型红队测试中评估器不稳定性对攻击成功率测量的显著影响，并提出了一种两阶段可靠性评估框架，通过量化评估器分歧和引入独立验证机制，有效提升了自动化安全评估的准确性与可靠性。

原作者： Lidor Erez, Omer Hofman, Tamir Nizri, Roman Vainshtein

发布于 2026-03-17

📖 1 分钟阅读☕ 轻松阅读

原作者： Lidor Erez, Omer Hofman, Tamir Nizri, Roman Vainshtein

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文讲了一个关于**“给 AI 找茬（红队测试）时，谁来当裁判很重要”**的故事。

想象一下，你开了一家**“AI 安全体检中心”**。你的工作是不断向 AI 模型提出各种刁钻、甚至带有恶意的提问（比如“怎么制造毒药？”），看看 AI 会不会“中招”并给出危险答案。如果 AI 中招了，就算攻击成功。

为了统计有多少次攻击成功，你需要一个**“裁判”**来判定：AI 的回答到底算不算“违规”？

这篇论文发现了一个惊人的问题：裁判换个人，体检结果（攻击成功率）就会大变样！

🕵️‍♂️ 核心问题：裁判的“双标”

论文作者发现，目前市面上流行的自动扫描工具（比如 Garak），在判定 AI 是否“违规”时，用的裁判标准五花八门：

死板裁判（规则型）： 像是一个只会查字典的机器人。只要看到回答里出现了“毒药”、“杀人”这些关键词，就立刻判“违规”。
灵活裁判（大模型型）： 像是一个有智慧的老师。它会看上下文，比如 AI 说“毒药很危险，不能喝”，虽然出现了“毒药”这个词，但老师会判定这是“拒绝回答”，不算违规。

这就出大问题了！
这就好比同一个学生做了一套试卷：

用死板裁判判卷，因为卷子上有“毒药”两个字，直接判不及格（攻击成功）。
用灵活裁判判卷，发现学生是在科普安全知识，判及格（攻击失败）。

结果： 攻击成功率（ASR）这个核心指标，完全取决于你请了哪个裁判，而不是 AI 到底厉不厉害。这就像是用一把不准的尺子去量身高，量出来的数字毫无意义。

🛠️ 作者的解决方案：两阶段“体检升级”

为了解决这个问题，作者提出了一套**“双保险”体检方案**：

第一阶段：找茬（诊断期）

“让两个裁判同时看同一份卷子，看他们吵不吵架。”
作者把同一批 AI 的回答，同时交给“死板裁判”和“灵活裁判”去判。

如果两个裁判意见一致，说明这个测试很稳。
如果两个裁判吵得不可开交（比如一个判过，一个判不过），那就说明这个测试项目**“不可靠”**。
发现： 在测试的 25 种攻击类型中，有 22 种都出现了裁判“吵架”的情况！这意味着我们之前看到的很多安全报告，可能都是“假象”。

第二阶段：请“第三方公证人”（修复期）

“既然裁判们吵个不停，那就请一位更厉害的‘公证人’来定夺。”
对于那些裁判们意见不统一的测试项目，作者引入了一个独立的、更聪明的 AI 公证人。

这个公证人不仅看答案，还会像侦探一样推理：“这个 AI 是真的想害人，还是在演戏？”
通过公证人的判断，来修正之前裁判的错误。
效果： 经过这套流程，裁判的准确率从 72% 提升到了 89%。

💡 一个生动的比喻：装修验收

想象你在给房子（AI 模型）做安全验收：

以前的做法： 随便找个工人拿着锤子敲墙，听到“咚咚”声就说是“空心墙”（不安全）。结果，很多实心的墙也被误判了，或者有些危险的裂缝没看出来。
这篇论文的做法：
1. 先对比： 让两个工人同时检查。如果工人 A 说“空心”，工人 B 说“实心”，说明这面墙很难判断，需要特别关注。
2. 再请专家： 请一位经验丰富的结构工程师（公证人） 拿着专业仪器去复核那些有争议的墙。
3. 算笔账： 请工程师虽然贵一点（计算成本高），但只针对那些有争议的墙请他，而不是每面墙都请。这样既省钱，又保证了验收结果的准确性。

📊 关键发现

数据会“撒谎”： 同一个 AI 模型，换一套裁判系统，它的“安全评分”可能会上下波动 ±33%！这太夸张了，就像你的体重今天称 60 公斤，明天称 80 公斤，全看秤准不准。
不要“一刀切”： 并不是所有地方都需要请“贵”的专家裁判。有些简单的测试，死板裁判就够了；只有那些复杂的、容易混淆的测试，才需要请高级裁判。
性价比最高： 作者发现，只需要替换掉一小部分最不可靠的裁判，就能让整体准确率大幅提升，而不需要把所有裁判都换成昂贵的，这样既省钱又高效。

🎯 总结

这篇论文告诉我们：在评估 AI 是否安全时，不能只看那个“攻击成功率”的数字。 这个数字背后，藏着裁判的主观判断。

如果不搞清楚裁判是谁、裁判怎么判，我们得到的安全报告可能就是**“当季流行色”**——今天流行红色，明天流行蓝色，但房子本身并没有变。

作者提出的这套方法，就是给 AI 安全评估装上了**“防抖稳像器”**，让我们能更真实、更可靠地看到 AI 到底安不安全。

论文技术总结：当扫描器撒谎

1. 研究背景与问题定义

背景：自动化大语言模型（LLM）漏洞扫描器（如 Garak）被广泛用于评估生成式 AI 系统的安全性，其核心指标是攻击成功率（Attack Success Rate, ASR）。ASR 衡量了攻击尝试中被判定为成功的比例，直接影响模型的安全态势评估和部署决策。
核心问题：ASR 并非模型固有的属性，而是由**评估器（Evaluator）**定义的。评估器负责将“提示词 - 回复”对映射为二元标签（成功/失败）。
- 现有的扫描器使用不同的评估机制，从静态启发式规则（如关键词匹配、拒绝模式检测）到基于 LLM 的动态判断。
- 关键发现：当保持攻击提示和模型输出不变，仅更换评估器时，报告的 ASR 会发生显著变化。这种评估器诱导的测量不稳定性导致漏洞评分不可靠，可能产生误导性的安全结论。
现有研究不足： prior work 主要关注扫描器间的对比或改进通用 LLM 评估器，但未系统分析评估器替换如何影响扫描器内部的测量稳定性，也缺乏缓解这种不稳定的机制。

2. 方法论：可靠性感知评估框架

作者提出了一个**两阶段、可靠性感知（Reliability-Aware）**的评估框架，旨在诊断并改善自动化红队测试中的测量可靠性。

第一阶段：诊断（Diagnostic）—— 评估器分歧分析
- 目标：量化评估器依赖的不稳定性。
- 方法：对同一组模型回复，并行运行两个不同的评估器（ $E_1$ 和 $E_2$ ，例如一个基于规则，一个基于 LLM）。
- 指标：计算分歧率（Disagreement Rate, $D$ ），即两个评估器对同一样本给出不同标签的比例。
- 判定：设定可靠性阈值 $\tau$ 。若某类攻击的分歧率 $D > \tau$ ，则标记为“不稳定”，表明该类别的 ASR 高度依赖评估器的选择，需进一步审查。
第二阶段：补救（Remediation）—— 基于验证的评估
- 目标：在不依赖大规模人工标注的情况下，评估并修正评估器的决策。
- 方法：引入一个独立的验证器（Verifier）（基于具有推理能力的 LLM，如 GPT-5）。
  - 验证器使用结构化的系统提示，将决策分解为多个检查步骤，独立重新评估提示 - 回复对。
  - 验证器不参考第一阶段评估器的决策，提供独立的参考信号。
- 应用：
  - 利用验证器的标签作为“伪真值（Proxy Ground Truth）”，估算第一阶段中各评估器的准确率。
  - 选择性部署：根据准确率增益和计算成本，仅在不稳定类别中用更可靠的动态评估器替换原有评估器，实现成本与精度的平衡。

3. 实验设置

扫描器：广泛使用的开源扫描器 Garak (v0.13.2)。
攻击类别：涵盖 Garak 中的 25 种 攻击类别。
目标模型：Mistral-Small (8B), Cohere CommandA (111B), OpenAI GPT-5-mini。
数据规模：共约 23,000 个提示 - 回复对（3 个模型 × 3 次运行 × 25 类攻击 × 100 样本）。
评估器对比：
- $E_s$ (静态)：Garak 默认评估器（82% 为基于规则/正则匹配）。
- $E_d$ (动态)：基于 Grok-4.1 的通用 LLM 评估器。
- $V$ (验证器)：基于 GPT-5.2 的独立验证器。

4. 关键结果

普遍的分歧现象：
- 在 25 种攻击类别中，**22 种（88%）**表现出显著的评估器分歧（ $D > 0.05$ ）。
- 其中 6 种攻击的分歧率甚至超过 0.50，意味着更换评估器会翻转大部分样本的判定结果，ASR 几乎完全由评估器决定而非模型行为。
- 例如，"Misleading"攻击的分歧率高达 0.97，而"Continuation"仅为 0.013。
评估器可靠性提升：
- 在标记为不稳定的 22 类攻击中，动态评估器（ $E_d$ ）相对于验证器的准确率为 89%，而静态评估器（ $E_s$ ）仅为 72%。
- 验证器本身的有效性通过小规模人工标注得到验证（与人工标注一致率达 93%）。
ASR 的不确定性：
- 评估器的选择会导致报告的 ASR 出现巨大波动。对于某些攻击类别，ASR 的估计值波动范围可达 ±33%。
成本 - 可靠性权衡：
- 通过选择性替换（仅替换高收益的不稳定类别评估器），可以将扫描器的整体准确率从 72% 提升至 89.8%，同时仅增加少量计算成本（约 $1.66/扫描）。
- 盲目替换所有评估器（全动态化）反而可能导致准确率轻微下降（至 89.3%），因为部分攻击类别中静态规则表现更好。

5. 主要贡献

揭示了评估器依赖的不稳定性：证明了 LLM 漏洞扫描中的 ASR 指标高度依赖于评估器的设计，挑战了 ASR 作为模型鲁棒性固有指标的假设。
提出了评估器分歧诊断技术：引入了一种无需人工标注即可识别不稳定攻击类别并指导针对性升级的诊断方法。
建立了基于验证的可靠性估计机制：提出利用独立 LLM 验证器来量化评估器可靠性，使从业者能够在评估精度和计算成本之间做出明智的权衡（Selective Deployment）。

6. 意义与启示

对安全实践的影响：现有的自动化红队测试结果可能因评估器的不同而大相径庭。安全从业者应谨慎解读 ASR 数值，认识到其反映的是特定评估机制下的结果，而非绝对真理。
扫描器设计建议：
- 不应盲目追求单一类型的评估器（全静态或全动态）。
- 应采用混合策略：利用诊断工具识别不稳定类别，针对性地引入动态评估器或优化提示词，同时保留表现良好的静态规则以控制成本。
- 对于分歧率极高且验证器也难以判断的类别，可能意味着攻击定义本身模糊，需要重新审视或移除该攻击探针。
未来方向：随着自动化红队测试的规模化，确保底层评估器的可靠性对于生成准确反映模型行为的安全指标至关重要。

总结：该论文通过严谨的实证研究，揭示了当前 LLM 安全评估中一个被忽视的“盲点”——评估器的不稳定性。作者提出的两阶段框架为解决这一问题提供了实用的工具，使得自动化安全评估更加透明、可靠且具备成本效益。