🤖 AI

What AI Red-Team Evaluations Can and Cannot Prove

本文为人工智能红队评估建立了一个可计算的“证据天花板”，证明了虽然目前的基准测试可以有效地证明高频危害的安全性，但由于固有的统计局限性，它们在证明罕见灾难性风险的安全性方面存在根本性的不足。

原作者： Bandana Kaur

发布于 2026-07-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Bandana Kaur

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一名试图破解谜题的侦探，谜题是：“这个新机器人是否安全到可以释放到现实世界中？”为了找出答案，你不仅仅是要求机器人说“我很乖”；而是会让它经历一系列棘手的测试，就像一场红队演习（red-team exercise），试图诱导它说出一些恶意或危险的话。这就是 AI 安全评估的世界。但问题在于，你需要尝试多少次诡计，才能确定这个机器人是安全的？如果你尝试了 10 次诡计而它都通过了，这足够了吗？如果机器人在一百万次尝试中仅有一次表现危险呢？

这就是统计学发挥作用的地方。把它想象成黑暗房间里的一把手电筒。一个小手电筒（一个小规模测试）可以轻易照出地板上一个巨大的、明显的石头（频繁出现的错误）。但如果危险是一个极其微小、几乎看不见的尘埃，偶尔才会出现，那么同样的小手电筒可能会完全错过它，即使那粒尘埃确实存在。科学家们长期以来一直在争论这些 AI “安全测试”究竟是有用的，还是仅仅在浪费时间。有人说它们证明不了任何事；也有人说它们证明了一切。本文通过做一件非常具体的事情介入了这场争论：它计算了手电筒需要多亮，才能看到不同大小的尘埃。

这篇由 APIsec Research Labs 的 Bandana Kaur 撰写的论文认为，安全测试并非毫无用处，但它们也不是魔杖。它们有一个证明能力的硬性极限，而这个极限是一个数学问题，而非观点问题。作者使用了一个叫做“证据天花板”（evidential ceiling）的概念。想象一下你有一个只能装一定量水的桶。如果你试图证明漏水是“很小”的，那么一桶满水（零失败的干净测试）是非常有说服力的。但如果你试图证明漏水是“极微小”的（比如某种罕见的、灾难性的故障），那么同样的这桶水可能太小了，无法捕捉到足够的证据来确保万无一失。

该论文的主要发现是，存在一个可计算的“交叉点”。如果一种伤害发生的频率足够高（例如发生率为 1%），那么大约 520 个提示词（prompts）的标准测试就足以得出结论：“好的，这个模型可能足够安全，可以部署。”事实上，如果你运行了 520 次测试且未发现任何问题，这实际上比发现一个问题更有力。这就像是在寻找一个干净的房间：如果你预期到处都是细菌，那么一个干净的房间会是一个巨大的惊喜，并证明某些东西正在起作用。

然而，论文为罕见事件划定了一条明确的界限。如果一种有害行为极其罕见（例如发生率低于 0.001%），那么无论你在合理的预算内尝试多少个提示词，一份“白纸”（零失败记录）几乎无法告诉你任何信息。数学表明，对于这些罕见的、灾难性的风险，一份干净的测试结果是微弱的证据，因为干净的测试可能只是运气好。在这一领域，一次观察到的失败实际上比一份干净的测试更具信息量，因为干净的测试可能只是运气使然。论文计算出，对于这些罕见事件，目前的公开基准测试“在数量级上都远远不够”——这意味着它们比证明安全性所需的规模小了数千倍。

作者还指出，这些测试的构建方式至关重要。如果测试问题都非常相似（比如用稍微不同的措辞问同一个问题），那就好比是在找草堆里的针，却只检查了房间的一个角落。论文指出，目前的测试往往聚集在一起，使得它们看起来比实际效果要好。此外，论文反对仅仅通过“增加”测试数量来解决问题的想法。相反，我们需要更聪明的测试，能够更好地区分安全模型与不安全模型。如果一个测试能 90% 地诱骗一个坏模型，但只能 10% 地诱骗一个好模型，那么它就是一个强大的工具。但如果它对两者都同样有效，那么无论运行多少次，它都是没用的。

最后，论文提出了一套关于 AI 实验室应如何报告其结果的新规则。他们不应该只是说“我们运行了 500 次测试且没有发现坏情况”，而应该准确报告他们的测试究竟能证明什么。如果伤害率较高，他们可以声称安全性。如果伤害率极低且罕见，他们应该承认他们的测试无法证明安全性，并且需要其他类型的证据。论文并不是说我们应该停止测试；而是说我们应该停止假装我们的测试可以证明那些在数学上无法证明的事情。这是一个关于诚实的呼吁：了解你手电筒的极限，不要在只照亮了一个角落的情况下，就声称你看到了整个房间。

技术摘要：AI 红队评估能证明什么，以及不能证明什么

问题陈述
目前的 AI 安全实践过度依赖红队评估，即使用精心设计的对抗性提示词来测试模型的有害输出。这些结果正日益成为监管审查和部署决策的主要经验依据。然而，一种日益增长的批评指出，这些基准测试的定量输出缺乏统计精确度，无法在语义等价的提示词之间进行泛化，也无法支持有意义的跨系统比较。虽然这些批评是合理的，但本文反对“基准测试毫无价值”这一结论。核心问题在于，该领域缺乏一个形式化框架来确定给定评估可以支持“哪些特定的命题”。若缺乏此框架，实验室可能会对罕见的灾难性危害过度宣称安全性，或对高频危害低估基准测试的价值。

方法论
本文引入了一个形式化的统计框架，用以定义评估的“证据天花度”（evidential ceiling）。该天度代表了单个结果在两个假设（ $H_0$ ：可接受风险； $H_1$ ：提升的风险）之间改变后验胜算（posterior odds）的最大因子。

证据天度的推导： 作者利用似然比方法，给出了基准测试零结果（未观察到有害情况）的闭式解。他们推导出了在固定资源预算（ $N_{max}$ ）和危害率（ $p$ ）下，一份“白卷”（zero observed harms）所能提供的最大证据。
边界计算： 本文推导出了一个关键边界 $p_{min}$ $p_{min}$ ，它将两种机制区分开来：
- 高于 $p_{min}$ 时： 一个规模可行的基准测试可以向既定的证据标准认证某一类别。在此机制下，一份“白卷”是比单次观察到的失败更强的证据。
- 低于 $p_{min}$ 时： 任何规模可行的被动基准测试都无法提供指定的安全性证据。在此机制下，单次观察到的失败比一份“白卷”具有更强的证据效力。
向自适应诱导（Adaptive Elicitation）的泛化： 该框架从静态基准测试扩展到了自适应红队测试。作者使用“假设条件下的诱导率”（ $H_1$ 下为 $q_1$ ， $H_0$ 下为 $q_0$ ）取代了原始危害率。他们证明，证据价值取决于这些速率之间的“判别度”（ $\kappa = |\log_2((1-q_1)/(1-q_0))|$ ），而不仅仅是攻击成功率。
实证审计： 作者根据这些理论边界，对八个广泛使用的评估套件（如 AdvBench、HarmBench、SafetyBench）进行了审计。他们分析了统计功效、误认证概率以及分布有效性（将基准测试提示词与 LMSYS-Chat-1M 中的真实用户查询进行比较）。

主要贡献

闭式边界： 本文提供了一个可计算的表达式，用于界定可认证与不可认证危害率之间的边界。该边界随 $1/n$ 下降，这意味着更大的基准测试可以扩大可认证危害的范围，但无法克服极端罕见事件的根本限制。
证据强度的反转： 作者证明了“白卷”与“单次观察到的失败”之间的相对证据强度并非绝对。在交叉率（ $p_\times$ ）之上，白卷是更强的证据；在之下，单次失败则是更强的证据。该交叉点也是可计算的。
判别度优于成功率： 本文确立了对于自适应或自动化红队测试而言，衡量价值的指标是安全假设与不安全假设下诱导率之间的判别度，而非原始攻击成功率。一个在安全模型和不安全模型上触发频率相同的程序，其提供的证据为零。
报告模板： 提出了一个最低报告模板（表 5），要求实验室发布特定参数（例如：有效样本量、簇内相关系数、 $H_0$ 和 $H_1$ 下的诱导率），以便对结果的证据价值进行权衡。

结果

对高频危害的充分性： 对于危害率在 $10^{-2}$ （1%）左右的类别，现有的公开基准测试（如 $n=520$ 的 AdvBench）足以支持关于数量级安全性提升的断言。
对罕见/灾难性危害的不充分性： 对于罕见类别（如 $p = 10^{-4}$ 或 $10^{-5}$ ），现有基准测试在数量级上仍有显著差距。本文发现，没有任何规模可行的基准测试（ $N_{max} \approx 10^5$ ）能够通过零结果基准测试来认证这些危害率的缺失。
分布差距： 实证分析表明，基准测试提示词与普通的部署流量在分布上存在明显差异（在距离度量上存在 3.1 至 3.5 倍的过剩）。虽然这并不限制其与“对抗性”流量的距离，但证实了基准测试并不代表普通的用户的分布。
聚类效应： 现实世界的基准测试表现出聚类现象（提示词源自模板），这降低了有效样本量（ $n_{eff}$ ），并使可认证边界向上移动，从而进一步限制了现有套件在处理罕见事件时的效用。

意义与主张
本文声称，安全基准测试并非毫无信息量，而是对于“一组特定且可计算的命题”具有信息量。其意义在于将学科研究从询问“基准测试是否有效”转向定义“它们能证明什么”。

作者认为，界定“能证明什么”与“不能证明什么”之间的边界是一个计算问题，而非专家判断问题。通过形式化这一边界，本文提议建立一种学科规范，使实验室能够在运行评估之前，就确定其设计是否支持特定的认证声明。如果某一危害类别低于可计算边界，该领域应当停止尝试通过零结果基准测试来对其进行认证，转而依赖非基准测试的证据。本文结论指出，目前认为基准测试“毫无价值”的过度修正是不正确的；相反，基准测试是具有可计算分辨率的精确工具，必须在安全报告中明确说明这种分辨率。

类似论文