🤖 AI

Adaptive auditing of AI systems with anytime-valid guarantees

本文介绍了一种针对生成式人工智能系统的自适应审计框架，该框架利用安全随时有效推断（SAVI）和“通过博弈进行测试”的方法，以比传统方法显著更少的观测数据，为模型鲁棒性提供统计上严谨且随时有效的保证。

原作者： Siyu Zhou, Patrick Vossler, Venkatesh Sivaraman, Yifan Mai, Jean Feng

发布于 2026-05-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Siyu Zhou, Patrick Vossler, Venkatesh Sivaraman, Yifan Mai, Jean Feng

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一家新推出的超级智能机器人厨师的质量控制检查员。你想知道这位厨师是否真正“稳健”——也就是说，无论你把什么食材扔给它，它都能做出一顿完美的饭菜，还是说它隐藏着某些弱点（比如如果面包稍微有点 stale，它就会把吐司烤焦）？

问题在于，检查每一种可能的食材组合既耗时又昂贵。因此，与其检查所有情况，你决定成为一名聪明且自适应的检查员。你观察机器人过去的错误，推测它接下来可能在哪里失败，然后只测试那些棘手的环节。

本文介绍了一种全新的、数学上严谨的方法，可以在不违反统计学规则的前提下实现上述目标。以下是其工作原理，分解为几个简单概念：

1. 问题：“窥探”会破坏规则

在传统科学中，如果你想检验一个假设，必须事先确切决定你将进行多少次测试以及测试哪些内容。如果你中途改变主意（例如：“哦，这个测试看起来很有趣，让我们再做一次！”），你就有陷入自我欺骗的风险，误以为发现了问题而实际上并没有。这被称为“窥探”，通常会破坏数学推导的有效性。

但在现实世界中，人工智能审计员必须进行窥探。他们需要根据所见情况调整测试策略。作者们表示：“好吧，让我们停止假装无法窥探。让我们建立一套新规则，允许窥探，同时保持数学的诚实性。”

2. 解决方案：一场“对决”游戏

作者们提出将审计视为两名玩家之间的游戏：模型（机器人厨师）与审计员（你，检查员）。

玩家 1：模型的声明（“我很完美”假设）
模型声称：“我很稳健！无论你把哪组食材扔给我，我都能应对。没有任何弱点。”
- 目标： 如果你发现哪怕一组食材让机器人失败，你就赢了（你驳回了模型的声明）。
玩家 2：审计员的声明（“我能找到缺陷”假设）
审计员声称：“我有一个策略。如果我持续测试足够久，我最终会找到一个弱点。”
- 目标： 如果你耗尽了时间或资源，却仍然找不到缺陷，你就赢了（你驳回了审计员的声明，意味着机器人通过了你的特定审计）。

神奇的转折：
通常，这两个声明并非完美的对立面。但作者们证明，如果审计员足够聪明（渐近一致），这两个声明就会成为彼此的完美镜像。

如果模型 truly 完美，审计员最终会放弃并说：“我找不到缺陷。”
如果模型存在缺陷，聪明的审计员最终会找到它。

这将审计转化为一个二元开关：要么机器人在全局上是稳健的，要么不是。

3. 机制：“通过下注进行测试”

如何在窥探的同时保持数学的诚实性？作者们使用了一个名为**“安全且随时有效的推断”（SAVI）的概念，他们将其描述为“通过下注进行测试”**。

想象你是一名在赌场的赌徒：

庄家（零假设）： 赌场声称游戏是公平的（机器人是稳健的）。
赌徒（审计员）： 你在与赌场对赌。你押注机器人将在你选择的下一个具体测试案例中失败。
规则： 如果赌场实际上是公平的（机器人是完美的），你绝不可能持续地让资金翻倍。你的“财富”（一种称为e-过程的统计分数）应保持低位。
胜利： 如果你确实积累了大量“财富”（你的分数超过了高阈值），这就证明赌场被操纵了（机器人存在缺陷）。

由于“e-过程”背后的数学原理，你可以在任何时刻停止下注。如果你的财富很高，你可以立即停止并宣布：“我赢了，机器人坏了！”而无需担心你因窥探而作弊。

4. 结果：更快、更智能

作者们通过两种方式测试了这种方法：

模拟数据： 他们创建了带有已知缺陷的虚假人工智能场景。他们的“下注”方法比传统方法（需要预先规划、僵化的测试）更快地发现了缺陷（有时仅需 20 次测试）。
现实世界的人工智能医疗应用： 他们测试了一个用于阅读医生笔记以发现社会问题（如无家可归或心理健康问题）的人工智能。他们的方法成功识别出该人工智能在某些类别（如“患者接触”）上表现不佳，并在确认缺陷后迅速停止了审计。

总结

本文赋予人工智能审计员一种“安全”的灵活性。审计员不再被迫拘泥于僵化、预先写好的脚本，而是可以实时自适应地搜寻弱点。他们使用一种“下注”系统，保证：如果你找到了缺陷，那它就是真实的缺陷；如果你在严格搜索后仍未找到缺陷，那么该系统很可能是稳健的。

它将“试图破坏人工智能”这一混乱的过程，转化为一个数学上严谨的游戏，让你能在获得明确答案的那一刻立即停止游戏。

技术摘要：具有任意时间有效性保证的 AI 系统自适应审计

问题陈述

生成式 AI 系统故障模式的表征目前受限于标注和评估所需的高成本与长时间。因此，从业者已采用自适应测试范式，即根据过往结果机会性地确定测试用例和样本量（例如红队测试、主动学习或人机回环优化）。尽管这些工作流具有实用性，但它们违背了经典统计假设：样本量通常较小（10–50 个案例），且采样/停止决策是动态做出的，而非通过预先规定的规则。

标准统计推断依赖于固定的采样方案和大样本渐近性。将这些方法应用于自适应测试会膨胀 I 类错误率（例如，通过持续窥探导致的“p 值操纵”），并使定义确切被检验的假设变得困难。具体而言，通过针对特定目标的自适应测试套件并不 inherently 证明全局鲁棒性，缺乏预先规定的采样方案也不允许对平均性能进行测试。目前存在一个关键缺口，即缺乏能够在任意自适应采样和可选停止条件下，提供有限样本保证以支持严格推断的统计框架。

方法论

作者提出了一个框架，通过两个“对抗性”假设检验来形式化 AI 鲁棒性审计，并利用**安全任意时间有效推断（SAVI）**提供统计保证。

1. 对抗性假设框架
审计被构建为两个零假设之间的竞争：

模型零假设（ $H_{mod}^0$ ）： 断言 AI 系统具有全局鲁棒性。形式上，对于所有流行度 $\mu(S) \ge \epsilon$ 的子群 $S$ ，其平均性能 $V(S)$ 高于目标阈值 $q$ 。拒绝该假设意味着存在故障模式。
审计员零假设（ $H_{aud}^0$ ）： 断言审计员拥有某种特定的自适应策略 $\pi$ ，该策略最终将发现故障模式。形式上，存在一个时间 $\tau$ ，使得对于所有 $t \ge \tau$ ，所选子群 $S_t^\pi$ 的性能低于 $q$ 。拒绝该假设意味着审计通过（审计员未能发现故障模式）。

论文证明，在渐近一致的审计策略（即如果存在故障模式，该策略将收敛于发现它们）下，这两个零假设是渐近互补的。因此，拒绝审计员零假设实际上认证了全局鲁棒性。

2. 基于博弈的检验与 E-过程
为了处理任意自适应采样和可选停止，作者利用了“基于博弈的检验”框架。审计员被概念化为对疑似故障模式的子群下注。在零假设下，任何博弈策略都不应产生利润。

E-过程： 博弈财富通过 E-过程进行追踪，E-过程是 p 值的序列类比。E-过程 $(E_t)$ 确保对于任何停止时间 $\tau$ ，在零假设下 $E_P[E_\tau] \le 1$ 。
I 类错误控制： 根据 Ville 不等式，当 E-过程超过 $1/\alpha$ 时停止，无论自适应采样策略如何或测试何时停止，都能保证 I 类错误率不超过 $\alpha$ 。

3. 特定检验统计量
作者为两个假设提出了多种 E-过程公式：

似然比（LR）： 基于序贯概率比检验（SPRT），比较观测分数在故障假设（ $q-\delta$ ）与零假设（ $q$ ）下的似然性。
通用推断（UI）： 一种自适应版本，其中备择概率从数据中估计（例如 $\hat{\gamma}_{t-1}$ ）而非固定，从而基于学习到的故障率优化“下注”。
Shiryaev-Roberts (SR) 扩展： 这些方法整合了变点检测，以处理审计员在识别故障模式之前需要“学习期”的场景。它们从所有可能的变点开始求和似然比，以对冲未知的延迟。

4. 双重检验程序
该框架为 $H_{mod}^0$ 和 $H_{aud}^0$ 运行并行的 E-过程。一旦任一统计量超过 $1/\alpha$ ，程序即停止。由于两个零假设是互斥的（在有效审计策略的假设下），无需进行邦弗罗尼校正；族系错误率（FWER）控制在水平 $\alpha$ 。

主要贡献

对抗性假设的形式化： 论文建立了一个理论框架，将 AI 审计定义为对模型零假设与审计员零假设的检验。它证明，凭借足够强大（渐近一致）的审计员，这些检验是渐近互补的，从而能够对全局鲁棒性得出二元结论。
双重安全任意时间有效程序： 作者引入了双重 E-过程，为故障模式检测和审计认证提供停止界限。这些程序在任意自适应采样和可选停止条件下，保持了有限样本的 I 类错误控制。
实证验证： 研究表明，与预先规定的方法相比，结合 E-过程的自适应测试能显著更快地得出严格结论。在某些情况下，仅需 20 个观测值即可得出统计上有效的结论。

实验结果

该框架在两种设置下进行了评估：

半合成数据（GPQA 数据集）： 作者模拟了在不同子群间具有不同程度性能退化的 AI 管道。
- 性能： SR-LR-UI（结合通用推断的 Shiryaev-Roberts）程序在检测故障模式方面实现了最高的功效。
- 比较： 自适应策略显著优于预先规定的策略（分层和预学习）。预先规定的策略往往未能检测到故障模式，导致即使系统不具备鲁棒性，也频繁拒绝审计员零假设（即通过审计），从而产生误读风险。
- 神谕（Oracle）： 神谕审计员（知晓真实故障模式）可在 15–25 个观测值内拒绝零假设，表明更智能的审计策略可进一步减少样本需求。
- 错误控制： 当不存在故障模式时，所有方法均正确通过审计（拒绝 $H_{aud}^0$ ）而未错误检测故障，证实了 I 类错误控制。
真实世界 LLM 管道（临床笔记）： 该框架应用于从临床笔记中提取健康社会决定因素（SDoH）的 LLM。
- 自适应学习： 自适应审计员成功学会了对低准确率类别进行过采样（采样频率与准确率之间的 Spearman $\rho = -0.84$ ）。
- 效率： 除神谕外，SR-LR-UI 所需样本量最少即可拒绝模型零假设（即检测到系统不具备鲁棒性）。

意义与主张

该论文声称提供了首个统计框架，形式化了在高度灵活、针对特定目标的 AI 审计制度下可以检验什么以及如何检验。通过将统计有效性与采样策略解耦，它允许从业者使用自适应、资源高效的测试（例如红队测试、主动学习），而无需牺牲统计严谨性。

作者强调，虽然该框架支持任意策略，但“全局鲁棒性”结论的有效性取决于审计员的功效。如果审计员能力不足（例如红队测试质量差），即使存在故障模式，审计也可能通过，这呼应了设计拙劣的审计可能沦为“安全剧场”的担忧。该工作旨在通过为常见、现代的审计实践提供通用的统计基础，赋能从业者自信地评估 AI 鲁棒性。