🤖 machine learning

Rethinking Evaluation Paradigms in IBP-based Certified Training

本文提出了一种针对基于 IBP 的认证训练的新型评估范式，该范式利用自动多目标超参数优化来构建自然准确率与认证准确率之间的帕累托前沿，从而揭示了先前工作中显著的欠调优问题，并实现了公平、无偏的比较，从而确立了新的最先进水平。

原作者： Konstantin Kaulen, Hadar Shavit, Holger H. Hoos

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Konstantin Kaulen, Hadar Shavit, Holger H. Hoos

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是该论文的通俗易懂版解释。

大局观： “安全性 vs. 速度” 的两难困境

想象一下，你正在训练一个机器人开车。你希望它具备两个特质：

自然准确性（Natural Accuracy）： 在晴朗的普通日子里，机器人驾驶得完美无瑕。
认证鲁棒性（Certified Robustness）： 机器人在遇到微小的、奇怪的故障时（比如路标上贴了一个让摄像头产生误解的小贴纸），在数学层面上能保证不会发生碰撞。

问题在于，这两个目标通常是相互冲突的。如果你让机器人对故障具有超强的安全性，它在普通日子里的表现可能会变得笨拙；如果你让它在普通日子里成为一名优秀的司机，它就很容易被故障所迷惑。

多年来，研究人员一直试图寻找一个能够平衡这两者的“完美”机器人。但他们测试机器人的方式一直存在缺陷。

问题所在：以偏概全

直到现在，研究人员通常会调整机器人的设置，以寻找单一的“最佳”设置。他们会选择安全性与速度之间的一个特定平衡点，然后报告这些数据并宣称：“看，我们的机器人是最棒的！”

本文作者认为，这就像是通过只点了一道菜来评价一家餐厅。也许这家餐厅擅长做牛排，但做意面很糟糕。如果你只点了牛排，你会认为它是镇上最好的餐厅。但如果你尝试了意面，你可能会发现它其实并不那么出色。

在人工智能领域，研究人员只选取了“安全性 vs. 速度”光谱上的一个点。这意味着他们错失了全貌。某些方法可能擅长安全性但牺牲了速度，而另一些则恰恰相反。通过只观察一个点，科学界对谁才是真正的佼佼者得到了误导性的看法。

解决方案：“帕累托前沿”（Pareto Frontier）地图

作者提出了一种评估这些机器人的新方法。与其寻找一个“最佳”设置，不如绘制出整个可能性的范围。

想象一张地图，X轴是“驾驶技巧”（自然准确性），Y轴是“防撞能力”（认证准确性）。

有些机器人驾驶技巧高，但防撞能力低。
有些防撞能力强，但驾驶技巧低。
有些则处于中间水平。

作者使用一种特殊的计算机算法来寻找地图的边缘（称为“帕累托前沿”）。这个边缘代表了最佳的权衡方案。如果一个机器人在这个边缘上，意味着你无法在不降低其防撞能力的情况下提高其驾驶技巧，反之亦然。

通过对比不同机器人的整个边缘，而不仅仅是一个点，我们就能看出谁才是真正更优越的。

他们的发现：“隐藏的瑰宝”

当作者将这种新的制图技术应用于现有的 AI 方法时，他们发现了两个主要结论：

1. 之前的“赢家”其实并未调优到位
许多此前被认为是“最先进”（state of the art）的方法，实际上只是调优得不够好。研究人员发现，如果使用他们的新地图进行正确的设置调整，这些旧方法表现出的性能比人们意识到的要好得多。

类比： 这就像发现一辆大家都以为很慢的车，其实能跑 100 英里，只是之前的车主把油门踩死并用胶带粘住了。一旦把胶带撕开，这辆车就变成了火箭。

2. 不存在单一的“最佳”机器人
这项研究表明，并没有一种方法能在所有方面都胜出。

方法 A (SABR) 就像一辆跑车：它非常擅长快速平稳地行驶（高自然准确性），但提供的防撞保护尚可，并非完美。
方法 B (MTL-IBP) 就像一辆坦克：它在开阔道路上的速度稍慢，但能提供最强、且有数学保证的防撞保护。
结论： 取决于你的需求（是要快车还是坦克），你应该选择不同的方法。它们是互补关系，而非竞争关系。

真相的代价

作者承认，制作这样一张新地图是非常昂贵的。测试每种机器人的数千种不同设置需要消耗大量的计算资源。

类比： 为了找到公路旅行的最佳路线，你可以只凭直觉猜一条路径。或者，你可以使用超级计算机来模拟每一种可能的路线、交通状况和天气情况。第二种方法虽然耗时耗电，但它能保证你找到的是“真正的最佳路线”，而不是一个幸运的猜测。

总结

这篇论文并没有发明一种新的机器人，而是发明了一把更好的尺子。

它告诉科学界：“不要再随便选一个随机的设置就声称胜利了。请绘制出整个权衡曲线。当你这样做时，你会发现许多曾经的冠军其实只是准备不足，而真正的赢家完全取决于你最看重什么：是速度还是安全性。”

通过使用这种更公平、更精准的衡量标准，这篇论文为未来如何测试 AI 安全性确立了新的标准。

技术摘要：重新思考基于 IBP 的认证训练中的评估范式

问题陈述

深度神经网络（DNN）在监督学习任务上取得了极高的性能，但仍易受到对抗性扰动的攻击。虽然神经网络验证提供了数学上严谨的鲁棒性保证，但其计算成本极高（NP-困难）。基于区间边界传播（Interval Bound Propagation, IBP）的认证训练技术旨在优化训练过程中的可验证鲁棒性。然而，这些方法在自然准确率（在干净数据上的性能）与认证准确率（在可证明鲁棒的输入上的性能）之间引发了根本性的权衡。

目前该领域的评估范式存在缺陷：研究人员通常报告一个单一的配置（即权衡空间中的一个点），该配置由手动调优或网格搜索确定。这种做法存在以下问题：

偏差： 比较单一配置高度依赖于所选的具体权衡点，这会导致对当前技术水平（SOTA）的结论产生偏差。
欠调优（Under-tuning）： 先前的研究往往未能充分探索超参数空间，可能错失了优于已报告结果的更佳配置。
缺乏标准化： 目前缺乏一种无偏且标准化的程序，能够在整个鲁棒性-准确率谱系中将新方法与现有方法进行定位。

方法论

作者提议将评估范式从单点评估转向基于帕累托前沿（Pareto-front-based）的评估。他们不再针对单一目标（例如最大化认证准确率）进行优化，而是将问题视为多目标优化任务，以发现非支配配置的集合（即帕累托前沿）。

核心方法

多目标超参数优化（MO-HPO）： 作者采用了使用高斯过程代理和期望超体积改进（Expected Hypervolume Improvement, EHVI）采集函数的多目标贝叶斯优化。这使得同时优化自然准确率和认证准确率成为可能。
搜索空间设计： 为了确保无偏比较，搜索空间是全面的，包括：
- 通用深度学习超参数（学习率、Adam/AdamW/RAdam 等优化器、衰减策略）。
- 特定方法的权衡参数（例如 IBP/CROWN-IBP 中的 $\kappa$ ，MTL-IBP 中的 $\alpha$ ，SABR 中的 $\tau$ ）。
- 训练计划参数（预热轮数、增长轮数、 $\epsilon$ 缩放因子）。
- 攻击参数（PGD 步数、步长、重启次数）。
- 至关重要的是，搜索空间包含了先前文献中经常固定或忽略的参数（例如允许 $\kappa$ 的转换、变化的预热长度），从而能够发现此前未被探索的配置。
高效评估代理： 由于在每次试验中进行完整的验证（完整认证所需）在计算上是难以承受的，优化循环使用不完全验证（IBP、CROWN、CROWN-IBP）作为代理目标。
最终验证： 一旦通过代理识别出帕累托最优配置，便使用最先进的完整验证（特别是 $\alpha\beta$ -CROWN）对其进行重新评估，以建立最终的帕累托前沿。为了管理成本，在进行完整验证之前，使用单链接聚类（single-linkage clustering）来过滤冗余配置。
标准化预算： 所有方法都在固定的计算预算下进行评估（每个种子 100 次试验，每种方法 3 个种子），以确保公平比较。

核心贡献

新的评估标准： 本文建立了一个标准化的多目标评估协议，用帕累托前沿分析取代了单点比较。这使得研究人员可以根据其特定需求（例如优先考虑干净准确率还是认证保证）来选择方法。
发现欠调优的配置： 通过系统地探索超参数空间，作者证明了许多先前报告的“最先进”结果都被通过其自动化优化发现的配置所支配。这揭示了现有文献中存在的显著“欠调优”现象。
全面的基准测试： 本研究提供了首次针对 CIFAR-10 和 Tiny ImageNet 在不同扰动半径（ $\epsilon$ ）下，对主要 IBP 类认证训练方法（IBP、CROWN-IBP、SABR、MTL-IBP）进行的全面多目标比较。
超参数洞察： 通过 fANOVA，作者识别出超参数之间复杂的相互作用（例如 $\kappa$ 在增长期间的转换、 $\epsilon$ 缩放和预热时长）对于实现最优权衡至关重要，而这些洞察在手动调优中经常被忽视。

结果

卓越的性能： 提出的评估挖掘出了支配先前结果的配置。例如，在 $\epsilon = 2/255$ 的 CIFAR-10 上，SABR 与文献相比，在干净准确率和认证准确率方面均实现了超过 1% 的提升。在 Tiny ImageNet 上，MTL-IBP 在两项指标上均显示出约 2% 的提升。
方法互补性： 没有哪种方法能统一占据主导地位。
- SABR 通常擅长实现高自然准确率。
- MTL-IBP 倾向于提供最强的认证保证，特别是在较小的扰动半径下。
- IBP 和 CROWN-IBP 仍然具有竞争力，尤其是在需要更高自然准确率或较大扰动半径（ $\epsilon = 8/255$ ）时，这挑战了它们已过时的假设。
在大半径下的进展停滞： 分析表明，在大扰动半径下的进展已经停滞，旧的方法对组合帕累托前沿做出了显著贡献。
验证集 vs 测试集调优： 作者证明，直接在测试集上进行超参数调优（一种常见但有问题的做法）会导致得到的帕累托前沿严格支配通过验证集调优获得的帕累托前沿，这表明先前的评估可能高估了泛化性能。
计算效率： 研究表明，虽然完整验证很昂贵，但减少验证超时时间（例如从 1000s 减少到 100s，在 CIFAR-10 上）可以在保持帕累托前沿形状的同时，将计算成本降低一个数量级。

意义与主张

本文声称，由于糟糕的超参数调优和有缺陷的评估方法，当前认证训练的先进水平被显著低估了。通过采用多目标视角：

重新评估技术水平： 最近的进展并不像之前假设的那样显著，特别是在较大的扰动半径下。
具有指导意义的见解： 这项工作为社区提供了具体的指导，强调了复杂的超参数相互作用（常被忽视）对于实现最优性能至关重要。
未来方向： 作者倡导向标准化的多目标评估协议转变。他们建议社区应专注于“廉价验证”策略，而不是依赖于日益增加的验证超时时间来区分方法，因为较小的超时时间通常足以识别出帕累托前沿。

最终，本文认为，公平的评估需要探索完整的权衡空间，从而开发出既鲁棒又实用的认证模型，并防止从单一配置比较中得出误导性的结论。