PRBench: A Standardized Probabilistic Robustness Benchmark
本文介绍了 PRBench，这是首个用于评估深度学习模型概率鲁棒性的标准化基准，该基准揭示：尽管对抗训练方法在超参数方面具有更强的通用性，但针对概率鲁棒性的训练方法能够实现更低的泛化误差和更高的干净准确率。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你构建了一个非常聪明的机器人，用于识别猫和狗的图片。你希望确保这个机器人不会因为图片中微小的、不可见的变化（例如几个像素的偏移或一点静态噪声）而感到困惑。
在人工智能领域，主要有两种方法来测试你的机器人是否足够“坚韧”：
- 最坏情况测试（对抗鲁棒性）：这就像一位大盗试图找到唯一且完美的方法来欺骗你的机器人。如果大盗能找到哪怕一张图片，让机器人将明显的“猫”识别为“狗”，那么该机器人就失败了。这是多年来人们测试人工智能的标准方式。
- 现实世界测试（概率鲁棒性）：这更像是一份天气预报。它不问“大盗能否欺骗机器人？”，而是问“如果我们随机抖动图片 1,000 次，机器人有多少次仍能正确识别？”也许机器人会在 1,000 次中失败 5 次，但正确识别 995 次。在现实世界中，这可能已经足够好了。
问题：缺失的成绩单
本文作者发现了一个巨大的缺口。我们拥有大量针对“最坏情况”大盗的测试库，但却缺乏一种标准化的方法来比较针对“现实世界”天气测试的不同训练方法。
一些研究人员试图构建专门的训练方法，仅为了提高这种“现实世界”的得分。但由于每个人使用的规则和测试各不相同，无人能判断哪种方法实际上是最优的。这就像试图比较两辆汽车的速度，而一名司机使用秒表，另一名司机却使用日晷。
解决方案：PRBench（新的成绩单）
该团队创建了PRBench，这是首个专门设计用于测试人工智能如何处理这些随机的、现实世界干扰的标准化“成绩单”。
他们选取了229 个不同的人工智能模型（从简单的到非常复杂的），并使用13 种不同的方法对它们进行了训练。这些方法包括：
- 标准训练：仅以正常方式教授人工智能。
- 对抗训练（AT）：通过向人工智能展示大盗的“最佳” trick（即最坏情况场景）来训练它。
- 概率训练（RT）：专门训练人工智能以处理随机噪声。
- 混合方法：上述两者的结合。
重大发现
在运行所有这些测试后，作者发现了一些违背常识的现象：
1. “免费午餐”的发现
最大的惊喜是，那些旨在阻止“大盗”的方法（对抗训练）实际上在处理随机噪声方面也是最佳的。
- 类比：想象你在训练一名拳击手。你决定通过让其与重量级冠军对战（最坏情况场景）来训练他。你预期他会擅长对抗重量级对手。但令人惊讶的是，他也变得极其擅长躲避人群中随机的、轻微的触碰。
- 发现：论文声称，如果你训练人工智能以抵御最坏情况的“大盗”，你几乎可以“免费”获得“概率鲁棒性”（处理随机噪声的能力）。你并不一定需要一种单独的、专门针对随机噪声的训练方法。
2. 权衡取舍
然而，这也伴随着代价。
- 对抗训练（重量级斗士）：使人工智能在面对大盗和随机噪声时都非常坚韧，但它有时会使人工智能在查看完美、干净的图片时变得略微缓慢或准确性稍低。
- 概率训练（噪声专家）：这些方法使人工智能在查看干净图片时保持极佳表现，并能很好地处理随机噪声，但它们对“大盗”（最坏情况攻击）却出奇地脆弱。
3. “混合”的希望
有一种新的、复杂的方法称为AT-PR，它试图结合两者的优点。它使用“对抗大盗”的策略，但进行了调整，使其也能关注随机噪声。它在平衡各方面表现方面做得非常出色，但运行成本极高（就像雇佣 100 名教练而不是 1 名）。
结论
论文指出，长期以来，人们一直试图发明复杂的专用工具，仅为了修复“随机噪声”问题。但数据显示，标准的“对抗大盗”工具（对抗训练）实际上已经在同时解决这两个问题上表现出色。
作者并非建议我们停止研究“概率鲁棒性”。相反，他们表示：“不要再重复造轮子了。我们现有的用于最坏情况场景的工具，在处理日常事务方面也出奇地有效。”
他们构建了这一基准（PRBench），以便未来研究人员能够停止猜测，转而使用清晰、共享的标尺来衡量进展，确保我们构建的人工智能在极端情况和日常情境中都是安全可靠的。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。