Adversarial Frontiers: Minimum-Norm Attack Ensembles for Robustness Evaluation

技术摘要：对抗前沿：用于鲁棒性评估的最小范数攻击集成

问题陈述
目前的对抗鲁棒性评估过度依赖于预定义的攻击集成，例如 AutoAttack (AA)，且通常在单一、固定的扰动预算 ($\epsilon$) 和特定的范数 ($\ell_p$) 下进行评估。作者认为，这种形式受到以下三个因素的根本限制：

1. 单点排名的不稳定性： 鲁棒性是一个函数，而非一个点。不同模型的鲁棒性–扰动曲线 ($\rho(\epsilon)$) 可能会发生交叉或以不同的速率衰减。因此，基于参考 $\epsilon$ 的排名是不稳定的；在某个参考 $\epsilon$ 下表现出更强鲁棒性的模型，在更大的预算下可能反而较弱。
2. 缺乏最优性证据： 现有的集成无法验证估计的鲁棒性与经验最坏情况（即真实的最小范数扰动）之间的接近程度。高鲁棒准确率可能反映了强大的防御，也可能仅仅是因为攻击较弱，而现有方法无法区分这两者。
3. 不灵活的成本-质量权衡： 像 AA 这样固定的流水线是无参数且预配置的，这使得评估质量与计算成本相互耦合。从业者无法调整查询预算，以在低资源场景下获得近似评估，或在高资源场景下进一步提升估计精度。

方法论
本文提出了一个基于最小范数对抗攻击和跨 $\ell_0, \ell_1, \ell_2,$ 及 $\ell_\infty$ 范数的鲁棒性–扰动曲线的统一评估框架。

1. 攻击前沿与最优性：

   • 攻击前沿 (Attack Frontier) 被定义为针对某一模型所能产生的最全面的攻击池所能达到的最坏情况鲁棒性估计。
   • 基于 AttackBench 中的攻击最优性指数 (AOI)，作者衡量了攻击（或集成）对该前沿的逼近程度。AOI 量化了攻击的鲁棒性曲线与经验前沿之间的归一化面积差距。

2. 贪婪集成构建：

   • 将评估形式化为一个前沿逼近问题。给定一个最小范数攻击池和一个总查询预算 $Q$，目标是构建一个攻击集成（由具有特定查询分配的攻击池子集组成），以最大化 AOI。
   • 采用了一种贪婪算法来解决这个离散的预算分配问题。从空集成开始，算法迭代地将查询分配给能产生最高 AOI 增益（相对于新增查询量）的攻击配置（包括重启和目标变体）。
   • 这一过程生成了一个嵌套式集成族 ($E_{4k} \subseteq E_{8k} \subseteq E_{12k}$)，允许从业者在计算成本与鲁棒性估计的紧密程度之间进行权衡。

3. 防御前沿与防御最优性指数 (DOI)：

   • 为了在不选择参考 $\epsilon$ 的情况下对防御进行排名，作者定义了防御前沿 (Defense Frontier)，即在一组模型中可实现的经验鲁棒性上界（即那个以最大最小范数扰动导致误分类的“先知”模型）。
   • 引入了防御最优性指数 (DOI) 作为排名指标。它通过聚合模型鲁棒性曲线与防御前沿在整个扰动范围内的差距来进行计算。与单 $\epsilon$ 准确率不同，DOI 提供了一个稳定的、与 $\epsilon$ 无关的排名。

4. 新的攻击组件：

   • 作者引入了 APGDmin，这是一种原生的最小范数适配版自动投影梯度下降 (APGD) 攻击。不同于标准 APGD 在固定半径内搜索，APGDmin 能够动态调整每个样本的半径，从而在单次运行中寻找微小扰动，并支持 $\ell_1, \ell_2$ 和 $\ell_\infty$。

关键结果
实验在 30 个鲁棒模型（CIFAR-10 上 20 个，ImageNet 上 10 个）上使用留出测试集进行了评估。

• 集成性能： 贪婪集成在大多数模型上的 AOI 在各个预算层级均达到或超过了 AutoAttack。
  • 在 $\ell_2$ 范数下，4k 查询的集成在 13 个留出防御模型中的 12 个上达到了或超过了 AA 的水平，尽管 AA 在其参考 $\epsilon$ 下花费了高达 7,566 次查询。
  • 在 $\ell_1$ 范数下，性能从 4k 查询时的 8/13 模型提升到了 12k 查询时的 13/13 模型。
  • 在 $\ell_\infty$ 范数下，集成在 12k 查询时达到了 10/13 模型。
  • 对于 $\ell_0$（此处不存在 AA 基准），集成实现了极高的 AOI（98.1–99.8%），可靠地触及了前沿。
• 固定 $\epsilon$ 导致的排名不稳定性： 本文证明了基于 AA 在参考 $\epsilon$ 下的排名具有高度不稳定性。在 CIFAR-10 ($\ell_2$) 上，改变 $\epsilon$ 会导致 17 个防御模型的排名至少发生 5 位偏移。在 ImageNet ($\ell_\infty$) 上，所有 10 个模型的排名至少发生 2 位偏移。
• DOI 的稳定性： DOI 提供了一个单一且稳定的、独立于 $\epsilon$ 的排名。排名在不同的查询预算层级（4k, 8k, 12k）之间保持一致，模型间的严格排序变化极小。
• 实际效用： 该框架实现了增量评估。从业者可以使用低预算集成（如 4k 查询）评估新防御。如果生成的曲线位于参考防御的全预算曲线之下，则可以立即拒绝该新防御，无需进一步计算，因为增加查询只会使鲁棒性估计变得更紧（更低）。

意义与主张
本文声称提供了一种可控查询、基于曲线的替代方案，以取代固定的 $\epsilon$ 评估。其意义在于：

1. 解耦成本与质量： 它允许从业者通过嵌套集成层级来控制计算预算与鲁棒性估计紧密程度之间的权衡。
2. 具备最优性感知能力： 它提供了一种原则性的方法来衡量评估距离最坏情况（攻击前沿）有多近，解决了当前基准测试中存在的“未知差距”问题。
3. 稳定排名： 通过引入 DOI，它消除了在排名时选择参考 $\epsilon$ 的随意性，提供了对模型在整个扰动谱系上鲁棒性的更全面的观察。
4. 泛化性： 贪婪预算分配策略能够有效地推广到未见的模型而不会过拟合，这从训练集与留出模型集之间紧密的 AOI 追踪中得到了证实。

作者将这项工作定位为迈向“可配置、具备最优性感知能力的评估框架”的一步，旨在取代固定的 $\epsilon$ 排行榜。他们也承认了局限性，指出前沿是经验性的（取决于攻击池），且目前的池子仅限于白盒梯度攻击，但该框架的设计旨在未来能够容纳黑盒攻击和语义扰动。