🤖 machine learning

Fix the Loss, Not the Radius: Rethinking the Adversarial Perturbation of Sharpness-Aware Minimization

本文提出了损失均衡的锐度感知最小化（LE-SAM），这是一种新颖的优化方法，它将锐度感知最小化中固定的参数空间半径替换为固定的损失空间预算，以更好地契合基于曲率的平坦极小值本质，从而在多种基准测试中实现最先进的泛化性能。

原作者： Jinping Wang, Qinhan Liu, Zhiwu Xie, Zhiqiang Gao

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Jinping Wang, Qinhan Liu, Zhiwu Xie, Zhiqiang Gao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗易懂的语言和生动的类比对论文《Fix the Loss, Not the Radius》（LE-SAM）的解释。

宏观图景：寻找“平坦”的谷底

想象你正在试图在广阔且雾气弥漫的群山中找到最低点（这代表了神经网络的损失景观）。你的目标是找到一个模型表现完美，且即使天气略有变化也能保持完美的位置（这被称为泛化能力）。

研究人员长期以来认为，最佳位置不仅仅是任意一个低点，而是一个平坦的谷底。

尖锐的山峰：如果你站在尖锐的山峰上，向任何方向迈出微小的一步，都会让你滚落下去。这是不稳定的。
平坦的谷底：如果你站在宽阔平坦的谷底，向任何方向迈出几步，你仍然能保持在底部。这是稳定且鲁棒的。

这篇论文认为，目前寻找这些平坦谷底的最佳方法（称为SAM）使用了错误的工具来测量地形。

问题所在：“固定步长”的尺子

目前的方法SAM试图通过向各个方向迈出“测试步”来寻找平坦谷底，以观察地面会上升多少。

SAM 的工作原理：它说：“我将沿着最陡下降的方向迈出正好 1 米的步长，看看地面会升多高。”
缺陷：论文指出了一个不匹配之处。
- 如果地面非常陡峭（梯度很大），1 米的步长会让你冲上很高的山坡。这种测量主要受坡度陡峭程度的主导，而不是受谷底宽度的影响。
- 如果地面平坦（梯度很小），同样的 1 米步长几乎无法让你移动。
- 类比：想象试图通过走 10 步来测量房间的宽度。如果你走在陡峭的斜坡上，你的 10 步覆盖了巨大的垂直距离。如果你走在平地上，它们覆盖的距离却很少。你测量的并不是房间的宽度，而只是你行走的费力程度。

因此，SAM 主要对坡度的陡峭程度（梯度）做出反应，而不是对谷底的形状（曲率）做出反应。它只有在训练接近尾声、坡度变得非常平缓时才开始有效工作，但这对于修复解决方案的根本形状来说为时已晚。

解决方案：LE-SAM（“固定高度”预算）

作者提出了一种名为LE-SAM（Loss-Equated SAM，损失均衡 SAM）的新方法。他们彻底翻转了逻辑。

他们不再说“我将迈出固定大小的步长”，而是说“我将允许地面升高一个固定的高度量（预算），然后计算出我需要迈出多大的步长才能达到那个高度。”

新机制：
1. 设定预算：“我愿意正好向上攀登1 米的高度。”
2. 计算步长：
  - 如果坡度陡峭，我只需要迈出微小的一步就能达到那 1 米的高度。
  - 如果坡度平坦，我需要迈出巨大的一步才能达到那 1 米的高度。
3. 结果：因为“攀登的高度”是固定的，测量结果不再受坡度陡峭程度的主导。它迫使算法去关注曲率（坡度变化的快慢）。

隐喻：
想象你是一名蒙着眼睛的徒步者，试图寻找一个平坦的谷底。

旧方法（SAM）：你迈出固定的 10 英尺步长。如果山很陡，你会从悬崖上摔下去。如果山很平，你几乎没动。你无法分辨谷底是宽还是窄。
新方法（LE-SAM）：你说：“我要正好向上攀登 5 英尺。”如果山很陡，你迈出一小步。如果山很平，你迈出一大步。通过强迫自己攀登那个特定高度，你立刻就能知道地形是陡峭还是平坦。这能确切地告诉你平坦谷底在哪里。

为什么这很重要（结果）

通过固定“损失预算”（你愿意攀登的高度）而不是固定“半径”（步长），论文声称：

更好的泛化能力：模型找到了更宽、更平坦的谷底，意味着它在新的、未见过的数据上表现更好。
更早生效：与旧方法（仅在训练最后阶段才有帮助）不同，这种新方法从训练一开始就有效，因为它不会被初始坡度的陡峭程度所干扰。
稳定性：它防止了当坡度剧烈变化时训练变得不稳定。

证明

作者在标准的图像识别任务（如在照片中识别猫、狗和汽车）上测试了这种方法。

他们将新方法与旧的“固定步长”方法以及其他几种变体进行了比较。
结果：他们的方法 consistently 获胜，在不同类型的神经网络和数据集上实现了最高的准确率（State-of-the-Art，最先进水平）。
视觉证明：他们甚至绘制了模型发现的“地形”地图。这些地图显示，与其他方法发现的尖锐山峰相比，他们的方法找到了更平坦、更宽阔的谷底。

总结

这篇论文认为，为了找到最稳定的 AI 模型，我们不应该只是迈出固定大小的步长来测试地面。相反，我们应该设定一个固定的“攀登高度”，让步长自动调整。这种简单的转换消除了由陡峭坡度引起的混淆，帮助 AI 找到它所需的真正平坦、稳定的解决方案，从而变得聪明且可靠。

技术摘要：修正损失而非半径：重新思考锐度感知最小化的对抗扰动

1. 问题陈述

深度神经网络（DNN）常因过参数化和非凸损失景观而陷入众多具有不同泛化能力的局部最优解。主流假设认为，“平坦极小值”（低曲率区域）比“尖锐极小值”具有更好的泛化能力。锐度感知最小化（SAM）旨在通过最小化固定参数空间半径 $\rho$ 内的最坏情况损失来解决这一问题。

然而，作者指出了 SAM 及其变体中存在的一个根本性机制层面的不匹配：

理想情况：平坦性本质上是一个二阶属性，由损失景观的局部曲率（Hessian 矩阵）表征。
现实情况：SAM 使用一阶线性近似构建其对抗目标。在固定半径 $\rho$ 内，扰动与梯度方向对齐。因此，生成的学习信号主要由梯度范数（ $\rho \|\nabla L(w)\|$ ）主导，而非曲率。
后果：由于梯度范数主导了信号，SAM 的有效性在很大程度上推迟到了训练后期，此时梯度自然变得足够小，使得曲率项变得可比。这导致训练机制与在整个优化过程中寻找平坦极小值的目标之间存在差异。

2. 方法论：损失均衡 SAM（LE-SAM）

为了解决这一不匹配，作者提出了损失均衡 SAM（LE-SAM），这是一种机制层面的重构，颠覆了传统的 SAM 范式。LE-SAM 不再固定参数空间中的扰动半径，而是固定一个损失空间预算 $\sigma$ 。

核心机制

受经典Polyak 步长的启发，LE-SAM 将一阶损失变化标量化。

固定预算：算法不再固定 $\rho$ ，而是固定损失空间中的目标损失增加量 $\sigma$ 。
反向求解半径：扰动半径 $\rho_t$ 被动态计算，以确保一阶损失变化与预算 $\sigma$ 匹配：
$\rho_t = \frac{\sigma}{\|\nabla L(w)\|_2 + \varrho}$
其中 $\varrho$ 是用于数值稳定性的小常数。
代理损失：当将此自适应半径代回损失的泰勒展开时，一阶项变为常数标量 $\sigma$ ：
$L(w + \epsilon_t) \approx L(w) + \underbrace{\sigma}_{\text{标量常数}} + \frac{1}{2} \epsilon_t^\top H(w) \epsilon_t$
由于 $\nabla_w \sigma = 0$ ，梯度范数惩罚实际上从优化信号中移除。学习信号完全转向二阶曲率项（ $\frac{1}{2} \epsilon_t^\top H(w) \epsilon_t$ ）。

稳定化策略

为防止在梯度范数较小时出现不稳定性（这可能导致 $\rho_t$ 过大），LE-SAM 采用了两种保障措施：

半径截断：强制执行最大半径 $\rho_{max}$ 。
损失预算退火：在训练的最后阶段，预算 $\sigma$ 逐渐退火至 0（例如通过余弦退火），以确保平滑收敛。

3. 主要贡献

本文声称有以下贡献：

目标不匹配的识别：作者证明，标准 SAM 中的对抗扰动是在固定半径约束下通过一阶线性化代理生成的，导致学习信号由梯度幅度主导，而非平坦极小值所需的二阶曲率。
LE-SAM 的提出：一种机制层面的重构，固定损失预算而非半径。这将一阶变化标量化，消除了梯度范数的主导地位，并将优化信号在整个训练过程中转向由曲率主导的项。
实证优越性：大量实验表明，LE-SAM 在多样化的基准测试中始终优于标准 SAM 及其变体（包括 ASAM、ESAM、F-SAM 和 Eigen-SAM），实现了最先进的（SOTA）性能。

4. 实验结果

作者在多个任务和数据集上评估了 LE-SAM：

从头训练：
- CIFAR-10/100：使用 ResNet-18、WideResNet-28-10 和 PyramidNet-110，LE-SAM 在所有 SAM 变体中取得了最高准确率。在 CIFAR-100 上，其表现优于标准 SAM 1.34 至 1.49 个百分点。
- ImageNet：从头训练 ResNet-50 和 ResNet-101 时，LE-SAM 分别比 SAM 高出 0.71 和 0.77 个百分点。
迁移学习：在 CIFAR-10/100 上微调预训练的 ViT-B-16 时，LE-SAM 始终超越 SAM。
域泛化（SDG）：在 PACS 和 VLCS 数据集上，LE-SAM 的平均准确率分别比 SAM 提高了 2.18 和 0.84 个百分点。
鲁棒性：在 $L_2$ 和 $L_\infty$ PGD 对抗攻击下，LE-SAM 表现出更强的鲁棒性，优于 SAM 多达 2.47 个百分点。
长尾学习：在 CIFAR-100-LT 上，将 LE-SAM 与 SOTA 方法 GLMC 结合，相比 GLMC+SAM 取得了进一步改进。

机制分析

平坦度指标：Hessian 迹和最大特征值分析证实，与 SAM 和 SGD 相比，LE-SAM 收敛到更平坦的极小值（更低的 Hessian 迹和最大特征值）。
训练动态：与仅在训练后期显示出显著增益的 SAM 不同，LE-SAM 在整个训练过程中都表现出巨大的性能差距，验证了曲率信号从一开始就是活跃的。
计算成本：LE-SAM 保持了与 SAM 相同的渐近复杂度（每次迭代两次前向 - 后向传递），计算动态半径的开销可忽略不计。

5. 意义与主张

本文认为，现有锐度感知最小化方法的主要局限性在于其依赖于固定半径的一阶近似，这无意中优先处理了梯度幅度而非曲率。通过“修正损失而非半径”，LE-SAM 从根本上重新思考了对抗扰动机制。

作者声称，这种方法提供了一种锐度感知学习的统一视角，其本质上是曲率感知的。通过将扰动幅度与梯度范数解耦，LE-SAM 提供了一条更直接、更稳健的路径以到达平坦区域，从而在各种架构、数据集和训练场景（包括迁移学习和域泛化）中实现卓越的泛化性能，且无需付出显著的计算开销。