📊 statistics

Adaptive Sharpness-Aware Minimization with a Polyak-type Step size: A Theory-Grounded Scheduler

本文引入了自适应锐度感知最小化（SAM）算法，该算法利用新型 Polyak 型步长调度器来实现理论收敛保证，并在保持或提高泛化性能的同时，减少对广泛学习率调优的需求。

原作者： Dimitris Oikonomou, Nicolas Loizou

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Dimitris Oikonomou, Nicolas Loizou

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图在一片广袤且雾气缭绕的山脉中寻找最低点。这个“最低点”代表了一个计算机程序（机器学习模型）解决问题的最佳设置。

在机器学习的世界里，有一种流行的方法叫做 SAM（锐度感知最小化，Sharpness-Aware Minimization）。你可以把 SAM 想象成一名登山者，他不仅仅只看脚下的地面，还会向四周迈出一小步，观察地势是陡峭上升还是平缓下降。如果地面很“锐利”（陡峭且崎岖），SAM 会避开那里，因为这些地方不稳定；如果地面很“平坦”（一个宽阔的山谷），SAM 则会向那里移动，因为即使风吹过，这里也更容易保持稳定（这有助于计算机模型在处理新的、未见过的数据时表现良好）。

问题所在：
虽然 SAM 非常擅长寻找这些稳定的平坦山谷，但它有一个主要的缺陷：它对走路的速度非常敏感。这个“走路速度”被称为学习率（learning rate）。

走得太快？你可能会冲过山谷并卡在悬崖上。
走得太慢？你无法在合理的时间内到达底部。
寻找完美的步速通常需要大量的尝试、调整和猜测。

解决方案：
这篇论文介绍了一种新的行走方式，称为带有 Polyak 型步长的自适应锐度感知最小化（Adaptive Sharpness-Aware Minimization with a Polyak-type Step size）。

这里有一个关于它是如何运作的简单类比：

想象你正在下山，但你穿着一双特殊的智能鞋。

旧方法（标准 SAM）： 你必须在出发前猜好你的步行速度。如果你猜错了，你必须停下来，脱掉鞋子，重新调整鞋带，然后再试一次。
新方法（本论文）： 你的鞋子会根据你面前地形的陡峭程度，自动调整你的步幅。
- 如果坡度平缓，鞋子会迈出更长、更自信的步伐。
- 如果坡度陡峭或复杂，鞋子会缩短步幅以确保安全。
- 至关重要的是，这些鞋子不需要你去猜测速度。它们仅利用当前时刻可用的信息（你所处的高度以及地面的陡峭程度）来计算出完美的步长。

论文证明了什么：
作者不仅发明了这些智能鞋，还建立了一套数学理论来证明它们确实有效。

在理想世界中（确定性）： 他们证明了如果山的形状设计得很合理（凸函数），这些鞋子将保证你在无需猜测速度的情况下，快速且高效地到达底部。
在现实世界中（随机性）： 在现实生活中，地面是颠簸且多雾的（存在噪声数据）。他们证明了即使在这种噪声干扰下，这些鞋子也能让你非常接近底部，只会在你处于最佳区域附近时停止。

实验结果：
研究人员在标准的计算机视觉任务（例如教计算机识别照片中的猫和狗）上测试了这些“智能鞋”。

他们发现，该方法表现得与那些需要专家花费数小时手动调整步行速度的旧方法一样好，甚至更好。
最重要的是，该方法更加鲁棒（稳健）。当“锐度”设置发生变化（即让登山者观察得更远时），旧方法往往会失效或表现不佳，但“智能鞋”无需任何调整就能完美运行。

总结：
这篇论文将一种强大的工具（SAM）——它目前因为需要过多的人工调优而难以使用——赋予了一个“自动驾驶”功能。它能自动计算出最佳步长，使研究人员和开发人员能够更轻松地训练出更好的 AI 模型，而无需花费数天时间去猜测正确的设置。

技术摘要：基于 Polyak 型步长的自适应锐度感知最小化 (Adaptive Sharpness-Aware Minimization with a Polyak-type Step size)

问题陈述

锐度感知最小化 (SAM) 及其变体（如非归一化 SAM, USAM）已成为通过最小化损失函数的锐度来提高深度神经网络 (DNN) 泛化能力的流行优化器。然而，这些方法的一个显著实际局限在于它们对学习率选择的高度敏感性。与大多数训练算法一样，SAM 变体通常需要大量的超参数调优或使用预定义的调度器（例如余弦退火）才能达到最优性能。这种对手动调优的依赖既昂贵又耗时。

作者旨在解决设计无需手动调整学习率的 SAM 变体这一挑战。他们专门研究了随机 Polyak 步长（近期已被证明对随机梯度下降 SGD 非常有效）在锐度感知优化设置中的适用性。

方法论

本文提出了一类针对 USAM（以及更广泛的 SAM）设计的全新自适应调度器，该类调度器源自经典的 Polyak 步长。其核心方法论包括：

推导自适应步长：
- 确定性设置： 从 USAM 更新规则出发，作者通过最小化到最优解平方距离 ( $\|x_{t+1} - x^*\|^2$ ) 的上界，推导出了闭式解步长。这产生了一个取决于扰动点处的损失 $f(e_t)$ 、最优值 $f^*$ 、扰动点处的梯度以及锐度半径 $\rho_t$ 的步长 $\gamma_t$ 。
- 随机设置： 将确定性推导扩展到有限和设置（小批量/mini-batches）。提出的随机 Polyak 调度器 (Stochastic Polyak Scheduler) 使用小批量估计量替换全量数据量（ $f_{S_t}, \nabla f_{S_t}$ ），并引入了一个下界 $\ell^*_{S_t}$ （对于非负损失通常为 0）和一个上限 $\gamma_b$ 以确保稳定性。
- 归一化： 虽然主要的理论开发侧重于 USAM（非归一化），但作者将相同的逻辑应用于归一化 SAM 更新，并保留了一个安全机制 (ReLU) 以确保非负性，因为 USAM 的理论非负性保证并不能直接转移到归一化情况中。
理论框架：
- 分析假设了标准的平滑性 ( $L$ -smooth) 和凸性（或 $\mu$ -强凸性）条件。
- 作者建立并证明，当锐度半径 $\rho_t$ 足够小时（具体为 $\rho_t \leq 1/L$ ），推导出的步长自然是非负的，从而使 ReLU 安全机制在确定性凸正则项下变得多余。
- 该框架统一了标准梯度法和锐度感知方法：通过设置 $\rho_t = 0$ ，可以恢复用于 GD 的经典 Polyak 步长及其随机模拟版本 (SPS $_{max}$ )。

核心贡献

新型自适应调度器： 本文引入了首个专门为 SAM 式更新定制的 Polyak 型步长。这些调度器是完全自适应的，无需手动调整学习率，且仅依赖于当前迭代中可获得的量（扰动点处的损失和梯度）。
确定性收敛保证：
- 对于 $\mu$ -强凸目标函数，作者证明了在平方距离 ( $\|x_t - x^*\|^2$ ) 上的线性收敛。收敛速率与使用 Polyak 步长的 GD 已知速率相匹配，其收敛因子明确量化了锐度半径的影响。
- 对于凸目标函数，作者证明了函数值的亚线性 $O(1/T)$ 收敛速率。
- 他们表明，通过使用非增半径调度 ( $\rho_t \to 0$ )，该方法能使梯度范数趋于零。
随机收敛保证：
- 在随机设置下，该方法收敛至最优解的一个邻域。该邻域的大小由与小批量下界相关的方差度量 ( $\sigma^2$ ) 来量化。
- 至关重要的是，这些保证是在无需先前自适应 SAM 分析中常见的额外假设（如梯度有界、方差有界或增长条件）的情况下实现的。
- 在插值机制下（即 $\sigma^2 = 0$ 的情况，常见于过参数化模型），该邻域会消失，方法线性收敛至最优解。
- 该分析还为常数步长 USAM 在随机设置下的收敛提供了保证，表明其允许比以往工作更大的步长。
实证验证：
- 合成实验： 在岭回归问题上，所提出的调度器表现出预测的线性收敛趋势，并优于或等同于经过调优的常数步长基准线以及其他近期的自适应 SAM 变体（如 AdaSAM、LightSAM）。
- 深度学习基准测试： 在使用 ResNet 架构的 CIFAR-10 和 CIFAR-100 实验中，结果表明随机 Polyak 调度器的测试准确率与精心调优的常数学习率及余弦退火相当，甚至更好。值得注意的是，当锐度半径 $\rho$ 增大时，所提出的调度器能保持稳健的性能，而余弦退火则会出现明显的准确率下降。

结果与意义

本文声称，所提出的 Polyak 调度器提供了一种原则性的方法，用以减轻 SAM 类方法的学习率调优负担。

性能： 数值实验表明，自适应调度器在大幅减少超参数搜索需求的同时，实现了与调优后的基准线相当甚至更好的性能。
鲁棒性： 该方法被证明对锐度半径 $\rho$ 的选择具有鲁棒性，而 $\rho$ 是标准 SAM 实现中经常需要仔细调优的参数。
理论进展： 本工作提供了首个基于 Polyak 型步长的自适应 USAM 收敛理论。它弥补了 Polyak 步长在 SGD 中的理论理解与在锐度感知优化中应用之间的鸿沟，并提供了比现有自适应 SAM 文献更强的（假设更少的）保证。

作者总结道，尽管其理论侧重于凸设置，但其在深度学习基准测试（非凸）上的实际成功表明其具有广泛的适用性。他们指出，将分析扩展到非凸目标（例如 PL 条件）以及开发调度锐度半径 $\rho_t$ 的原则性策略是重要的未来研究方向。

技术摘要：基于 Polyak 型步长的自适应锐度感知最小化 (Adaptive Sharpness-Aware Minimization with a Polyak-type Step size)

问题陈述

方法论

核心贡献

结果与意义

类似论文