📊 statistics

SGD at the Edge of Stability: Stochastic Stabilization with Large Learning Rates

本文为在大学习率下针对多分类交叉熵损失的随机梯度下降（SGD）建立了紧确的收敛保证，证明了其内在的随机性使算法能够实现自我稳定，并在稳定性边缘的振荡与受控下降之间交替，从而确保收敛。

原作者： Konstantinos Emmanouilidis, Lachlan MacDonald, Salma Tarmoun, Rene Vidal

发布于 2026-07-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Konstantinos Emmanouilidis, Lachlan MacDonald, Salma Tarmoun, Rene Vidal

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图让一个沉重的巨石沿着一个非常崎岖、蜿蜒的山坡滚下，以到达底部（即“完美”的解）。在机器学习的世界里，这个巨石就是你的 AI 模型，这座山坡是“损失景观”（loss landscape，即模型出错程度的地图），而底部则是模型犯错最少的点。

长期以来，科学家们认为你必须温柔且小心地推动巨石。如果你推得太用力（使用了“大学习率”），巨石就会撞到墙壁、飞过边缘，或者陷入循环，永远无法到达底部。这就是“经典理论”。

然而，在现代 AI 中，工程师们注意到了一些奇怪的现象：如果他们用力非常大地推动巨石，巨石实际上能更快地到达底部，有时甚至能找到比温柔推动更好的位置。这种现象被称为**“稳定性边缘”（Edge of Stability）**。这就像是在车辆抓地力的极限边缘驾驶；虽然会摇晃和打滑，但仍然能向前移动。

问题在于，大多数解释这种“摇晃驾驶”的数学理论都是为确定性（deterministic）世界编写的（即你知道道路的具体形状）。但在现实中，AI 使用的是随机梯度下降（Stochastic Gradient Descent, SGD）。这意味着 AI 无法一次看到整条路，它只能在决定如何推动之前，先看到一小块随机的路径（一个“小批量/mini-batch”）。这为过程增加了噪声（noise）。

这篇论文探讨的是：这种随机噪声如何影响稳定性边缘处的“摇晃驾驶”？AI 会崩溃，还是它能找到自我稳定的方法？

以下是作者的研究发现，通过简单的类比进行解释：

1. 两种驾驶模式

作者发现，当你使用大学习率配合随机噪声时，AI 的旅程并非仅仅是一片混乱。它实际上会在两种截然不同的模式之间切换：

“侧滑”阶段（稳定性边缘）： 想象巨石被推得太猛，撞到了一个凸起并开始剧烈弹跳。误差（距离底部的距离）忽高忽低。看起来很不稳定。在这个阶段，AI 受制于山坡的“曲率”（即那些凸起）。
“滑行”阶段（稳定状态）： 最终，AI 进入了一种节奏。尽管仍在被用力推动，但它进入了一个平均而言正在向底部靠近的区域。误差稳步下降。

2. “自我稳定”的魔力

最令人惊讶的发现是 AI 如何处理随机性。

在一个完美的、无噪声的世界里，如果你推得太猛，可能会冲过头且无法返回。但在现实世界中，由于存在随机噪声，作者证明了 SGD 具有一种内置的自我修正机制。

类比： 想象你在狂风暴雨中走钢丝（噪声）。有时风会将你吹离绳索（AI 离开了稳定区域）。
发现： 作者展示了即使风把你吹离了绳索，钢丝本身的形状（交叉熵损失的数学特性）就像磁铁一样。它会将你拉回。你可能会跌落几次，但你总是会在特定的、可预测的步数内被拉回到绳索上。
结果： AI 不会崩溃。它会摇晃，由于随机噪声的原因短暂地跌出“稳定区域”，但随后会立即自我修正并回到一条安全的稳定路径上。这种现象会反复发生，但随着 AI 变得越来越优秀（损失值降低），它在稳定路径上的时间会越来越多，跌落的时间会越来越少。

3. 它适用于简单和复杂的模型

作者不仅研究了简单的直线（线性分类器），还研究了两层神经网络（一种基础的深度学习模型）。

他们证明了即使增加了这些网络的复杂性和随机噪声，同样的规则依然适用。
他们识别出了特定的“激活函数”（AI 内部的数学开关），这些函数允许这种自我稳定现象发生。他们表明，现代 AI 中常用的工具（如 GELU 或 Softplus）完全符合这些规则。

4. 实践证明（实验）

为了确保他们的数学理论不仅仅是理论，他们利用真实数据（如 MNIST 手写数字和 CIFAR-10 图像）进行了实验。

他们使用极大的学习率（比旧教科书建议的安全值大得多）来训练 AI 模型。
结果： 模型并没有爆炸。相反，损失值（误差）迅速下降。模型训练得更快，并达到了很高的准确率，证实了在稳定性边缘进行的“摇晃驾驶”不仅是安全的，而且通常是更优的选择。

总结

这篇论文解释了为什么当我们使用“鲁莽”的学习率时，现代 AI 仍然能表现得如此出色。事实证明，训练过程中的随机性（噪声）并不只是一个麻烦；它与问题的形状相互作用，创造了一个自我稳定的循环。

AI 在稳定性边缘可能会踉跄和摇晃，但它拥有一张隐形的防护网，能接住它并将它拉回稳定的路径，使其能够比小心翼翼、缓慢驾驶时更快地收敛到一个优秀的解。

技术摘要：处于稳定性边缘的 SGD：大学习率下的随机稳定化

问题陈述

现代深度学习经常采用显著大于经典平滑凸优化理论所证明的学习率，这种现象被称为稳定性边缘（Edge of Stability, EoS）。虽然确定性梯度下降（GD）的 EoS 行为已被分析——其特征是经历了一个由曲率驱动的振荡阶段，随后进入一个损失函数单调下降的自稳定阶段——但随机设置下的情况在很大程度上仍未得到探索。

在随机梯度下降（SGD）中，由于小批量噪声导致的无害随机波动与由于相对于曲率过大的步长而产生的真实不稳定性之间的界限变得模糊。SGD 的非单调性可能源于这两者之一，这使得基于最大 Hessian 特征值的经典确定性稳定性阈值变得定义不明或不再充分。因此，目前对于 SGD 在多分类交叉熵损失下如何处理任意大学习率的行为，仍缺乏原则性的理解。核心问题在于：对于使用交叉熵损失的 SGD，合适的稳定性概念是什么？我们能否刻画其超越经典小步长机制的动力学行为？

方法论

作者开发了一个理论框架，用于分析应用于线性分类器和两层神经网络的多分类交叉熵损失下的 SGD，且该框架适用于任意大的步长（ $\eta > 0$ ）。

随机李雅普诺夫稳定性（Stochastic Lyapunov Stability）：
由于无法保证实现损失的逐点单调性（在存在噪声的情况下），本文采用了随机李雅普诺夫稳定性视角。损失函数 $L(W)$ 被视为一个李雅普诺夫函数。稳定性并非由 $L(W_{t+1}) \leq L(W_t)$ 定义，而是由给定过滤 $\mathcal{F}_t$ 下期望损失在条件期望下递减的条件定义：
$\mathbb{E}[L(W_{t+1}) - L(W_t) \mid \mathcal{F}_t] \leq 0$
该准则捕捉了曲率与噪声之间的平衡。在全批量极限下，它退化为确定性稳定性条件，但在随机设置下考虑了小批量波动。
两阶段动力学分析：
分析将训练动力学解耦为两个阶段：
- 稳定性边缘（EoS）阶段： 迭代过程可能经历曲率驱动振荡的初始阶段，此时损失函数并非单调下降。
- 稳定阶段： 期望损失具有单步下降性质的区域。作者定义了一个稳定集合 $\mathcal{S}$ ，其中 $L(W_t) \leq \tilde{L}$ ， $\tilde{L}$ 取决于步长、批量大小和数据间隔（margin）。
随机稳定化机制：
一个关键的理论贡献是证明了 SGD 具有自稳定属性。即使小批量噪声暂时将迭代过程推离稳定集合 $\mathcal{S}$ ，动力学也会保证以高概率在固定且有界的迭代次数内返回稳定区域。这种返回机制是由交叉熵损失的几何特性驱动的，即随着损失趋于零，曲率和噪声的大小都会随之减小。
向神经网络的扩展：
该框架被扩展到均值场缩放下的两层神经网络。作者对激活函数施加了温和的条件（可微性、光滑性和近齐次性），并引入了一个“有效间隔” $\tilde{\gamma}$ ，以考虑激活函数导数的下界。这使得将线性收敛保证转移到非线性设置成为可能。

核心贡献

随机稳定性准则： 本文提出了一种基于条件李雅普诺夫漂移的新型 SGD 稳定性定义，该定义非常适用于参数可能发散但损失趋于零的可分交叉熵最小化问题。
大步长的收敛保证： 作者提供了针对多分类交叉熵损失下使用任意大步长（ $\eta > 0$ ）的 SGD 的首个理论收敛保证。他们证明了最优迭代值达到了 $\tilde{O}(1/t)$ 的收敛速率，且该速率与步长的大小无关。
稳定阶段的刻画： 研究证明了 SGD 会在固定迭代次数内以高概率进入稳定阶段。一旦进入，最后一次迭代（last iterate）将以次线性速率收敛。
随机稳定化证明： 本文严格证明了 SGD 是“自稳定”的。即使轨迹因噪声而脱离稳定集合，它也会在有限步数内返回稳定性。这与确定性 GD 不同，在 GD 中，一旦进入稳定阶段，轨迹会通过构造保持在该阶段。
神经网络分析： 结果被扩展到两层神经网络，表明只要激活函数满足特定的“漏电”（leaky）条件，大步长收敛保证在模型非线性情况下依然成立。

结果

理论界限： 定理 2.2 建立了线性分类器最优迭代值的期望损失上界，显示出 $\tilde{O}(1/t)$ 的速率。定理 4.1 和定理 5.4 提供了最后一次迭代在进入稳定阶段后的类似保证。
稳定性返回： 定理 4.2（针对线性模型）和定理 5.5（针对神经网络）量化了保持在稳定集合内的概率以及如果发生脱离时返回该集合所需的最大步数。这些界限取决于批量大小、步长和当前损失值。
实验验证： 在合成数据、MNIST（两层神经网络）和 CIFAR-10（八层神经网络）上的实验验证了理论发现。结果表明：
- 在起始阶段（EoS 阶段）表现出非单调损失下降，随后在稳定阶段收敛。
- 较大的步长可以实现更快的损失收敛。
- 与较小步长相比，大步长具有相当或更优的测试准确率。
- 较大的批量大小会减少噪声和振荡。

意义与主张

本文声称填补了现代深度学习优化理论研究中的一个关键空白。虽然先前的工作解释了确定性 GD 的 EoS 现象，但这项工作将其扩展到了作为标准实践的随机设置。

作者强调，其结果为随机性如何改变优化两阶段结构提供了原则性的理解。他们认为，“自稳定”机制是交叉熵损失下 SGD 的内在特性，确保了只要损失随时间下降，算法就不会发散。该工作并不声称解决了深度学习中所有的优化挑战，而是提供了一个严谨的框架，用于分析大步长下的 SGD，从而验证了“大步长在实践中是有效且稳定”这一经验观察。其理论保证特定于可分数据和交叉熵损失，且对神经网络的分析仅限于均值场缩放下的两层架构。