🤖 machine learning

Flatland: The Adventures of Gradient Descent with Large Step Sizes

本文通过提出在稳定性边缘运行的自适应方法，解决了非 L-光滑函数上大步长梯度下降收敛性的开放性问题，并证明了允许训练通过自我稳定进入略微更陡峭的谷底，相比于过早遇到平坦区域，可以提高收敛性和泛化能力。

原作者： Leonardo Galli, Curtis Fox, Wiebke Bartolomaeus, Mark Schmidt, Holger Rauhut

发布于 2026-06-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Leonardo Galli, Curtis Fox, Wiebke Bartolomaeus, Mark Schmidt, Holger Rauhut

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图在一片广袤且大雾弥漫的山脉中寻找最低点。这座山脉代表了神经网络的“损失函数景观”（loss landscape）。你的目标是尽可能快地到达最底部（即最佳解）。

在这个深度学习的世界里，你用来下山的工具被称为梯度下降（Gradient Descent）。它就像一名徒步旅行者，总是朝着最陡峭的下坡方向迈出一步。这一步的大小就是学习率（learning rate）（或称步长）。

长期以来，研究人员认为采取小而谨慎的步伐是最安全的方式，可以确保你不会跌落悬崖。然而，最近的一项观察表明，有时采取巨大的、鲁莽的步伐实际上能帮你找到一个更好的、更平坦的谷底，从而造就更聪明的 AI。但问题在于：如果你的步伐过大，你可能会开始剧烈地左右摇摆，永不停歇，或者可能会陷入一个看起来像底部但其实并非底部的奇怪平坦区域。

这篇题为**《平原世界：梯度下降在大步长下的冒险》（Flatland: The Adventures of Gradient Descent with Large Step Sizes）**的论文，就像是一本为那些想要尝试巨型步伐却又不想从世界边缘跌落的徒步旅行者准备的指南。

问题所在：“稳定性边缘”（The Edge of Stability）

作者注意到，当你采取大小恰到好处的“大步”时，徒步旅行者会开始震荡。他们会在山谷的两侧上下跳动，而不是笔直地走下去。这被称为稳定性边缘（Edge of Stability, EoS）。

把它想象成一个在半管形滑板场（half-pipe）上的滑板手。如果速度太慢，他会在中间停下；如果速度恰到好处，他就会来回滑行，获得动量，并最终找到底部最平滑、最平坦的部分。论文认为，保持在这个“边缘”实际上对训练 AI 是有益的。

解决方案：智能指南针（算法）

核心问题是：我们如何在不发生碰撞的情况下，知道多大的步子算作“太大”？

作者创造了一个新的“指南针”（一种算法）来自动调整步长。它不再是靠猜测，而是检查徒步旅行者前方的地形。

如果地面平坦，它会说：“迈大步！”
如果地面崎岖，它会说：“减速，但不要停下。”

这个指南针让徒步旅行者能够从第一步开始就停留在“稳定性边缘”上，确保他们在移动迅速的同时，不会飞出山脉。

令人惊讶的发现：“平原陷阱”（The "Flatland" Trap）

这是故事中最有趣的部分。作者发现，如果你采取的步子太大，你可能会意外地跌入一个被称为**“平原”（Flatland）**的地方。

想象你在徒步旅行，突然来到一个看起来完全平坦的地方。你心想：“太棒了，我找到了底部！”但实际上，你可能掉进了一个鞍点（saddle point）（就像马鞍的中部）。它在一个方向上是平坦的，但在另一个方向上却是倾斜的。

陷阱： 在这些“平原”区域，AI 停止了学习。它认为自己已经完成了任务，因为它感觉地面很平，但实际上它只是陷入了一个无法理清问题逻辑的死胡同。论文称之为“不成功的平坦化”运行。AI 本质上是在那里进行随机猜测并陷入其中。

修复方法：不要追求绝对的平坦

论文的主要建议是反直觉的：不要追求绝对最平坦的地方。

作者发现，最好的结果来自于一次“成功的平坦化”运行。在这种情况下，AI 处于一个大部分平坦但仍带有微小坡度的地方。

比喻： 想象你在寻找搭建帐篷的最佳位置。
- 陷阱： 你发现了一片完美、毫无特征的平原。它看起来很完美，但没有风来帮你晾干衣服，你也无法判断哪边是北。你会因此被困住。
- 解决方案： 你找到了一个几乎平坦但带有轻微坡度的地方。这微小的坡度能帮助你定位方向，并让你持续向着最好的视野移动。

作者提出了一个简单的规则来避免陷阱：限制你的步长，使其永远不要大于你试图学习的类别数量。（例如，如果你正在教 AI 识别 100 种动物，不要让你的步长超过 100）。这会让 AI 保持在那个“略微倾斜”的谷底，在那里它能够真正学习，而不是陷入“完全平坦”的陷阱。

总结

大步长是有益的： 采取大步有助于 AI 更快地学习并找到更好的解，前提是你保持在“稳定性边缘”上。
陷阱： 如果步子迈得太大，你可能会陷入“平原”（鞍点），在那里 AI 会停止学习并仅仅进行随机猜测。
修复方法： 使用一种智能的方法来调整步长，但要给它们设定一个“限速”。让步长足够大以保证速度，但也足够小以避免掉入完美的平坦陷阱。这将带来更聪明、更准确的 AI。

简而言之，这篇论文告诉我们，在训练 AI 的竞赛中，有时你需要跑得很快，但你必须小心，不要跑得太快以至于被一块完美的平坦岩石绊倒，从而彻底停止移动。

技术摘要：平坦之地：大步长梯度下降的冒险

问题陈述

神经网络的训练经常涉及并非全局 $L$ -光滑的目标函数。对于此类函数，深度学习领域中存在一个长期的开放性问题：能够确保梯度下降（GD）收敛的最大步长是多少？尽管之前的研究（例如 Cohen 等人，2021）观察到带有固定步长的 GD 经常进入“稳定性边缘”（Edge of Stability, EoS）阶段——即损失函数呈现非单调下降，且步长与锐度（sharpness）的乘积稳定在 2 左右——但目前尚无统一的定义来界定在不依赖二阶信息的情况下能保证收敛的“大”步长，也尚不清楚 GD 是否能在训练开始时就始终稳定地运行在 EoS 状态，或者是否会因不受控制的振荡而面临发散风险。

方法论

作者提出了一种基于**局部段光滑性（local segment smoothness）**而非全局 Lipschitz 连续性的框架，用于定义和寻找“大”步长。

段光滑性： 本文引入了“局部段光滑性”的概念，假设目标函数 $f$ 是连续可微的，且其梯度仅在迭代点 $w$ 与 $w - \eta \nabla f(w)$ 之间的反梯度方向上满足 Lipschitz（或 Hölder）连续。
等式线搜索（Equality Line Search）： 为了找到满足“大”步长定义（具体而言，即满足 $\eta_k \geq 1/l(w_k, \eta_k)$ 且偶尔超过 $2/l(w_k, \eta_k)$ 的步长 $\eta_k$ ）的算法，作者设计了一种新的等式线搜索算法。该方法结合了回溯（backtracking）和外推（extrapolation）步骤。如果标准非单调线搜索条件最初得到满足，则将步长倍增；如果不满足，则将步长减半。该过程持续进行，直到条件满足为等式，从而逼近允许的极大步长。
理论保证： 作者证明了该方法产生的步长是“感知 Lipschitz 性”和“感知 Hölder 性”的。至关重要的是，他们证明了随着梯度在驻点附近趋于零，步长被下界约束为锐度（Hessian 矩阵的最大特征值）的倒数，这使得该方法在无需显式计算 Hessian 的情况下，实际上实现了“感知锐度”。
避免平坦陷阱： 作者识别出一种现象，即带有大步长的 GD 可能会陷入全局平坦区域（鞍点），在这些区域，锐度达到全局最小值 $2/K$ （其中 $K$ 为类别数）。为了缓解这一问题，他们提出了 NLS-ub，这是一种将步长限制在 $K$ 以下的变体，强制优化器遍历略微更陡峭的谷底。

核心贡献

统一定义： 为“大”步长提供了一个正式定义，该定义仅依赖于局部段光滑性，即可确保在非全局光滑函数下的 GD 收敛。
一阶感知锐度： 一种算法（等式线搜索），能够证明其产生的步长从第一次迭代开始就能运行在稳定性边缘（EoS），且无需二阶信息。
刻画全局平坦区域： 识别了特定锐度达到全局最小值 $2/K$ 的鞍点。作者展示了过早遇到这些点会导致“不成功平坦化”运行，即网络无法学习到有意义的特征，导致收敛效果差且泛化能力弱。
自稳定机制： 一种实用的策略（NLS-ub），通过将步长限制在类别数 $K$ 以下，成功地将“不成功平坦化”的运行转化为“成功平坦化”的运行，从而实现更低的训练损失和更高的测试准确率。

实验结果

作者在多种架构（MLP, CNN, ResNet, VGG, DenseNet, Vision Transformers）和数据集（CIFAR10/100, SVHN, EMNIST）上，使用均方误差（MSE）和交叉熵损失对方法进行了评估。

稳定性边缘： 提出的等式线搜索（NLS）及其确定性变体（PoNLS）始终运行在 EoS 状态，其步长与锐度的乘积在整个训练过程中保持在 2 以上。
全局平坦现象： 在若干实验中（例如 ResNet 在 SVHN 上的表现），NLS 在训练极早期就驱动锐度精确达到了 $2/K$ 。在这些情况下，训练损失停滞在随机猜测的水平，且隐藏层的梯度范数坍缩至接近零，表明优化器已到达一个鞍点。
成功 vs 失败： 那些避免了触及精确 $2/K$ 最小值的运行被标记为“成功平坦化”。这些运行实现了显著更好的训练损失和测试准确率。
NLS-ub 的有效性： 通过将步长限制在 $K$ 以下，NLS-ub 防止了优化器进入全局平坦的鞍区。这种修改相比标准 NLS 以及 SAM 和 CDAT 等基准方法，一致地提升了收敛速度和测试准确率。
损失函数的敏感性： 触及全局锐度最小值的现象在 MSE 损失（其中最小值为 $2/K$ ）中被观察到。在使用交叉熵损失时，锐度最小值为 0，当锐度趋于 0 时也观察到了类似的“卡住”行为，尽管其动力学过程略有不同。

意义与主张

本文声称为“如何选择最大的可能学习率同时确保 GD 收敛”这一开放性问题提供了具体的答案。它挑战了“越平坦的极小值越好”的普遍直觉。作者证明，寻找全局平坦区域（锐度的全局最小值）对于收敛速度或泛化能力并非有利之举；事实上，这可能是有害的，会导致网络在鞍点处停滞。

其意义在于：

使大步长具备可操作性： 提供了一种实用的、一阶的方法，能够自动选择运行在稳定性边缘的步长，从而在无需手动调优的情况下加速训练。
重构平坦性概念： 表明追求绝对平坦的极小值可能是一个陷阱；相反，略微更陡峭的谷底（避开 $2/K$ 或 0 的锐度底线）能带来更优越的性能。
理论基础： 在局部段光滑性（一种比深度学习中经常违反的全局 $L$ -光滑性更弱的假设）下，建立了 GD 的收敛保证。

作者对研究范围保持了谦逊的态度，指出虽然其方法在全批量 GD 和初步随机实验中表现良好，但在此特定假设下随机梯度下降（SGD）的理论收敛性仍需进一步研究。他们也承认，导致 GD 如此高效地进入这些全局平坦区域的机制尚未被完全理解，可能与“神经坍缩”（neural collapse）现象有关。