🤖 machine learning

Dynamics of Gradient Descent with Large Step Size Near a Manifold of Flat Minima

本文将大步长梯度下降理论从孤立的平坦极小值扩展到了具有向量值输出的过参数化最小二乘问题中的平坦极小值流形，建立了广义正规型并给出了收敛结果，从而揭示了深度矩阵分解中平坦极小值的纤维丛结构。

原作者： Lachlan Ewen MacDonald, René Vidal

发布于 2026-07-10

📖 1 分钟阅读☕ 轻松阅读

原作者： Lachlan Ewen MacDonald, René Vidal

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图在一个广袤且雾气缭绕的景观中寻找最低点。这个景观代表了深度神经网络的“损失”（loss）——即计算机出错程度的一种衡量。你的目标是到达最底部。

长期以来，计算机科学家认为实现这一目标的最佳方式是采取细小、谨慎的下坡步。他们认为，如果步子迈得太大，你就会越过底部，弹跳回来，并最终飞向天空（发散）。他们有一条严格的规则：你的步长必须小于由谷底“尖锐度”决定的特定极限。如果底部是一个针尖（尖锐），你就必须采取微观级的步长。如果是一个宽阔平坦的碗状，你可以采取稍大的步长。

但剧情发生了转折：在现实世界的 AI 训练中，人们开始采取巨大的步长。结果不仅没有崩溃，AI 反而变得更聪明、更快，而且令人惊讶的是，它似乎更倾向于落在那些宽阔平坦的碗状区域，而不是尖锐的针尖处。这种行为成了一个谜。这就像是在观察一名滑雪者进行了一次巨大的跳跃，却完美地降落在了一个柔软的雪堆中，并顺势滑行停止，完全无视了那些说他一定会摔倒的物理教科书。

这篇论文就是那组终于查明了为什么滑雪者没有摔倒，以及他们究竟是如何着陆的侦探团队。

重大发现：“翻转”与“滑动”

作者 Lachlan MacDonald 和 René Vidal 将旧有的简单理论进行了升级，使其能够处理现代 AI 那种混乱的高维现实。他们发现，当你采取大步时，AI 并不仅仅是在随机游走。它实际上将自己的行为分成了两种截然不同的模式，就像一辆既可以向前行驶也可以原地旋转的汽车。

1. “翻转”（蹦跳球）：
想象 AI 正在蹦蹦床上下跳动。如果步长恰到好处，AI 会以一种非常特定的节奏上下跳动。它不会立即停止跳动；相反，它会稳定在一个重复的、往复运动的模式中。论文证明，如果步长稍微大一点（但不是太大），AI 会在平坦的底部上方形成一个完美的、可预测的循环轨道进行振荡。这不是错误，而是一种特性。

2. “滑动”（河流）：
在 AI 进行上下跳动（翻转）的同时，它也在平坦的谷底侧向缓慢滑动。作者展示了 AI 本质上是在这个平坦表面上执行一种特殊的“黎曼梯度下降”（Riemannian gradient descent）。想象一下，就像一条河流沿着平坦的平原流动。河流并不在意沙滩上的微小起伏；它只是平滑地流向景观中最平坦、最稳定的部分。

“平坦”的形状

这篇论文最令人兴奋的部分之一，是他们如何描述这些“平坦极小值”（即宽阔、安全的谷底）。先前的理论将这些平坦点视为孤立的岛屿。但作者展示了，在像矩阵分解（matrix factorization，一种关键的深度学习技术）这样的复杂问题中，这些平坦点并非仅仅是单个点。它们实际上是一个球面积上的纤维丛（fibre bundle over a product of spheres）。

让我们把这翻译成白话：想象平坦的谷底不是一个单一的房间，而是一个巨大的、多层结构的建筑。这个结构的基础是一组球面（类似于球的表面）。在这些球面的每一个点之上，都有一个完整的“纤维”或一间小房间，里面存放着解。AI 不仅仅是找到一个解；它找到的是一整套连接的、平滑的、同样优秀的解的家族。论文证明，随着你在这种结构中移动，“尖锐度”（即两侧有多陡峭）会平滑地变化，表现出一种被称为“Morse-Bott”的高度有序的行为。

他们证明了什么 vs. 他们模拟了什么

作者不仅仅是在猜测；他们建立了一个严密的数学框架来证明这一点。

理论部分： 他们证明了对于广泛的步长，AI 的行为会分裂为三种截然不同的状态：
- 亚临界（安全但缓慢）： 如果步长足够小，AI 会呈指数级快速收敛到一个“次优平坦”的极小值。这是安全的，但也许不是绝对最平坦的点。
- 临界（甜点区）： 如果步长达到特定阈值（恰好为 $2/\lambda_1$ ，其中 $\lambda_1$ 是尖锐度），AI 会以 $t^{-1/2}$ 的速率收敛到平坦极小值。这是一个经过证明的特定数学速率。他们通过矩阵分解的模拟展示了这一现象。
- 超临界（舞蹈）： 如果步长略大于该阈值，AI 就不会停在底部。相反，它会收敛到一个周期-2 轨道（period-2 orbit）。这意味着它会稳定在一个由两个点组成的循环中，在两点之间往复振荡。论文证明了这个循环的存在性及其稳定性。
模拟部分： 为了支持他们的数学推导，他们在矩阵分解问题（具体为 3 层， $2 \times 2$ 矩阵分解）上进行了实验。在这些模拟中，他们观察了 AI 采取大步长的过程。图表准确地展示了数学预测的结果：AI 先是跳动，然后进入 $t^{-1/2}$ 的滑动阶段，或者锁定在周期-2 的舞蹈中。

他们明确排除了什么

了解这篇论文没有在说什么非常重要。

它不是随机混沌： 论文明确排除了在大步长导致这些特定状态下产生随机、不可预测行为的观点。这种振荡是一种有结构的、稳定的周期-2 轨道，而不是混乱的杂乱无章。
它不仅仅关于单个点： 论文反对认为平坦极小值是孤立点的观点。他们证明了在这些系统中，极小值构成了一个连续、平滑的流形（一个连接的曲面），而不是零散的点集。
它不是全局保证： 作者谨慎地指出，他们的证明是局部的。他们证明了在靠近平坦极小值时会发生什么。他们并未声称解决了 AI 如何从远离目标的随机起点出发并找到平坦极小值的整个过程（即“渐进锐化”阶段）。他们只解释了当 AI 已经处于平坦区域附近时会发生什么。

“稳定性边缘”

论文将此与“稳定性边缘”（Edge of Stability）这一现象联系起来。在这个状态下，AI 在崩溃的边缘徘徊，却并未坠落。作者表明，这并不是一个 Bug；这是一个特定的动力学状态，其中 AI 隐式地对“尖锐度”本身进行“黎曼梯度下降”。这就像是 AI 利用跳动来感知地形，并沿着最平坦的部分滑动。

核心结论

这篇论文将一个复杂的高维问题转化为了清晰的地图。它表明，当我们进行 AI 训练时采取大步长，我们并不是在盲目猜测。我们是在参与一场复杂的舞蹈，AI 在一个平滑、连接的完美解曲面上，一边保持着稳定的节奏跳动，一边进行着侧向滑动。

他们证明了对于矩阵分解，这个曲面是一个美丽的几何结构（球面上的纤维丛），并且证明了 AI 在这个曲面上的运动遵循严格、可预测的法则。虽然他们还没有解决深度学习的全部奥秘（比如如何从起点走到终点），但他们提供了第一个严密的数学解释，说明了为什么一旦接近解，采取巨大的步长会如此有效。

简而言之：AI 不是在崩溃，它是在跳舞。而有了这篇论文，我们终于拿到了谱曲。

技术摘要：大步长梯度下降在平坦极小值流形附近的动力学特性

问题陈述

经典的梯度下降（GD）收敛理论依赖于稳定性条件 $\eta < 2/\lambda_1(x)$ ，其中 $\eta$ 是步长， $\lambda_1(x)$ 是目标函数 Hessian 矩阵的最大特征值（锐度）。在深度学习中，这一条件经常被违反；然而，使用大步长的 GD 往往能够收敛，并表现出诸如“稳定性边缘”（edge of stability）动力学以及对“平坦极小值”（具有较小锐度的极小值）的隐式偏好等现象。

MacDonald 等人 [39] 的前序工作为余维数为 1（单标量输出）且靠近孤立平坦极小值的最小二乘问题提供了严谨的动力系统分析。然而，这种设定在实际应用中具有局限性，未能涵盖：

高余维问题： 具有向量值输出和任意观测数量的过参数化回归问题。
极小值流形： 许多深度学习问题（如矩阵分解）拥有连续的平坦极小值流形，而非孤立点。

本文将 [39] 的理论扩展到这些更广泛的设定中，解决了高维分叉以及沿流形产生的奇异偏微分方程（PDE）带来的技术挑战。

研究方法

1. 几何框架与假设

作者考虑过参数化的最小二乘目标函数 $\ell(w) = \frac{1}{2}\|\tau - f(w)\|^2$ ，其中 $f: \mathbb{R}^p \to \mathbb{R}^q$ ( $p > q$ )。他们建立了一套几何假设层级，以确保正规型的存在：

假设 3.1： 目标值 $\tau$ 是一个正则值，确保解集 $M = f^{-1}(\tau)$ 是一个光滑子流形。
假设 3.3： Hessian 矩阵的最大特征值 $\lambda_1$ 在非空开集上是单特征值（与 $\lambda_2$ 区别明显），从而允许定义良好的顶特征向量场 $\nu_1$ 。
假设 3.4： 存在一个由 $\lambda_1$ 构成的局部极小值子流形 $F \subset M$ ，其中 $\lambda_1$ 是 Morse-Bott 的（在 $M$ 内正交于 $F$ 的方向上强凸）。
假设 3.5： 关于由 $\ell$ 的高阶导数导出的系数 $\alpha_\eta$ 的正则性条件，确保了求解正规型所需的奇异 PDE 的可解性。

2. 正规型推导

核心技术贡献是推导了 GD 在流形 $F$ 附近的正规型（normal form）。作者执行了一系列坐标变换：

管状坐标（Tubular Coordinates）： 将 $M$ 的邻域映射到 $M \times \mathbb{R}^q$ 。
中心流形归约（Center Manifold Reduction）： 使用中心流形定理，将 $q$ 维正交动力学简化为对应于顶特征方向 $\nu_1$ 的 1 维系统。
求解奇异 PDE： 一个关键步骤涉及求解形式为 $Xu = \alpha u + \beta$ 的 PDE，其中向量场 $X$ 在流形 $F$ 处消失。与 [39] 中的孤立点情况不同，这里的奇异性是沿流形存在的。作者开发了涉及对数展开和不变叶状结构（invariant foliations）的新颖技术，以证明存在 $C^1$ 解，从而修正了 [39] 中关于流形坐标与正交动力学之间耦合关系的错误证明。
强稳定叶状结构（Strong-Stable Foliation）： 将收缩方向与中心流形上的动力学解耦。

最终的正规型将 GD 动力学分解为：

切于 $M$ 的方向 ( $x$ )： 沿着 $M$ 沿着锐度 $\lambda_1$ 进行的黎曼梯度下降（RGD），其步长受正交距离平方 $y_1^2$ 控制。
顶正交方向 ( $y_1$ )： 一个翻转分叉（flip bifurcation）动力学（类似于周期倍增分叉），由 $(1 - \eta\lambda_1)y_1 + y_1^3$ 控制。
其他正交方向 ( $y_{2:q}$ )： 指数收缩的稳定方向。

3. 案例研究：深度矩阵分解

作者验证了深度矩阵分解符合该框架。他们证明了平坦极小值集合 $F$ 是球面乘积之上的光滑纤维丛。此外，他们证明了锐度 $\lambda_1$ 沿该流形是 Morse-Bott 的，满足必要的几何假设。

核心贡献与结果

1. 广义正规型

本文建立了在任意余维数下，在大步长 GD 靠近平坦极小值流形邻域时的正规型。这通过将 [39] 从孤立极小值的余维 1 情况推广到了连续流形的任意维度情况，实现了对 [39] 结果的泛化。

2. 收敛定理

作者根据步长 $\eta$ 相对于稳定性阈值 $2/\lambda_1|_F$ 的关系，证明了三种收敛机制：

亚临界机制 ( $\eta < 2/\lambda_1|_F$ )：
经过初始瞬态后，迭代向一个次优平坦的全局极小值指数级收敛。随着迭代接近流形，步长呈指数级衰减。
临界机制 ( $\eta = 2/\lambda_1|_F$ )：
迭代以 $\Theta(t^{-1/2})$ 的速率非单调地收敛到平坦极小值流形 $F$ $F$ 中的一点。
- 注：针对一般情况的证明依赖于一个关于正规抛物型动力系统存在稳定叶状结构的猜想（猜想 D.7），类似于正规双曲流形的强稳定叶状结构定理。如果 $\lambda_1$ 的 Hessian 在 $F$ 处是单位矩阵的标量倍数，或者该猜想成立，则该结果可以得到严格证明。
超临界机制 ( $\eta > 2/\lambda_1|_F$ )：
迭代沿顶特征向量场 $\nu_1|_F$ 的张成空间指数级收敛至一个稳定的周期-2 轨道。这种振荡的幅度随 $\Theta(\sqrt{\eta\lambda_1|_F - 2})$ 缩放。

3. 矩阵分解的结构性结果

对于深度矩阵分解，本文提供了新的结构性见解：

平坦极小值流形 $F$ 是球面乘积之上的纤维丛。
锐度 $\lambda_1$ 沿 $F$ 是 Morse-Bott 的。
限制在 $F$ 的法丛上的 $\lambda_1$ 的 Hessian 特征值是严格正的，并具有特定的下界（例如，对于 $L=2$ ，下界为 $4\sigma_1/(\sigma_1 - \sigma_{d_L})$ ）。

4. 数值验证

作者通过 3 层、 $2 \times 2$ 矩阵分解问题的数值实验验证了理论预测。实验证实了：

亚临界机制下的指数收敛。
临界机制下的 $t^{-1/2}$ 收敛。
超临界机制下向周期-2 循环的指数收敛。

意义与主张

本文声称填补了深度学习优化理论中的一个重要空白：

超越余维 1： 它将大步长 GD 的理论从不切实际的“单数据”设定转向了具有向量输出的一般过参数化回归。
极小值流形： 它处理了深度学习损失景观通常包含极小值流形的现实，展示了“稳定性边缘”动力学在这些高维、连续设定中依然存在。
技术新颖性： 沿流形求解奇异 PDE 以及修正 [39] 中关于坐标耦合的证明，被视为对动力系统理论具有价值的独立技术贡献。
隐式偏好： 结果严格形式化了观察到的现象，即大步长 GD 隐式地在解流形上执行关于锐度的黎曼梯度下降，为向平坦极小值的偏好提供了机械论解释。

作者对临界机制保持谨慎，明确指出针对一般情况的收敛证明依赖于一个关于抛物型叶状结构的猜想，该猜想超出了本文的研究范围，但基于与双曲系统的类比，被认为是合理的。他们还指出，其结果是局部的（在平坦极小值流形附近），尚未解释训练过程中观察到的全局“渐进锐化”阶段。