A Bifurcation Theory Framework for Gradient Descent on the Edge of Stability

技术摘要：针对稳定性边缘梯度下降的分叉理论框架

问题陈述
“稳定性边缘”（Edge of Stability, EoS）是现代深度学习中一个普遍存在的现象，即梯度下降（GD）在学习率 $\eta$ 与损失锐度 $\lambda$（Hessian 矩阵的最大特征值）满足 $\eta\lambda > 2$ 的条件下运行。经典收敛理论指出，当 $\eta\lambda \geq 2$ 时，梯度下降会发散；然而在实践中，在此类条件下的模型往往表现出非单调的损失演化，却能可靠地收敛。虽然先前的严谨分析已在极简、低维设置（例如标量损失或特定结构函数）中解释了 EoS，但这些分析无法捕捉现实中过度参数化神经网络的几何特性。具体而言，现有的框架未能充分解决全局极小值点存在连续流形这一特征，而这是过度参数化系统的一个重要特征，其 Hessian 矩阵是秩亏损的。

方法论
本文开发了一个专门针对过度参数化神经网络几何结构的分叉理论框架。其核心方法论创新是将训练动力学分解为相对于极小值流形 $\mathcal{M}$ 的两个正交分量：

1. 法向动力学（Normal Dynamics）： 垂直于极小值流形方向的行为。
2. 切向动力学（Tangent Dynamics）： 沿极小值流形方向的行为。

作者将梯度下降更新建模为一个离散动力系统 $x_{t+1} = f(x_t)$。在 EoS 阈值处（$\eta\lambda_{\max} = 2$），该系统的雅可比矩阵具有一个临界特征值 $\lambda = -1$。作者应用分叉理论，特别是通过分析翻转分叉（flip bifurcations，即周期倍增分叉）来表征系统的稳定性。

方法论的关键步骤包括：

• 中心流形归约（Center Manifold Reduction）： 利用中心流形定理将高维动力学简化为临界点附近的低维不变流形。
• 李雅普诺夫系数分析（Lyapunov Coefficient Analysis）： 计算第一李雅普诺夫系数（$c_1$）以确定分叉的稳定性。正的 $c_1$ 表示发生了超临界翻转分叉，从而导致稳定的周期-2 振荡而非发散。
• 解耦（Decoupling）： 推导法向分量与切向分量的显式动力学方程。研究表明，法向分量通过受 $c_1$ 控制的周期-2 振荡实现稳定，而切向分量则表现为向着锐度降低的区域漂移。

主要贡献

1. 面向过度参数化网络的通用框架： 本文通过明确考虑极小值流形，将 EoS 分析从标量或低维损失扩展到了通用的过度参数化网络。
2. 动力学分解： 作者提供了 EoS 动力学的严谨分解，展示了收敛是如何源于法向稳定振荡与切向漂移之间的相互作用。
3. 阈值处的收敛证明： 在温和的谱性质和几何假设（特别是谱间隙和 Morse-Bott 条件）下，本文证明了当初始化靠近 EoS 阈值（$\eta = 2/\lambda_{\max}$）时，梯度下降会收敛至极小值流形。
4. 统一前人工作： 该框架表明，Gan (2026) 为形式为 $L(x,y) = f(xy)$ 的损失函数提出的“乘积稳定性”条件，是该通用分叉框架的一个特例。作者证明了在这一特定设置下，乘积稳定性条件与第一李雅普诺夫系数的符号直接相关。

结果

• 稳定性机制： 本文确立了 EoS 阈值处的稳定训练受第一李雅普诺夫系数（$c_1$）符号的控制。当 $c_1 > 0$ 时，系统发生超临界翻转分叉，在法向方向上产生一个稳定的周期-2 轨道，从而防止了发散。
• 漂移动力学： 在切向方向，迭代点沿着极小值流形向着锐度降低的方向漂移。这种漂移确保了系统最终移动到锐度低于 EoS 阈值的区域，从而促进向流形上特定点的收敛。
• 定理 4.4： 主要理论结果指出，若 $c_1(x^*) > 0$ 且锐度沿切空间的梯度不为零，则学习率 $\eta = 2/\lambda_{\max}(x^*)$ 的梯度下降会收敛至流形 $\mathcal{M}$ 上的一个点。
• 说明性示例： 本文通过将框架应用于损失函数 $L(x,y) = f(xy)$来验证其有效性。结果显示，对于$L$ 的第一李雅普诺夫系数的符号与 Gan (2026) 定义的乘积稳定性参数 $\alpha_f$ 的符号一致，从而实现了标量分析与通用流形框架的统一。

意义与主张
本文声称提供了第一个严谨的理论框架，专门解释了具有极小值流形的过度参数化神经网络在稳定性边缘的稳定梯度下降收敛问题。通过将分析重点从经典的下降引理（要求 $\eta < 2/\lambda_{\max}$）转向分叉理论，这项工作解释了为何在 $\eta = 2/\lambda_{\max}$ 处仍能实现收敛。

作者将其工作定位为对先前极简分析（如 Gan, 2026; Zhu et al., 2023; 以及 Wang et al., 2023）在通用几何与动力系统视角下的统一。作者指出，尽管经验证据表明实际模型通常满足 $c_1 > 0$ 这一条件，但从第一性原理出发解释“为何”会成立仍然是一个开放性问题。同样，驱动迭代进入 EoS 区域的初始“渐进锐化”（progressive sharpening）机制也被确定为该现象中尚未解决的环节。