技术摘要：边缘流 (Edge Flow)

问题陈述

深度学习中的梯度下降 (GD) 经常运行在一种被称为稳定性边缘 (Edge of Stability, EoS) 的机制中。在这种机制下，损失函数海森矩阵的最大特征值（即锐度，$S(w_t)$）会围绕着稳定性阈值 $2/\eta$ 波动，其中 $\eta$ 是学习率。虽然训练损失通常会下降，但迭代过程会表现出准周期性的振荡，且锐度通过一种自我调节机制趋于稳定，而非发散。

经典的连续时间分析工具，如梯度流 ($\dot{w} = -\nabla L(w)$) 和下降引理 (descent lemma)，在这一机制中失效，因为它们无法感知学习率，也无法捕捉依赖于 $\eta \cdot S(w)$ 比例的现象。现有的 EoS 连续时间模型存在局限性：

• 中心流 (Central Flow, Cohen et al., 2025)： 通过投影梯度流来模拟振荡中心。虽然它能实现稳定，但其投影约束使得该系统难以进行模拟和理论分析。
• 杆流 (Rod Flow, Regis and Chewi, 2026)： 将迭代视为刚性杆的端点。虽然在概念上具有吸引力，但其对振荡幅度的更新规则未能捕捉到 EoS 发生初期时的自我稳定动力学。

本文解决的核心开放性问题是：是否存在一种易于处理、忠实且具有预测能力的连续时间模型，能够描述 EoS 状态下的 GD 动力学？

方法论：边缘流 (Edge Flow)

作者提出了 边缘流 (Edge Flow)，这是一个由三个耦合常微分方程 (ODE) 组成的系统，它将 GD 动力学分解为三个缓慢变化的量：

1. 中心 ($\bar{w}_t$)： 振荡过程中缓慢漂移的中点。
2. 振荡方向 ($u_t$)： 追踪海森矩阵最大特征向量的单位向量。
3. 振荡幅度 ($x_t$)： 振荡的一半长度。

GD 迭代被建模为 $w_t \approx \bar{w}_t + (-1)^t x_t u_t$。边缘流系统定义如下：

1. 中心动力学：
   $$\frac{d\bar{w}_t}{dt} = -\frac{1}{2} \left( \nabla L(\bar{w}_t + x_t u_t) + \nabla L(\bar{w}_t - x_t u_t) \right)$$
   这代表了在对称化损失函数（两个端点梯度的平均值）上的梯度流。它与标准梯度流的不同之处在于包含了一个关于 $x_t$ 二次项的三阶导数修正项，该项会引导中心向低曲率区域偏移。

2. 方向动力学：
   $$\frac{du_t}{dt} = 2 \left( \nabla^2 L(\bar{w}_t) - (u_t^\top \nabla^2 L(\bar{w}_t) u_t) I \right) u_t$$
   这是在单位球面上的瑞利商梯度流 (Rayleigh quotient gradient flow)。它驱动 $u_t$ 向 $\bar{w}_t$ 处的海森矩阵最大特征向量靠拢，类似于幂迭代的连续时间极限。

3. 幅度动力学：
   $$\frac{dx_t}{dt} = \left( S(\bar{w}_t) - \frac{2}{\eta} \right) x_t$$
   这个标量线性 ODE 控制振荡幅度的增长或衰减。如果锐度 $S(\bar{w}_t) > 2/\eta$，则 $x_t$ 指数级增长；如果 $S(\bar{w}_t) < 2/\eta$，则 $x_t$ 衰减。

离散化：边缘梯度下降 (Edge Gradient Descent, EGD)

作者提出了一种自然的离散化方法，称为 边缘梯度下降 (EGD)。每次迭代需要：

• 两次梯度计算：$\nabla L(\bar{w}_k \pm x_k u_k)$。
• 一次海森矩阵-向量乘积：$\nabla^2 L(\bar{w}_k) u_k$。
• 无需特征值分解或优化子程序。

该算法使用两个不同的步长：$\eta$（原始学习率，定义了锐度阈值）和 $\rho$（ODE 的积分步长，其中 $\rho \le \eta$）。

核心贡献

1. 一个简单、易处理的模型： 边缘流是从第一原理和对 GD 在 EoS 结构的基本观察中推导出来的。它是一个由三个耦合 ODE 组成的系统，易于模拟和分析。
2. 涌现的自我稳定机制： 不同于以往通过施加约束来强制稳定的模型，边缘流将自我稳定机制（由 Damian 等人于 2023 年提出）作为耦合动力学的自然结果进行重现。当锐度超过阈值时，振荡幅度增加，通过对称化梯度将中心推向更低曲率的区域，进而降低锐度。
3. 忠实的追踪与预测： 在实验中，边缘流能够追踪各种架构（MLP, CNN, ResNet, ViT）和损失函数下的全批量 GD 轨迹、损失和锐度。至关重要的是，它解决了中心流在 EoS 发生初期由于瞬时投影而无法捕捉到的过冲 (overshoot) 和阻尼振荡现象。
4. 对不稳定性的洞察： 该模型识别出 EoS 初期损失尖峰（loss spikes）的来源是中心动力学刚性（stiff）导致的离散化伪影。它提出了两种有原则的补救措施：
   • 细化离散化： 使用更小的积分步长 $\rho$（更大的 $K = \eta/\rho$）可以抑制损失尖峰。
   • 增加基础振荡： 注入微小的初始幅度 $\epsilon$ 可以加速自我稳定反馈循环，减少过冲。

结果

• 追踪性能： 在 CIFAR-10 子集上的实验表明，边缘流能匹配 GD 和中心流的整体动力学。然而，边缘流能独特地重现锐度的瞬态振荡行为以及在 EoS 发生时观察到的特定“振铃 (ringing)”现象（图 4）。
• 损失预测： 该模型能准确预测训练损失轨迹，包括特征性的尖峰。
• 稳定机制： 耦合动力学成功展示了系统如何在没有显式投影约束的情况下，自然地稳定在 $2/\eta$ 阈值附近。
• 离散化效应： 实验表明，增加离散化分辨率 ($K$) 可以消除损失尖峰而不改变自我稳定机制，这证实了尖峰是数值伪影而非 EoS 现象本身的内在属性。

意义与主张

本文声称边缘流提供了一个原则性的框架，用于理解和缓解大步长下的不稳定性。通过将动力学分解为中心、方向和幅度，它提供了一个相对于复杂的投影流或刚性杆模型的易于处理的替代方案。

作者强调，边缘流是忠实的（能够追踪包括瞬态在内的个体轨迹）、具有预测性的（可以提出如噪声注入或自适应步长等干预手段）且易于处理的（模拟成本低）。他们认为，该模型为以下方面开辟了现实路径：

• 为大学习率下的隐式正则化结果提供证明。
• 理解损失曲率、架构与泛化能力之间的相互作用。
• 设计专门针对 EoS 动力学刚性特征的高效离散化方案。

论文对其研究范围保持了谦逊的态度，指出其推导忽略了高阶耦合修正，并且关于严格误差分析以及向随机设置（SGD）和自适应方法的扩展仍是未来的研究方向。