Towards Understanding Gradient Flow Dynamics of Homogeneous Neural Networks Beyond the Origin

技术摘要：迈向理解超越原点的齐次神经网络梯度流动力学

问题陈述
通过基于梯度的算法进行训练的现代深度神经网络，尽管存在过参数化现象，却表现出极强的泛化能力，这一现象归因于训练算法诱导的隐式正则化。虽然在神经网络切向核（NTK）机制（大初始化）以及训练后期阶段，关于训练动力学的研究已取得了显著进展，但“小初始化”机制下的情况仍不为人所熟知。在此机制下，网络处于特征学习模式，但权重的极强非线性演化给解析分析带来了挑战。

前人的工作（例如 Maennel 等人，2108；Kumar 和 Haupt，2024，2025）已经确定，对于具有小初始化的齐次神经网络，权重在很长一段时间内会保持在原点附近。在此阶段，权重在方向上收敛于神经相关函数（NCF）的一个 Karush-Kuhn-Tucker (KKT) 点，这种现象被称为“早期方向收敛”。此外，这些早期的 KKT 点通常具有稀疏性。然而，权重在逃离原点之后的梯度流行为，以及在这一过渡过程中新兴稀疏结构的保持情况，尚未得到充分表征。本文通过分析齐次神经网络在紧接其逃离原点直到遇到第一个鞍点期间的梯度流动力学，来填补这一空白。

方法论与设置
本文研究了 $L$-正齐次（$L \ge 2$）的齐次神经网络 $H(x; w)$，即满足 $H(x; cw) = c^L H(x; w)$（其中 $c \ge 0$）。分析假设网络具有局部 Lipschitz 梯度，这包括深层线性网络和具有多项式 ReLU 激活（$p \ge 2$）的网络，但明确排除了标准 ReLU 网络（$p=1$），因为后者在原点处不可微，尽管实验结果表明其可能具有扩展性。

训练目标是通过梯度流最小化损失函数 $\mathcal{L}(w)$：
$$\dot{w} = -\nabla \mathcal{L}(w)$$
作者基于神经相关函数（NCF）的概念构建了研究框架，该函数定义为 $N(u) = \bar{e}_y^\top H(X; u)$，其中 $\bar{e}_y = -\ell'(0, y)$。作者对单位球面上的 $N(u)$ 进行约束优化分析。

核心方法论包括：

1. 极限轨迹构建：定义一个极限解 $p(t)$，代表权重在逃离原点后的路径。这是通过将 $\psi(t, \delta w_0)$（其中 $\delta$ 为初始化规模）按依赖于 $\ln(1/\delta)$ 的项进行时间平移，并取 $\delta \to 0$ 的极限来实现的。
2. 稳定性分析：利用约束 NCF 的 $\Delta$-二阶正 KKT 点的性质。作者假设初始权重方向位于此类 KKT 点的稳定集内。
3. 零保持子集：引入“零保持子集”的概念——即在初始化为零的情况下，在整个梯度流训练过程中始终保持为零的权重。这被用于分析稀疏性的保持。

主要贡献与结果

1. 逃离后的梯度流动力学（定理 4 和 10）
本文确立了对于足够小的初始化，梯度流在逃离原点后的轨迹会紧密遵循特定的极限路径 $p(t)$，无论具体的初始化规模 $\delta$ 如何，前提是初始方向与 NCF 的一个稳定二阶正 KKT 点的方向一致。

• 二齐次网络 ($L=2$)：定理 4 表明，经过 $O(\ln(1/\delta))$ 的时间缩放后，轨迹 $\psi(t, \delta w_0)$ 收敛至 $p(t)$，误差界为 $O(\delta^{\frac{\Delta}{\Delta + 8N(w^*)}})$。
• 深层齐次网络 ($L > 2$)：定理 10 将此扩展到 $L$-齐次网络。逃离时间缩放为 $O(\delta^{-(L-2)})$，且轨迹同样以特定的误差界收敛至极限路径 $p(t)$。
• 启示：梯度流在逃离原点后的行为主要由权重在原点附近时所趋近的 NCF KKT 点所决定。

2. 第一个鞍点的表征（推论 5, 6, 11, 12）
作者证明了极限轨迹 $p(t)$ 会收敛至训练损失的一个驻点（鞍点）。因此，对于足够小的初始化，实际的梯度流轨迹 $\psi(t, \delta w_0)$ 在逃离原点后会趋向于同一个鞍点。

• 文中区分了鞍点是有限的（有界轨迹）以及鞍点在无穷远处的不同情况（无界轨迹，常见于 Logistic 损失）。
• 结果表明，梯度流遵循“从鞍点到鞍点”的轨迹，具体表征了原点之后遇到的第一个鞍点。

3. 前馈网络中的稀疏性保持（第 4 节和定理 18）
一个关键贡献是证明了在“近原点”阶段涌现的稀疏结构在逃离原点直至遇到第一个鞍点期间得以保持。

• 零保持子集：作者证明了对于前馈齐次网络，对应于 NCF KKT 点中零量级条目的权重矩阵的行和列构成了一个“零保持子集”。如果这些权重在初始化时为零，则在整个梯度流训练过程中将保持为零。
• 稀疏性保持：由于具有小初始化的梯度流在方向上收敛于具有特定稀疏性（即某些权重为零）的 KFT 点，而这些零权重构成了一个零保持子集，因此该稀疏结构在网络逃离原点并趋向第一个鞍点时得以维持。
• 定理 18：形式化地说明了对于 $L=2$ 和 $L>2$ 的网络，零保持子集中的权重量级即使在逃离时间之后也保持在极小水平（$O(\delta^{\text{exponent}})$），从而有效地保持了稀疏模式。

实验验证
本文使用平方激活函数 ($L=2$) 和多项式 ReLU 激活进行了数值实验（图 1, 4, 5, 6）。

• 平方激活：实验证实权重在逃离原点之前变得稀疏，并且这种稀疏性在下一个鞍点处得到了保持。
• ReLU 激活：尽管理论框架排除了标准 ReLU ($L=1$)，但对 ReLU 网络进行的实验显示，虽然权重并未实现完全稀疏（非零条目比多项式情况下更多），但其相对稀疏结构（即小权重保持较小值）得到了保持。这表明，尽管在原点处缺乏局部 Lipschitz 梯度，本文的发现可能在经验层面可以推广到 ReLU 网络。

意义与主张
本文声称提供了一个对特定训练动力学片段的严谨表征：即从“近原点”阶段到第一个鞍点的过渡。

• 隐式正则化机制：它将小初始化机制下观察到的隐式正则化与 NCF 的几何性质以及网络所趋近的特定 KKT 点联系起来。
• 稀疏性的稳定性：它为为何在训练早期观察到的稀疏模式会持续存在提供了理论解释，将其归因于前馈架构中特定权重子集的“零保持”特性。
• 局限性：作者明确说明了其研究范围的适度性。其结果仅限于：
  1. 具有局部 Lipschitz 梯度的齐次网络（排除标准 ReLU）。
  2. 动力学仅涵盖到逃离原点后遇到的第一个鞍点。超出此点的行为（例如，从鞍点逃离至全局最小值）未被涵盖，并被确定为未来的研究方向。
  3. 假设初始方向位于二阶正 KKT 点的稳定集内。

综上所述，本文弥合了早期阶段的方向收敛与随后的训练阶段之间的鸿沟，证明了在原点附近建立的结构属性（特别是稀疏性）决定了网络在开始学习特征并趋向第一个鞍点时的轨迹和稳定性。