Global Convergence and Error Propagation in Neural Gradient Flows: A Riemannian Optimization Framework

技术摘要：神经梯度流中的全局收敛性与误差传播

问题陈述
本文在**最小化运动方案（MMS）**框架内，探讨神经网络优化的全局收敛性。虽然 MMS 为无限维希尔伯特空间中的梯度流提供了稳健的变分时间离散化，但实际实现需要将搜索限制在有限维的神经网络模型类中。这一限制将凸的 MMS 子问题转化为参数空间中的高度非凸优化问题。核心挑战在于建立理论保证：尽管存在神经参数化的非凸性以及来自有限时间内部求解器和神经近似的误差累积，迭代求解的神经 MMS 步骤仍能全局收敛至底层能量泛函的最小值点。

方法论
作者通过重构神经 MMS 步骤，将其视为在希尔伯特空间 $H$ 中的局部增量集上的优化，而非在整个参数空间上的优化，从而建立了几何收敛理论。

1. 增量流形公式化：该方法不直接优化 $w \in \mathbb{R}^p$，而是优化函数空间中的增量 $h = u_{NN}(w) - u_{NN}(w_n)$。在 $C^2$ 正则性和雅可比矩阵 $D u_{NN}$ 局部非退化的假设下，可行增量集被证明构成了希尔伯特空间 $H$ 中的一个无边界光滑嵌入黎曼子流形 $\mathcal{M}$。
2. 黎曼梯度流等价性：本文证明，参数空间中的自然预条件梯度流（具体而言，使用预条件子 $(D u_{NN}^* D u_{NN})^{-1}$ 的高斯 - 牛顿型流）在流形 $\mathcal{M}$ 上精确诱导了增量目标的黎曼梯度流。这将二阶预条件与内在几何动力学联系起来。
3. 测地凸性分析：通过施加严格内部定位条件（确保解保持在局部坐标图的紧致子集内）以及一个显式的数据条件（关联步长、雅可比非退化性和能量景观），作者证明了子问题目标在到达的子水平集上是测地强凸的。这使得黎曼优化收敛理论得以应用。
4. 误差传播分析：该框架量化了两种误差源在 MMS 迭代中的传播：
   • 有限时间不精确性：过早停止内部黎曼求解器（连续流或离散下降）所产生的误差。
   • 神经近似误差：精确 MMS 近邻映射与神经近似之间的差异。
     利用近邻映射 $J_\tau$ 的收缩性质，作者表明这些误差在每一步都被吸收，从而产生统一的跟踪界。

主要贡献

• 神经增量的几何结构：本文确立了在雅可比矩阵局部非退化的条件下，局部参数球在神经网络映射下的像构成了函数空间中的光滑黎曼子流形。
• 预条件与几何的等价性：证明了参数空间中的高斯 - 牛顿预条件在数学上等价于在增量流形上关于环境希尔伯特度量执行最速下降。
• 不精确条件下的全局收敛：作者推导出了显式条件（严格内部定位和数据依赖的曲率界），在此条件下，黎曼梯度流以指数速度收敛至唯一的子问题最小值点。
• 统一跟踪界：主要理论结果（定理 27 和 28）表明，如果内部求解器达到足够的精度（由时间 $T$ 或迭代次数 $K$ 控制）且神经近似误差有界，则神经迭代序列将统一跟踪精确的 MMS 轨迹，并收敛至全局最小值点的 $O(\delta)$ 邻域。
• 参数空间收敛：该理论被提升回参数空间，提供了一个有限的轨迹长度预算，确保参数迭代保持在非退化条件成立的有界区域内，从而保证收敛至极限点。

结果

• 理论方面：本文提供了神经 MMS 方案全局收敛的严格证明。它确立了不精确的神经迭代收敛至真实最小值点的 $O(\delta)$ 邻域，其中 $\delta$ 取决于内部求解器的精度和神经近似能力。收敛率为线性（连续时间下为指数级），其速率由测地强凸性参数 $\nu$ 决定。
• 数值方面：在非线性回归（1 维和 10 维）、加州房价数据、MNIST 分类以及潜在扩散测试平台上的实验表明，与一阶基线（Adam、L-BFGS 等）相比，高斯 - 牛顿型内部求解器实现了更小的轨迹跟踪误差。
  • 在欠参数化区域，高斯 - 牛顿方法保持了条件良好的雅可比矩阵（最小奇异值 $\sim 10^{-2}$），而一阶方法往往将雅可比矩阵推向近奇异状态（$\sim 10^{-14}$）。
  • 高斯 - 牛顿求解器以显著更少的内部迭代次数（例如，Adam 需要 500 步，而它仅需 5 步）实现了相当或更优的最终能量，表明其在解决近邻子问题方面具有更高的效率。

意义与主张
本文声称提供了一种几何收敛理论，用于在固定且有限的宽度下运行的神经优化，这与依赖无限宽极限的神经切线核（NTK）或平均场方法相区别。通过在增量流形上利用黎曼几何的视角审视优化过程，作者 bridged 了函数空间中底层能量泛函的凸性与神经参数化的非凸性之间的鸿沟。

其意义在于：

1. 理论严谨性：提供了一种非渐近收敛保证，适用于神经 MMS，同时考虑了优化不精确性和模型近似误差，且无需过参数化。
2. 算法洞察：指出高斯 - 牛顿预条件子是 MMS 子问题的自然几何选择，因为它尊重神经网络模型类的流形结构。
3. 实践验证：证明了这种几何视角能转化为实际优势，其中二阶方法保持了更好的数值条件性，并且比标准一阶优化器更忠实地跟踪真实的梯度流轨迹。

作者对局限性保持谦逊，指出该理论假设 $L^2$ 型泛函（排除了可能导致 Lipschitz 常数爆炸的更高阶导数，如 $H^1$ 范数），并依赖“热启动”或较小的初始间隙，以确保轨迹保持在非退化的局部坐标图内。他们还承认，带有 Levenberg-Marquardt 阻尼的离散化高斯 - 牛顿更新的分析仍是未来工作的开放问题。