技术摘要：生于离散，成于平滑：浅层神经网络的变分表述

问题陈述

对于高度过度参数化、非凸神经网络目标的梯度下降优化，其理论理解仍然难以捉摸。现有的框架面临着截然不同的局限性：

• 均值场/Wasserstein 方法： 虽然提供了梯度的粒子解释以及与相互作用粒子系统的联系，但这些方法往往在极小值的正则性方面表现有限，并且需要非平凡的近似才能从无限宽度的连续模型过渡到有限宽度的网络。
• 神经切线核 (NTK) 框架： 该方法通过在初始化附近对网络进行线性化实现了全局凸性，但这将其理论保证限制在了“懒惰训练”（lazy-training）机制内，即特征不会发生显著变化。

核心挑战在于：一个非线性的浅层神经网络连续模型是否可以在不进行线性化的情况下，拥有唯一的、稳定的极小值且具备高正则性；以及这种连续表述是否可以作为离散训练问题的精确松弛。

方法论

作者提出了一种范式转变，通过在参数密度上定义一个良构的连续变分代理，来取代浅层神经网络的离散训练问题。

1. 变分表述

将逼近目标函数 $f$ 的浅层网络的训练，重新表述为在加权 Sobolev 空间 $W = W^{1,2}(\Omega) \cap L^2_\omega(\Omega)$ 中的参数密度 $u(\theta)$ 上的风险泛函最小化问题。参数空间 $\Omega$ 代表隐藏单元，激活函数 $\sigma$ 被假设为连续的（例如 ReLU、sigmoid）。

正则化目标泛函 $F^{(f)}_{\alpha, \beta}(u)$ 定义为：
$$F^{(f)}_{\alpha, \beta}(u) = R(f, u d\theta) + \alpha \|u\|^2_{L^2_\omega} + \beta \|\nabla u\|^2_{L^2}$$
其中：

• $R(f, u d\theta)$ 是平方风险（数据保真度）。
• $\alpha \|u\|^2_{L^2_\omega}$ 提供强制性（coercivity）和 $\lambda$-凸性。
• $\beta \|\nabla u\|^2_{L^2}$ 作为 Sobolev 正则化项，促进平滑性并诱导类似于 Wasserstein 表述中熵正则化的扩散效应，但它是基于 Hilbert 空间设置的。

2. 分析框架

分析依赖于线性 Hilbert 空间设置下的经典变分法和椭圆型 PDE 理论。关键理论工具包括：

• 凸分析： 建立泛函的 $\lambda$-凸性。
• 椭圆正则性： 分析与极小值相关的 Euler-Lagrange 方程。
• 梯度流理论： 利用 Hille-Yosida 和 Brézis-Komura 定理来研究梯度下降的连续时间极限（即 $L^2_\omega$ 中的梯度流）。

核心贡献与结果

1. 精确变分表征（无 Lavrentiev 间隙）

论文证明，无论是在以下哪种情形下进行优化，风险的下确界都是一致的：

• 原子测度（有限宽度网络）。
• Sobolev 密度。
• 光滑的有紧支撑函数。

定理 1 确立了不存在“Lavrentiev 间隙”，这意味着连续表述是离散问题的精确松弛。此外，命题 2 量化了有限宽度网络向连续最优解的收敛性，表明宽度为 $N$ 的网络以 $O(1/N)$ 的误差率达到连续解。

2. 全局良构性与凸性

与需要线性化的 NTK 框架不同，这种表述实现了非线性问题的全局凸性：

• 该泛函在空间 $W$ 上是 $2\min(\alpha, \beta)$-凸的，确保了极小值 $u^*$ 的存在性与唯一性。
• 该泛函在 $L^2_\omega(\Omega)$ 上是 $2\alpha$-凸的，这意味着相关的梯度流以 $e^{-2\alpha t}$ 的速率指数级快速收敛到平衡态 $u^*$（推论 9）。

3. 极小值的近 $C^3$ 正则性

关于最优参数密度 $u^*$ 的正则性是一个重要的发现。

• 定理 3 表明 $u^*$ 是一个显式 Euler-Lagrange 方程的经典解：
  $$-\beta \Delta u^*(\theta) + \alpha \omega(\theta) u^*(\theta) - Q(\theta) + \int_\Omega K(\theta, \vartheta) u^*(\vartheta) d\vartheta = 0$$
• 极小值 $u^*$ 属于对于每个 $s < 1$ 均为 $C^{2,s}_{loc}(\Omega)$ 的类。这种“近 $C^3$”的平滑性防止了参数空间中出现病态的质量集中，并表明网络预测会集中在光滑函数的图附近。即使对于局部 Lipschitz 连续的激活函数，这种正则性依然成立，这与 Wasserstein 方法中常见的正则性约束形成对比。

4. 稳定性与泛化

该框架提供了显式的稳定性控制：

• 命题 4 和 命题 6 表明极小值对目标数据 $f$ 具有线性且 Lipschitz 连续的依赖关系。
• 推论 7 确立了泛化误差与噪声水平 $\varsigma$ 成线性比例，并受 $1/\alpha$ 控制。这为向平滑、泛化良好的解的隐式偏置提供了一个具体的表现形式。

5. 计算意义

由于泛函的二次性质和问题的凸性，极小值可以通过求解单个线性方程组（在选定的基底中简化为岭回归）来获得。这完全绕过了对迭代优化或随机梯度下降的需求，而在连续极限下即可实现。

意义与主张

本文声称通过变分法提供了一个原则性的框架，通过理解过度参数化来弥合神经切线核 (NTK) 与特征学习机制之间的鸿沟。

• 超越线性化： 作者断言，其 $\lambda$-凸性对于在无限宽度极限下出现的同一个非线性问题成立，而无需像 NTK 分析那样依赖线性化假设。
• 非过拟合机制： 最优密度的近 $C^3$ 平滑性为过度参数化网络中的非过拟合现象提供了一个具体的解释，暗示其具有向参数空间中低维光滑流形吸引的隐式特性。
• 互补性： 该方法被呈现为与现有均值场和 Sobolev 惩罚文献的互补。以往的工作侧重于优化条件的改善或粒子近似，而这项工作侧重于目标函数的变分结构及其极小值的正则性。
• 局限性： 作者明确指出，目前的表述仅限于浅层（单隐藏层）网络。将此扩展到深层架构会引入强非线性，使得 Euler-Lagrange 系统变成耦合的非线性 PDE，其光滑极小值的存在需要额外的结构性假设（例如较小的初始条件）。

总而言之，本文认为，将浅层网络训练视为参数密度上的变分问题，可以同时解锁全局凸性、椭圆正则性和梯度流理论，从而提供一个在分析上可控且在动力学上稳定的模型，并且该模型与有限宽度的网络有着精确的联系。