技术摘要：深度神经网络中梯度下降方法的泛化最优速率

1. 问题定义

本文解决了关于通过梯度下降训练的深度神经网络（DNN）在理论理解上的一个关键空白。虽然神经切线核（NTK）范式下的近期进展已经建立了过参数化网络的统计泛化性能，但现有关于回归问题的研究主要局限于浅层架构，或需要过于苛刻的假设（例如，宽度随深度呈指数级缩放）。

作者专注于使用梯度下降（GD）和随机梯度下降（SGD）训练的深层 ReLU 网络的最小二乘回归问题。主要目标是确定深度神经网络是否可以实现与经典核方法相当的极小极大最优速率（minimax-optimal rates）的超额总体风险（excess population risk），特别是在网络宽度随网络深度（$L$）、样本量（$n$）和数据维度（$d$）呈多项式而非指数级缩放的假设下。

超额总体风险定义为 $\varepsilon_{\text{risk}}(f_W(T)) = L(f_W(T)) - L(f_\rho) = \frac{1}{2}\|f_W(T) - f_\rho\|_\rho^2$，其中 $f_\rho$ 是目标回归函数。分析基于两个标准假设：

1. 有效维度（Effective Dimension）： 假设空间的容量由参数 $\gamma \in [0, 1]$ 表征，使得积分算子解析解的迹按 $\lambda^{-\gamma}$ 缩放。
2. 源条件（Source Condition）： 目标函数 $f_\rho$ 具有平滑度 $\beta > 0$，通过 $\|L^{-\beta} f_\rho\|_\rho \leq B$ 进行量化。

2. 方法论与技术路径

其核心方法论贡献是一种精炼的误差分解策略，旨在不依赖于仅对浅层网络有效的结构性质，从而架起深度神经网络与核方法之间的桥梁。

2.1 精炼误差分解

对于经过 $T$ 次迭代后的网络 $f_W(T)$，作者将误差 $\|f_W(T) - f_\rho\|_\rho^2$ 分解为四个项：
$$\|f_W(T) - f_\rho\|_\rho^2 \lesssim \|f_W(T) - f_W^{\text{lin}}(T)\|_\rho^2 + \|f_W^{\text{lin}}(T) - S_m g_T^m\|_\rho^2 + \|S_m g_T^m - S g_T\|_\rho^2 + \|S g_T - f_\rho\|_\rho^2$$
其中：

• $f_W^{\text{lin}}(T)$ 是网络在初始化时的线性近似。
• $g_T^m$ 是有限宽度 NTK $K_m$ 对应的再生核希尔伯特空间（RKHS）$\mathcal{H}_m$ 中的 GD/SGD 迭代值。
• $g_T$ 是无限宽度 NTK $K$ 对应的 RKHS $\mathcal{H}_K$ 中的 GD 迭代值。
• $S_m$ 和 $S$ 是从 RKHS 到 $L^2_{\rho_x}$ 的包含映射。

2.2 关键技术挑战与解决方案

论文识别并解决了三个特定的技术障碍，这些障碍阻碍了以往浅层网络分析向深层架构的扩展：

1. 前向/后向传播界限（Forward/Backward Propagation Bounds）： 先前的研究（例如 [53]）提供的非线性网络与其线性近似之间的偏差界限随深度 $L$ 呈指数级缩放。作者将前向和后向传播的分析从有限训练集扩展到了整个输入空间 $\mathcal{X}$。这使得他们能够建立 $\|f_W(T) - f_W^{\text{lin}}(T)\|_\infty^2 \lesssim m^{-1/3} \text{Poly}(L, \eta T)$ 的界限，将宽度要求从相对于 $L$ 的指数级降低为多项式级。

2. 核收敛性（Kernel Concentration, $K_m$ vs. $K$）： 在浅层网络中，有限宽度核 $K_m$ 是独立同分布（i.i.d.）随机核之和，允许使用标准的收敛论证。在深层网络中，梯度取决于跨所有层的权重，打破了 i.i.d. 结构。作者开发了一种精细的分析（引理 16）来限制无穷范数差异 $\|K_m - K\|_\infty$。他们证明在 $m \gtrsim dL^3$ 的条件下 $\|K_m - K\|_\infty \lesssim m^{-1/6}\sqrt{d}L$，相比之前的指数级缩放结果，显著放宽了过参数化要求。

3. 有效维度等价性（Effective Dimension Equivalence）： 对于浅层网络，可以证明有限宽度的 RKHS 的有效维度与无限宽度的极限相匹配。对于深层网络，这并非显而易见。作者没有直接比较维度，而是引入了 $g_T$（无限宽度迭代值）作为中间项。他们分别利用核差异来限制有限宽度迭代值与无限宽度迭代值之间的距离 ($\|g_T^m - g_T\|_\rho$)，并利用标准的核方法结果来限制无限宽度迭代值与目标之间的距离 ($\|g_T - f_\rho\|_\rho$)。这绕过了在深层情况下直接证明 $\tilde{\gamma} = \gamma$ 的需求。

3. 核心贡献

本文做出了以下具体贡献：

• 深度网络的最优极小极大速率： 它首次确立了对于使用深层 ReLU 网络进行 GD 和 SGD 的、具有极小极大最优速率的超额总体风险 $O(n^{-\frac{2\beta}{2\beta+\gamma}})$。
• 多项式宽度缩放： 这些结果在网络宽度 $m$ 随 $L, n,$ 和 $d$ 呈多项式缩放（具体为 $m \gtrsim \text{Poly}(L, n, d)$）的条件下成立，消除了先前关于深度回归研究中对指数级宽度（$m \gtrsim \exp(L)$）的需求。
• 移除 NTK Gram 矩阵假设： 与以往的一些工作不同，该分析不需要 NTK Gram 矩阵的最小特征值严格大于零，而这一条件在样本量增加时经常失效。
• GD 与 SGD 的统一分析： 该框架为全批量 GD 和单次遍历 SGD 提供了最优速率，证明了 SGD 可以以更低的计算成本（梯度复杂度）达到相似的速率。

4. 主要结果

在满足假设 1（有效维度）和假设 2（源条件），并采用适当的步长和迭代次数的情况下：

• 梯度下降 (GD)： 当网络宽度 $m \gtrsim \text{Poly}(L, d, n)$ 且 $T \approx n^{\frac{1}{2\beta+\gamma}}$ 时，GD 实现的超额风险为：
  $$L(f_W(T)) - L(f_\rho) \lesssim n^{-\frac{2\beta}{2\beta+\gamma}} \log^4(n/\delta)$$
  这达到了核方法在 RKHS 设置下所能达到的最优速率。

• 随机梯度下降 (SGD)： 在类似的宽度缩放和 $T \approx n^{\frac{2\beta+1}{2\beta+\gamma}}$ 下，SGD 实现的期望风险为：
  $$\mathbb{E}[L(f_W(T)) - L(f_\rho)] \lesssim n^{-\frac{2\beta}{2\beta+\gamma}} \log^2(n) \log^{2\beta}(n/\delta)$$
  这证实了在温和的过参数化条件下，SGD 同样可以复现深度网络的经典核结果。

结果总结在论文的表 1 中，并与以往局限于浅层网络、平滑激活函数或需要指数级宽度的研究进行了对比。

5. 重要性与主张

本文声称通过以下方式显著推进了对深度学习泛化的理论理解：

1. 弥合深度差距： 它解决了关于由 GD/SGD 训练的 DNN 是否能达到与其基于核的对应物相当的泛化性能这一开放性问题。作者给出了肯定的回答，证明了深层 ReLU 网络确实可以实现极小极大最优速率。
2. 实际的过参数化： 通过将所需网络宽度从关于深度的指数级降低为多项式级，这些结果更贴近实际的深度学习场景，即网络很深但并非指数级宽。
3. 对激活函数的鲁棒性： 分析专门针对非平滑的 ReLU 激活函数，这在实践中是标准配置，而以往的最优速率结果通常受限于平滑激活函数。

作者指出，对称初始化是一个简化分析的技术工具（确保 $f_{W(0)}=0$），但他们在第 5 节中讨论了对于一般的非对称初始化，NTK 的一致收敛性质仍然成立，这表明结果对于这种特定的初始化选择是具有鲁棒性的。

论文最后指出了未来的研究方向，例如将这些结果扩展到具有平滑激活函数的深层网络以及其他架构（如卷积网络和残差网络），但并未提出针对特定应用领域的实验验证。