📊 statistics

Generalization in Deep Neural Networks: Minimax Rates for Gradient Methods

本文建立了过度参数化深度神经网络的基于梯度的训练与核方法之间的理论联系，并推导出了深度回归任务中梯度下降和随机梯度下降的首个极小极大最优泛化率。

原作者： Junyu Zhou, Puyu Wang, Yunwen Lei, Marius Kloft, Yiming Ying

发布于 2026-06-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Junyu Zhou, Puyu Wang, Yunwen Lei, Marius Kloft, Yiming Ying

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

巨大的谜团：为什么巨型神经网络如此有效？

想象一下，你正在试图教一个学生（深度神经网络）如何预测天气。你给了他们一本拥有数百万页内容的巨型教科书（训练数据）。

在数学世界中，有一个著名的悖论：如果一个学生的记忆力大到可以完美背诵教科书上的每一页，他们通常在面对从未见过的“新页面”时会表现失败。这就是所谓的“过拟合”（overfitting）。

然而在现实生活中，深度神经网络（DNNs）就像是拥有摄影般记忆力的学生，却依然能在面对新的天气模式时通过测试。它们是“过度参数化”的（其神经元数量远多于数据点），但它们却能很好地进行泛化。

问题在于： 这些庞大、混乱、非线性的系统是如何学会世界的“规则”，而不是仅仅死记硬背教科书的？

工具：“神经切线核”（Neural Tangent Kernel, NTK）

为了解决这个问题，研究人员使用了一个工具——神经切线核（NTK）。

把深度神经网络想象成一座复杂的、扭曲的山脉。当你开始训练它（使用梯度下降法）时，你本质上是在下山寻找最低点（最佳预测值）。

NTK 就像是那座山脉的平面地图。它告诉我们：“如果这座山足够宽（拥有足够的神经元），那么你在下山过程中所走的路径，看起来几乎就像是在走一个简单、平滑的小丘陵。”

这个“简单的小丘陵”实际上是一种 核方法（Kernel Method），这是一种更古老、更简单且已被充分理解的机器学习算法类型。如果我们能证明这个巨大的神经网络表现得完全像这个简单、行为良好的地图一样，我们就可以利用已知地图的规则来预测这个巨大网络的表现。

这篇论文做了什么

之前的研究已经证明了这种“平面地图”的思想适用于浅层网络（只有几层的网络，就像一栋小房子）。但没人知道这是否适用于深层网络（有很多层的网络，就像一座摩天大楼）。深层网络要复杂得多，而且数学处理起来非常棘手，因为各层之间以复杂的方式相互作用。

这篇论文说：“是的，只要网络足够宽，它对深层网络同样有效。”

以下是他们研究结果的分解：

1. “足够宽”的条件

想象一下，你正试图用一条平滑的曲线去拟合一个锯齿状的复杂形状。

论文的观点： 如果你的神经网络足够宽（每一层都有足够的神经元），深层网络的锯齿状形状就会变得平滑，从而与简单的核方法地图变得无法区分。
注意点： 宽度不需要是无穷大，但它必须相对于你拥有的数据量，以特定的“多项式”速率增长。如果你有更多的数据，你需要稍微宽一点的网络，但这是一种可控的增加，而不是不可能完成的任务。

2. “完美匹配”（极小极大速率 / Minimax Rates）

在统计学中，有一个概念叫做 极小极大速率（Minimax Rate）。你可以把它想象成 “黄金标准限速”。它是任何学习算法（无论多么聪明）在处理特定类型问题时，所能达到的绝对最快速度。

论文的观点： 作者证明了，当你使用标准方法（梯度下降或随机梯度下降）训练一个宽阔的深层神经网络时，它能达到这个“黄金标准限速”。
类比： 这就像是证明了一辆一级方程式赛车（深度神经网络）可以像这条赛道上理论上最快的车一样飞驰。它们不仅跑得快，而且达到了理论极限的速度。

3. “平滑性”的要求

该论文专注于使用平滑激活函数（没有尖锐棱角的数学曲线，如 Sigmoid 或 Swish 函数）的神经网络。

为什么重要： 想象一下平坦的公路与布满坑洼的道路。平坦的道路更容易驾驶，也更容易绘图。作者利用这种“平滑性”来证明深层网络的行为能始终保持在简单的核方法地图附近。
注：在本篇论文中，他们并没有针对使用 ReLU（带有尖锐棱角）的网络进行证明，尽管他们提到这是相关的研究领域。

“秘诀”：他们是如何做到的？

作者必须克服一个重大的数学障碍。在浅层网络中，你可以将各层视为简单的、独立的模块。但在深层网络中，各层就像一种连锁反应；第一层的变化会以复杂的方式波及所有其他层。

为了解决这个问题，他们开发了一种分解误差的新方法：

旧方法： 将深层网络与一个“中等”核（一个略微不完美的地图）进行比较。
新方法： 将深层网络直接与完美的无限映射（Perfect Infinite Map）（理想的核）进行比较。

他们证明了，如果网络足够宽，深层网络与完美映射之间的“差距”会变得微乎其微，甚至消失。这使得他们能够借用来自“完美映射”的已证实的速率限制，并将其应用到深层网络中。

结果总结

问题： 我们此前并不知道巨大的深层神经网络是否能像最优秀的数学理论所允许的那样高效地学习。
解决方案： 通过证明足够宽的深层网络表现得就像简单的、易于理解的“核”方法，他们弥补了这一鸿沟。
结果： 使用标准方法（GD 和 SGD）训练的深层神经网络，对于回归任务达到了最佳的学习速度（极小极大最优速率），前提是网络足够宽。

根据原文，本文并未说明的内容

它并未声称深层网络比浅层网络更好；事实上，数学表明，随着网络变深，即使限速相同，方程中的常数也会变得更差（更难训练）。
它没有讨论临床应用、自动驾驶汽车或特定的现实世界部署。这纯粹是一个关于这些算法在数学上如何行为的理论证明。
它并未声称这适用于“所有”类型的网络（如带有尖锐棱角的 ReLU 网络）而无需修改；它专门针对“平滑”激活函数。

简而言之： 这篇论文证明了，如果你构建的深度神经网络足够宽，它就不再表现得像一个混乱、不可预测的怪物，而是变成了一台行为良好、可预测的机器，能够以数学上可能达到的绝对最快速度进行学习。

技术摘要：深度神经网络中的泛化：梯度方法的极小极大速率

问题表述

本文探讨了深度学习理论中的一个核心开放问题：通过梯度下降法（GD）和随机梯度下降（SGD）训练的深度神经网络（DNN）的统计泛化特性。虽然神经切线核（NTK）框架已成功解释了浅层网络的行为，并为它们建立了极小极大最优速率，但具有平滑激活函数的深层架构的泛化性能仍不为人所知。

具体目标是确定通过 GD 或 SGD 训练的过参数化 DNN 是否能够达到与其基于核的方法相当的极小极大最优超额总体风险速率。作者关注的是最小二乘回归任务，其中目标函数 $f_\rho$ 具有特定的平滑度（ $\beta$ ），且再生核希尔伯特空间（RKHS）具有由参数 $\gamma$ 表征的特定容量。

方法论

作者开发了一个理论框架，将 DNN 的学习动力学与无限宽极限下的核方法联系起来。其核心方法论包含三个技术支柱：

精细化的 NTK 一致集中：
不同于以往关注有限数据点或特定层集中的研究，作者证明了在正态初始化下，深层平滑网络的 NTK 在整个输入空间及所有层上都一致地集中到一个确定性核 $K$ 。
- 他们将平滑激活函数的统一收敛速率从之前建立的 ReLU 网络中的 $O(m^{-1/6})$ 提高到了 $O(m^{-1/2})$ 。这种更精确的速率对于推导最优风险界至关重要。
新颖的误差分解：
现有的浅层网络误差分解通常将 DNN 动力学与有限宽度核方法（ $g_T^m$ ）进行比较，然后限定其到目标的距离。作者认为，由于复杂的层间依赖关系，这种方法无法直接应用于深层网络，因为这使得有限宽度核无法被视为简单的独立同分布随机核之和。
- 相反，他们提出了一种直接将 DNN 动力学（ $f_{W(T)}$ ）与 RKHS $\mathcal{H}_K$ 中的无限宽核 GD 迭代（ $g_T$ ）进行比较的分解方法：
  $\varepsilon_{\text{risk}}(f_{W(T)}) \lesssim \|f_{W(T)} - Sg_T\|_\rho^2 + \|Sg_T - f_\rho\|_\rho^2$
- 第一项衡量了 DNN 与理想化核动力学的偏差，而第二项则是已知的核方法本身的误差。
通过双重归纳进行轨迹控制：
为了限定第一项（即 DNN 与核动力学之间的差距），作者采用了精心设计的双重归纳论证。这使得他们能够控制 GD/SGD 轨迹偏离初始化的距离，且该界限不会随网络宽度 $m$ 指数级增长，从而确保网络在足够的迭代次数内保持在“NTK 机制”内。

核心贡献

本文做出了以下具体贡献：

首次实现深层网络的极小极大最优速率： 作者为应用于具有平滑激活函数的深度神经网络的 GD 和 SGD 提供了首个已知的极小极大最优超额风险速率。
桥接浅层与深层架构： 他们建立了关键的联系，表明通过梯度方法训练的过参数化 DNN 能够完全继承其无限宽核方法所具有的优越学习动力学。
多项式宽度要求： 他们证明了只要网络宽度 $m$ 与样本量 $n$ 和维度 $d$ 成多项式比例缩放（即 $m \gtrsim \text{Poly}(n, d)$ ），即可实现这些最优速率。这相比于此前要求指数级宽度的浅层网络研究是一个显著的改进。
广泛的适用性： 结果适用于任意平滑参数 $\beta > 0$ 和容量参数 $\gamma \in [0, 1]$ ，涵盖了目标函数可能不在 RKHS 内（ $\beta < 1/2$ ）的情况。

主要结果

在对激活函数（平滑度和有界导数）、RKHS 有效维度（假设 2）以及目标函数源条件（假设 3）的标准假设下，本文证明了：

最优风险速率： 对于 GD 和 SGD，超额总体风险以如下速率收敛：
$O\left(n^{-\frac{2\beta}{2\beta + \gamma}}\right)$
前提是 $2\beta + \gamma > 1$ 。
宽度缩放： 当网络宽度满足以下条件时，可实现该速率：
$m \gtrsim C_\sigma^L d n^{\frac{2\beta+4}{2\beta+\gamma}} \log^2\left(\frac{dL}{\delta}\right)$
其中 $L$ 是层数， $C_\sigma$ 是取决于激活函数的常数。
与核方法的比较： 推导出的速率与相同假设下核方法的经典极小极大最优速率相匹配，证实了只要宽度足够，DNN 不会比核方法承受泛化惩罚。

意义与主张

本文声称通过以下方式实质性地推进了对深度神经网络中梯度方法如何泛化的理解：

回答开放性问题： 它为“通过 GD/SGD 训练的 DNN 是否能实现与基于核的方法相当的泛化性能”这一问题提供了肯定的回答。
克服深度限制： 通过精炼误差分解和集中性分析，作者克服了此前将极小极大最优结果从浅层扩展到深层时遇到的技术障碍。
过参数化的理论证明： 结果从理论上证明了使用过参数化深层网络的合理性，表明只要宽度足够，它们可以复制核方法的最佳统计性能。

作者指出，虽然其结果依赖于 NTK 机制（即围绕初始化的线性近似），这在适度的迭代次数内成立，但该框架为理解过参数化设置下的泛化提供了坚实的理论基础。他们承认，降低泛化界中对深度 $L$ 的指数依赖性仍是未来的研究方向。