技术摘要：重新审视神经切线核 (Neural Tangent Kernel)

问题陈述

神经切线核 (NTK) 框架描述了使用梯度下降训练的过度参数化神经网络的学习动力学，认为在无限宽度的极限下，网络表现得像是一个具有固定核函数的核方法。这种机制通常被称为“懒惰训练 (lazy training)”，因为单个隐藏层神经元的激活值与其初始化值保持任意接近。然而，这一特征描述存在两个重大的理论挑战：

1. 宽度维度： “懒惰机制”意味着特征（隐藏层神经元激活值）是静态且随机的，无法解释在实际深度网络中观察到的“特征学习 (feature learning)”现象。先前的研究表明，虽然 NTK 捕捉到了复杂的依赖关系，但它是在没有提取出有意义特征的情况下实现的，这在 NTK 的泛化成功与其缺乏特征演化之间造成了一个悖论。
2. 深度维度： 随着网络深度在无限宽度极限下增加，NTK 会收敛为一个与数据无关的预测器（一个常数矩阵），使得模型无法区分训练集中不存在的数据点。这表明在标准的 NTK 缩放方案下，深度网络可能面临理论上的死胡同，即模型会失去表达能力和泛化能力。

本文挑战了关于 NTK 是纯粹“懒惰”的特征学习以及深层 NTK 必然退化为平凡预测器的结论。

方法论

作者结合了理论渐近分析和对具有标准高斯初始化及均方误差 (MSE) 损失的全连接 ReLU 网络进行的实证验证。

理论框架

• 符号与定义： 本文利用了由 Jacot 等人 (2018a) 和 Arora 等人 (2019b) 建立的 NTK ($\Theta^{(L)}_\infty$) 和神经元协方差 ($\Sigma^{(L)}$) 的递归定义。研究重点在于无限宽度极限下的情况，此时 NTK 收敛为一个确定性核。
• 特征分析（宽度）： 作者分析了隐藏层的聚合行为，而非单个神经元。他们推导出了隐藏层激活值内积 $\langle h_t(x), h_t(x') \rangle$ 的闭式解，以证明虽然单个神经元的偏差趋于消失，但偏差的聚合范数并不消失。
• 深度分析： 本文研究了当深度 $L \to \infty$ 时的情形。引入了一个归一化核 $\bar{\Theta}^{(L)}_\infty$，并分析其收敛性质。作者推导了核矩阵特征值和预测函数 $f_t(x)$ 的渐近界限。
• 缩放策略： 为了解决深度退化问题，本文提出了一个特定的缩放机制，其中深度 $L$、停止时间 $t$ 和数据集大小 $n$ 是耦合的。具体而言，它避免了孤立地假设 $t \to \infty$ 或 $L \to \infty$，而是要求 $L$ 进行适当的缩放，以保持在核动力学的“有序相 (ordered phase)”内。

实证验证

• 玩具模型与数据集： 实验在合成数据、text8 数据集（使用 one-hot 编码）和 MNIST 上进行。
• 指标： 作者测量了最后一层隐藏层相对于其初始化的偏差 ($\|h_t - h_0\|_2$)，以及随着深度增加时核值和特征值的收敛速率。

核心贡献

1. 重新评估“懒惰机制”（宽度维度）

本文反驳了“懒惰”（静态特征）与“特征学习”（动态特征）机制之间的二元对立。

• 聚合动力学： 虽然随着宽度增加，单个神经元的激活值趋向于其初始化值，但最后一层隐藏层偏差的聚合范数并未消失。
• 理论证明（命题 4）： 作者证明，对于至少包含两个隐藏层的 ReLU 网络，不同输入之间的隐藏层激活值内积 $\langle h_t(x), h_t(x') \rangle$ 是关于训练步数 $t$ 的严格非恒函数。这表明即使在无限宽度极限下，数据点之间的统计相关性在训练过程中也会发生演化。
• 启示： “懒惰机制”并不排除特征学习；相反，特征以一种被聚合层动力学所捕捉的方式进行演化，而不是通过追踪单个神经元来实现。

2. 解决深层网络的表达能力问题（深度维度）

本文解决了随着深度增加，NTK 坍缩为与数据无关的预测器的问题。

• 收敛至常数： 作者确认，当 $L \to \infty$ 时，归一化核 $\bar{\Theta}^{(L)}_\infty(x, x')$ 对于 $x \neq x'$ 收敛于 $1/4$（定理 2）。
• 通过缩放实现稳定（定理 3）： 本文证明，如果深度 $L$ 相对于数据集大小 $n$ 进行缩放，并且选择合适的停止时间 $t$（提前停止），则预测函数 $f_t$ 可以保持稳定且具有表达力。
  • 通过设置 $t \in o(1/\lambda_n)$（其中 $\lambda_n$ 是最小特征值），并缩放 $L$ 使其足够大以稳定核函数，但不至于大到诱发数据无关性，模型仍能保留区分数据点的能力。
  • 作者提供了一个取决于数据点间距的 $L$ 的界限：$L \in O\left(\frac{1}{\sqrt{1-\rho^{(2)}(x_i^\top x_j)}}\right)$。
• 泛化： 这些结果适用于球面上的任意数据集，而不假设数据是由具有密度函数的概率分布生成的，从而放宽了先前文献（如 Xiao 等，2020）中的约束。

结果

• 特征演化： 在 text8 上的实证结果显示，虽然单个神经元的偏差很小（符合“懒惰”行为），但最后一层隐藏层的聚合偏差随训练增长，证实了非静态特征的理论预测。
• 核收敛： 在合成数据和 MNIST 上的实验证实，核值以 $O(1/L)$ 的速率收敛至 $1/4$。
• 稳定性： 通过应用推导出的缩放律（定理 3），作者展示了闭式解中的投影算子范数保持有界（$O(n)$），并且只要深度相对于数据集分离度不是过大，模型就能保持表达能力。

意义与主张

本文声称为神经网络的缩放提供了一种更细致的理论理解：

1. 为“懒惰机制”提供细微差别： 作者认为“懒惰机制”这一描述是不完整的。虽然单个神经元是静态的，但集合层动力学允许特征学习，从而将 NTK 的泛化成功与特征提取的概念统一起来。
2. 深层 NTK 的可行性： 本文挑战了无限深度 NTK 是理论死胡同的观点。通过适当缩放深度和停止时间，NTK 可以针对大型数据集产生良好行为且非平凡的输出。
3. 实际一致性： 研究结果表明，NTK 分析的“黄金地带”在于深度很大但有限、且采用提前停止策略的机制，这反映了实际实验设置中 $L \ll n$ 的情况。
4. 泛化性： 作者提供了一组关键属性（对角优势、足够的深度下的正定性），使得这些结果可以推广到其他核函数和架构（如 CNN），尽管他们明确指出，其分析并不涵盖深度远超宽度时的随机波动（Hanin 和 Nica, 2020）。

文章总结道，只要不再假设特征是静态的，且不再在不进行缩放的情况下假设训练时间/深度为无限，NTK 仍然是分析过度参数化网络的重要工具。