Label-NTK Alignments and A Tighter Convergence Bound in the NTK Regime

技术摘要：标签-NTK 对齐与 NTK 机制下更紧致的收敛界

问题陈述
神经切线核（NTK）框架通过将训练动力学表征为近似线性，成功解释了过参数化神经网络的优化过程。虽然现有理论保证了向全局最小值的指数级收敛，但这些保证往往比实证观察过于悲观。具体而言，经典收敛速率关键依赖于 NTK 矩阵的最小特征值（$\lambda_{\min}$）。在现实场景中，$\lambda_{\min}$ 通常极小，导致理论收敛界比实际训练曲线慢数个数量级。此外，这些最坏情况分析隐含地假设数据标签向量与对应于 $\lambda_{\min}$ 的特征向量对齐，而这种情况在实践中极少发生。本文通过研究数据标签与 NTK 特征谱之间的特定关系是否能推导出更紧致的收敛界，旨在弥合理论界与实际训练动力学之间的差距。

方法论
作者提出了一种基于数据向量（标签和残差）与 NTK 特征系统之间“对齐”现象的经验观察与理论分析的新方法。

1. 经验观察：通过在 CIFAR-10 等数据集上对多层感知机（MLP）和卷积神经网络（CNN）进行的实验，作者观察到两种独特的标度律：

   • 标签-NTK 对齐：标签向量 $y$ 在第 $i$ 个特征向量 $v_i$ 上的投影平方与对应特征值的平方成比例：$(v_i^\top y)^2 \sim \lambda_i^2$。
   • 残差-NTK 对齐：初始残差向量 $r_0 = f(w_0) - y$ 在特征向量上的投影平方与特征值成线性比例：$(v_i^\top r_0)^2 \sim \lambda_i$。
     这些关系在小特征值区域尤为显著，表明标签和残差在对应小特征值的方向上分量可忽略不计。

2. 理论依据：作者在温和的数据假设下（包括单位输入长度、非退化性以及真实数据 - 标签函数的 Lipschitz 连续性），为标签-NTK 对齐提供了理论证明。通过分析两点数据集并将其推广至 $n$ 点，他们证明了真实函数的 Lipschitz 性质迫使标签向量与更大的特征值更强烈地对齐，从而精确预测了观测到的标度指数 2。

3. 新界的推导：利用残差-NTK 对齐作为条件（条件 4.2），作者推导出了梯度下降的细化收敛界。新的界不再依赖 $\lambda_{\min}$，而是依赖于 NTK 矩阵全谱函数的迹：$L(w_t) \sim \text{tr}[(I - \eta K)^{2t} K]$。

主要贡献

• 对齐现象的识别：本文识别并量化了标签-NTK 和残差-NTK 对齐现象，表明数据标签和残差自然与 NTK 的前导特征向量对齐，从而有效避免了先前文献中假设的最坏情况。
• 更紧致的收敛理论：作者建立了一个新的收敛定理（定理 4.5），其中损失衰减由 NTK 的完整谱而非仅由最小特征值决定。如图 1 所示，这产生了一个与实证训练曲线紧密吻合的界。
• 改进的泛化界：通过利用标签-NTK 对齐性质，本文推导出了过参数化网络改进的泛化界，表明测试损失的上界为 $O(\text{tr}[K]/n)$，这比依赖于 $\lambda_{\min}$ 的先前结果更紧致。
• 时间复杂度分析：在特征值呈幂律衰减的假设下，本文提供了时间复杂度分析，表明达到目标损失 $\epsilon$ 所需的迭代次数显著低于标准的 $O(\frac{1}{\eta \lambda_{\min}} \log \frac{1}{\epsilon})$ 界。

结果

• 实证验证：在多个数据集上对 MLP 和 CNN 的实验证实，所提出的理论界比经典界能更准确地追踪实际训练损失曲线。基于迹的界所对应的理论曲线迅速下降，与实证数据吻合，而经典界由于 $\lambda_{\min}$ 极小，几乎保持平坦。
• 标度律：实验一致显示，$\log((v_i^\top y)^2)$ 与 $\log(\lambda_i)$ 之间存在斜率为 2 的线性关系，$\log((v_i^\top r)^2)$ 与 $\log(\lambda_i)$ 之间存在斜率为 1 的线性关系，验证了所提出的标度律。
• 泛化性：推导出的泛化界表明测试损失随 NTK 的迹进行标度，提供了比先前最坏情况分析更有利的标度。

意义
本文声称其主要意义在于解决了基于 NTK 的理论预测与实际训练性能之间的差异。通过证明由于内在数据属性（Lipschitz 连续性），最坏情况假设（标签与 $\lambda_{\min}$ 对齐）在实践中并不成立，作者为深度学习中观察到的快速收敛提供了数学上严谨的解释。这项工作提供了一个“更锐利”的理论视角，纳入了全谱信息，从而弥合了理想化的线性化动力学与过参数化区域中观察到的梯度下降效率之间的差距。作者指出，虽然其理论局限于 NTK 机制（足够宽的网络、低学习率），且未捕捉到如“稳定性边缘”那样的非线性特征学习动力学，但它为理解在最易处理的数学设定下的优化提供了必要的基础。