Correlation flow governs learning at criticality

技术摘要：临界点处的相关性流支配学习过程

问题陈述
深度神经网络的初始化对于决定信息和梯度能否在深度方向上传播至关重要。虽然经验性的成功推动了网络规模的扩大，但将初始化特性与学习动力学联系起来的统一理论仍然难以捉同。具体而言，目前尚不清楚在无限宽且无限深的极限下，初始化选择（高斯初始化 vs 正交初始化）如何调节相关性传播、端到端雅可比矩阵谱以及神经切线核（NTK）之间的相互作用。前人的工作已经确立了“临界性”（即权重-偏置方差平面上的一个特定点）可以实现代数级而非指数级的相关性衰减，但这种相关性流与由此产生的学习动力学（由 NTK 支配）之间的精确关系尚未得到充分表征。此外，正交初始化在控制该极限下的有限尺寸修正方面的作用，仍需要严谨的理论基础。

方法论
作者结合使用平均场理论和随机矩阵理论，来分析序列极限下的全连接神经网络，即在宽度 $N \to \infty$ 之后再取深度 $L \to \infty$ 的顺序极限。

1. 理论框架：

   • 平均场机制： 作者分析了随着深度增加，预激活值的协方差和相关性的确定性递归关系。他们识别了三个区域：有序区（相关性 $\to 1$）、混沌区（相关性 $\to$ 常数 $<1$）以及新发现的方差消失相（其中方差 $\to 0$）。
   • 临界点： 他们在方差消失相边界与“混沌边缘”线的交点处定位了临界点，该边缘由 $\sigma_w = 1/\phi_1$ 和 $\sigma_b = 0$ 定义（其中 $\phi_1$ 是激活函数的一阶泰勒系数）。
   • 雅可比矩阵分析： 利用自由概率论，他们分析了层级雅可比矩阵和端到端雅可比矩阵的奇异值谱。他们推导了在高斯初始化和正交初始化下，雅可比矩阵均值和方差的标度律。
   • NTK 推导： 他们将 NTK 表示为由部分雅可比矩阵拉回的协方差核之和。通过分析临界点处这些项的渐近行为，他们推导了 NTK 与固定点相关性之间的关系。

2. 有限尺寸分析：

   • 作者推导了经验核的领先阶有限尺寸修正（$O(L/N)$）。他们将这些波动分解为“维克缺陷”（Wick defects，源于预激活的非高斯性）和“权重非正交性”效应。
   • 他们比较了高斯初始化与正交初始化下这些误差的累积情况。

3. 数值验证：

   • 作者使用具有正弦（以及部分 tanh）激活函数的全连接网络对理论预测进行了验证。实验追踪了流形传播、相关性流、雅可比谱以及 NTK 条件数随深度和宽度的变化。

核心贡献与结果

1. 临界性是相关性传播的必要条件：
   作者证明，只有在临界点处，非平凡的相关性传播到无限深度才是可能的。在所有其他区域，相关性要么塌缩为 1（有序区），要么塌缩为与输入无关的常数（混沌区），或者方差指数级消失导致数值崩溃。在临界点，相关性呈代数级收敛，从而保留了输入依赖性。

2. 端到端雅可比矩阵的代数消失：
   与期望临界性能实现“动力学等距”（即雅可比谱集中在 1 附近）的设想相反，作者证明了在临界点处，端到端雅可比矩阵随深度呈代数级消失（$\Xi \propto 1/L$）。即使使用正交初始化也是如此。因此，在序列极限下的临界点处，不存在动力学等距性。

3. NTK 与输出相关性的等价性：
   本文的核心理论结果是证明了，在无限深度的临界极限下，NTK 与固定点相关矩阵完全成正比（具体表现为 $\Theta_L \to \frac{1}{A\sigma_w^2} \rho_\infty$）。这建立了信息传播（相关性）与学习动力学（NTK 谱）之间的直接联系。无论雅可比矩阵如何消失，由于在 NTK 定义中使用了重标度的重叠雅可比矩阵，这种等价性依然成立。

4. 正交初始化的作用：
   虽然正交初始化无法恢复动力学等距性，但它在控制有限尺寸效应方面起着至关重要的作用。

   • 在高斯初始化下，相关性和 NTK 的有限尺寸波动规模为 $O(\sqrt{L/N})$，会随深度累积并导致谱病态化。
   • 在正交初始化下，源于权重非正交性的领先阶波动被抑制。剩余的波动（维克缺陷）规模为 $O(1/\sqrt{N})$ 且与深度无关。这使得序列极限的预测可以在更深的神经网络中保持有效。

5. 激活函数的约束：
   作者表明，为了使信息在不塌缩到平凡固定点的情况下进行传播，激活函数必须满足 $\phi_2 = 0$（即在最低阶必须是奇函数）。如果 $\phi_2 \neq 0$，无论初始化如何，相关性都会塌缩。

意义与主张
本文声称提供了一个统一的框架，将深度网络中的信息传播、梯度控制与学习动力学联系起来。其主要意义在于：

• 统一相关性与学习： 它证明了决定学习速度和方向的 NTK 谱，在渐近意义上是由输入的相关性结构决定的。这解释了为什么通过网络保持输入的相似性对于训练至关重要。
• 证明临界初始化的合理性： 它为在临界点进行初始化提供了严谨的理论依据，表明这是唯一能保留输入依赖相关性，同时维持定义良好的（尽管是消失的）雅可比结构的选项。
• 澄清正交初始化的作用： 它通过展示正交初始化是抑制不受控增长的有限尺寸波动的必要条件，解决了“冻结”（线性）机制与“特征学习”机制之间的张力，否则这些波动会破坏深度网络中 NTK 的可预测性。
• 实际应用意义： 结果表明，对于极深的网络（例如 SIRENs、隐式神经表示），将临界初始化与正交权重相结合，是确保稳定训练动力学和受控谱偏差的原则性方法，使网络能够沿着输入数据集相关性的主模态进行学习。

作者指出，这些结果依赖于序列极限和特定的激活函数假设（有界、可微、$\phi_2=0$），并承认将这些发现扩展到联合极限（$L/N \to c$）或无界激活函数（如 ReLU）仍是未来的开放课题。