技术摘要：正交神经网络中的临界性与饱和性

问题陈述

众所周知，将神经网络的权重矩阵初始化为正交矩阵（满足 $W W^\top = I$），而非使用独立同分布（i.i.d.）的高斯分量，可以提升训练性能。然而，对这一现象的理论理解一直有限。先前的研究主要局限于线性网络，或依赖于无限宽度极限下的平均场理论。关键在于，在无限宽度下，具有正交初始化和高斯初始化的神经网络的神经切线核（NTK）是相同的，这使得无限宽度分析不足以解释在有限宽度非线性网络中观察到的差异。

尽管最近的实证工作（Day 等人）表明，在正交网络中，控制有限宽度统计量的张量在深度较大时会趋于稳定（而高斯网络则不然），但缺乏严谨的理论推导来解释这种稳定性。具体而言，尚无分析成功证明，通过系统展开，非线性有限宽度网络的正交初始化能比高斯初始化带来更好的性能或稳定性。

方法论

作者采用有限宽度修正框架，将网络统计量分析为 $1/n$ 的幂级数，其中 $n$ 为网络宽度。零阶项对应于无限宽度极限，而高阶项则捕捉有限宽度效应。

关键的方法论组成部分包括：

1. 正交 Weingarten 演算：作者利用正交 Weingarten 函数来刻画从正交群（关于 Haar 测度）采样的权重矩阵的联合矩，而非使用针对高斯权重的 Wick 定理。这引入了权重中非零的高阶累积量，这些累积量是有限宽度统计量的核心。
2. 逐层递归关系：作者推导了控制训练动力学一阶修正（$O(1/n)$）张量的显式递归关系。这些张量包括 NTK 均值修正（$\Theta^{(1)}$）、NTK-预激活交叉相关器（$D, F$）以及 NTK 方差张量（$A, B$）。他们还推导了六阶预激活累积量张量（$V_6$）在 $O(1/n^2)$ 阶的递归关系。
3. 费曼图框架：为了管理推导这些递归关系时的代数复杂性，作者将最近引入的费曼图框架（最初针对高斯权重）扩展到了正交情形。这一扩展引入了：
   • 正交荷：标记追踪线条的正交特性。
   • 平方传播子：表示对权重的完整期望值。
   • 选择定则：特定规则（例如颜色守恒），决定哪些图在给定阶数下产生贡献。
   • Weingarten 权重：图的权重由 Weingarten 函数加权，该函数取决于配对相对顺序。
     作者证明了该图式形式体系在 $1/n$ 的所有阶数上都是完备的。

主要贡献

1. 递归关系的推导：本文首次提供了针对正交初始化在 $O(1/n)$ 阶的张量 $D, F, A, B, P, Q, R, S, T, U$ 以及 NTK 均值的一阶修正（$\Theta^{(1)}$）的显式逐层递归关系。此外，还推导了 $V_6$ 张量在 $O(1/n^2)$ 阶的递归关系。
2. 费曼规则的扩展：作者提供了一套专门针对正交权重的费曼规则，以简化这些递归关系的计算。他们证明了这些规则在 $1/n$ 的所有阶数上的完备性，并通过计算 $V_6$ 修正展示了其实用性，而直接方法在代数上是不可行的。
3. 稳定性的理论解释：通过求解推导出的递归关系（针对单输入情况采用数值解，并通过大深度展开采用解析解），作者表明该理论重现了正交网络中有限宽度张量在实证中观察到的稳定性和饱和性。
4. 临界性分析：本文将神经高斯过程（NNGP）和 NTK 的临界性结果从高斯初始化扩展到正交初始化，证明了无限宽度极限的临界性意味着正交预激活和 NTK 累积量的临界性。

结果

• 稳定性与饱和性：针对 tanh-MLP（宽度 $n=50$，深度 $L=10$）的递归关系数值解与来自网络集合的蒙特卡洛估计表现出极好的一致性。结果证实，归一化的 NTK 张量（$D, F, A, B$）和预激活累积量达到的幅度小于其高斯对应物，并表现出早期层的饱和。
• 大深度行为：解的大深度展开（$\ell \to \infty$）与精确数值解和蒙特卡洛模拟相一致，特别是在 $\ell > n$ 的机制下。这证实了正交网络在大深度下表现出饱和性，而高斯网络中未见此行为。
• 临界性：该研究验证了在临界点（$C_W = 1$），NNGP 和 NTK 在不同深度下保持稳定，这与低秩张量临界性控制高秩张量的自举结构一致。
• 图式验证：费曼图方法成功复现了高斯权重的已知代数结果（通过限制为对角 Weingarten 贡献），并正确生成了正交权重所需的额外项。

意义

这项工作首次为使用正交权重初始化的非线性有限宽度神经网络的稳定性提供了理论解释，填补了文献中长期存在的空白。通过弥合实证观察（Day 等人）与理论分析之间的差距，本文证明了正交网络的稳定性是其有限宽度修正特定结构的直接结果，这些修正由正交 Weingarten 函数控制。为正交权重开发完整的费曼图框架提供了一种强大的工具，可用于系统地计算任意 $1/n$ 阶的网络统计量，从而促进未来对深度学习动力学的理论研究。