技术摘要：具有形状化深层非线性 MLP 的贝叶斯推断

问题陈述

深度学习理论旨在刻画当模型参数（宽度 $N$、深度 $L$）和数据集大小（$P$）同时趋于无穷大时，神经网络如何进行预测。一个根本性的挑战在于，$N, L, P \to \infty$ 的极限并不一定满足交换律。现有的框架通常依赖于固定深度的无限宽度极限（产生神经切向核或神经网络高斯过程）或特定的线性网络机制。然而，这些方法往往无法捕捉非线性网络中深度的作用，也无法捕捉在比例缩放机制（即 $L \propto N$ 且 $P \propto N$）中特征学习与核方法之间的相互作用。

本文解决的具体问题是在深层非线性多层感知器（MLP）中，在 $P$（训练样本数）、$N_0$（输入维度）、$N$（隐藏层宽度）和 $L$（隐藏层数量）同时趋于无穷大的联合缩放极限下，对贝叶斯推断进行严格表征。作者试图确定：

1. 在此机制下，预测后验的行为如何。
2. 在何种条件下，深度能够提供增益（增加贝叶斯模型证据）。
3. 非线性网络是否以及如何可以被数据依赖的核方法所近似。

方法论

1. 形状化激活函数

为了确保在 $L, N \to \infty$ 时行为不退化，作者采用了形状化激活函数 $\phi_s$。对于基础非线性函数 $\phi_{base}$，激活函数被缩放为 $\phi_s(x) = s \phi_{base}(x/s)$。这种机制确保了跨多个层的非线性累积效应保持可控，并与线性效应具有可比性。通过选择形状因子 $s$，使得比例 $t = L/N$ 唯一地控制初始化分布。

2. 神经协方差随机微分方程 (NSDE)

核心技术工具是神经协方差随机微分方程 (NSDE)。作者分析了跨层演化的共轭核（隐藏特征的 Gram 矩阵）$\Phi^{(\ell)}$。

• 在 $N, L \to \infty$ 且 $L/N \to t$ 的极限下，核的离散演化收敛于一个扩散过程 $\Phi_t$。
• 该过程由以下方程控制：
  $$d\Phi_t = \alpha_{act} \cdot b(\Phi_t) dt + \Phi_t^{1/2} dB_t \Phi_t^{1/2}$$
  其中 $b(\Phi_t)$ 是依赖于基础非线性的漂移项，$B_t$ 是布朗运动矩阵。
• 为了处理大规模 $P$，引入了时间变换 $\tau = P t$，定义了“深度-时间” $\tau^* = LP/N$。动力学过程经过重新缩放，以平衡扩散项和漂移项。

3. 通过 SDE 计算贝叶斯配分函数

作者将贝叶斯配分函数 $Z_\beta(x_0, \kappa)$（编码了预测后验）重新表述为对共轭核先验分布的期望。

• 利用高斯积分恒等式，配分函数表示为：
  $$Z_\beta(x_0, \kappa) \propto \int_{\mathbb{R}^P} \exp\left(-\frac{1}{2\beta}\|p\|^2 + ip^\top Y\right) \mathbb{E}_{prior}\left[\exp\left(-\frac{1}{2}v^\top \Phi v\right)\right] dp$$
  其中 $v = [p^\top, \kappa]^\top$ 且 $\Phi$ 是倒数第二层的共轭核。
• 根据定理 1，在联合极限下，对 MLP 先验的期望收敛于对 NSDE 解的期望。这使得在深层 MLP 中进行贝叶斯推断的问题简化为求解关于 $\Phi_\tau$ 的 SDE 并计算由此产生的期望。

4. 微扰分析

由于求解任意 $\tau^*$ 的 SDE 是难以实现的，作者针对小有效深度 $\tau = LP/N$ 进行了微扰展开。他们计算了对数配分函数关于 $\tau$ 在 $\tau=0$ 处的的一阶导数。这使得他们能够分离出线性网络成分（仅扩散项）和非线性核成分（仅漂移项）的贡献。

核心贡献与结果

1. 严谨的统一框架

本文提供了第一个在比例极限 $LP/N \in \Theta(1)$ 下，对非线性深层 MLP 进行贝叶斯推断的数学严谨框架。它弥合了无限宽度核方法与深层线性网络之间的鸿沟，涵盖了任意温度（$\beta$）下的平滑激活函数和 ReLU 激活函数。

2. 对已有结果的恢复与泛化

• 深层线性网络： 该框架恢复了深层线性网络的精确结果（其中配分函数涉及 Meijer-G 积分），作为漂移项消失的一个特例。
• 无限宽度极限： 它恢复了如下结果：在 $N \gg LP$ 的极限下，贝叶斯推断简化为一种基于由神经常微分方程（Neural ODE）导出的确定性特征映射的数据无关核方法。
• 弱非线性网络： 结果泛化了物理文献（如 [HZ24]）中关于弱非线性网络的微扰性发现，但具有完全的数学严谨性，且不依赖于未经证实的简化假设。

3. 贝叶斯证据的微扰展开

作者推导出了一个简单的准则，用于判断增加深度（增加 $\tau = LP/N$）何时能改善贝叶斯模型证据（边际似然）。

• 结论 2.1： 对数证据的一阶变化是线性网络项与非线性核项之和。
• 结论 3.1 & 3.2： 对于特定数据分布（归一化的、近似正交的输入），作者推导出了决定深度是否有益的显式不等式。
  • 对于平滑激活函数，如果数据统计特性和激活函数的导数满足一个涉及信噪比和激活函数曲率的特定不等式，则深度是有益的。
  • 对于 ReLU 激活函数，当且仅当标签的方差超过与 ReLU 不对称性（$c_+ - c_-$）相关的阈值时，深度是有益的。
• 相变： 结果表明存在一个相变点，即只有当非线性相对于数据结构不是“太强”时，深度才是有益的。

4. 与数据依赖型核方法的等价性

• 结论 2.2： 在 $\tau$ 的一阶项中，测试数据的贝叶斯预测后验等价于一种核方法，但其具有一个数据依赖的特征映射。
• 与特征映射固定的无限宽度极限不同，这里的有效特征映射包含了一个与训练数据标签及测试输入正交分量成正比的修正项。这为贝叶斯意义下的“特征学习”提供了理论依据：网络学习到的特征映射是对训练集进行了轻微调整的，这与先验特征映射有所不同。

意义与主张

作者声称其工作为理解深层网络中贝叶斯推断的机制提供了一个数学严谨的替代方案，区别于那些依赖启发式假设的物理启发式推导。通过利用 NSDE 和微扰展开，他们：

1. 明确了深度的作用： 他们证明了深度并非普遍有益；其效用取决于数据生成过程、激活函数与温度之间的相互作用。
2. 统一了核方法与特征学习： 他们展示了即使在深层非线性机制下，预测后验仍可以被视为一种核方法，但其特征映射会由训练数据进行动态调整（至一阶）。
3. 提供了分析工具： 该框架允许在先前被认为难以处理的机制下（特别是对于具有有限但较大的宽度和深度的非线性网络），计算贝叶斯统计量（证据、后验均值、方差）。

论文明确指出，其目标并非解决任意 $\tau$ 的一般情况，也不提供对现实世界数据集的实验验证。相反，它建立了一个理论基础，通过随机微分方程和比例缩放极限的视角，来理解深层网络中贝叶斯推断的机制。