技术摘要：均值场贝叶斯神经网络中的宽度鲁棒可学习性

问题陈述

本文解决了关于过参数化神经网络理论理解中的一个基本差距：无限宽度极限与大规模有限宽度网络行为之间的脱节。虽然无限宽度极限（如神经切线核 NTK 或 NNGP 机制）提供了清晰的解析描述，但并不能保证这些极限能够保留有限网络的复杂度理论归纳偏置。具体而言，在“懒惰”缩放机制（$\gamma < 1$）下，网络表现为固定的核方法，而这类方法在学习简单的结构化目标（例如奇偶校验问题）时，需要超多项式数量的样本，尽管小型有限网络是可以计算这些目标的。

作者研究了均值场缩放（或临界特征学习机制，$\gamma = 1$），在这种机制下，隐藏神经元的分布被允许适应数据。核心问题在于：无限宽度的均值场学习器是否具有与其多项式宽度对应物相同的可学习性质。本文旨在表征均值场极限的归纳偏置，并确定“无限资源”是否引入了伪泛化能力，或者仅仅是简化了解析描述。

方法论与框架

1. 约减熵复杂度度量

作者定义了一个相对于先验的针对目标函数 $y$ 的复杂度度量，称为约减熵 $s_\infty(y, \varepsilon)$：
$$s_\infty(y, \varepsilon) = \limsup_{N \to \infty} \left( -\frac{1}{N} \log \pi_0^N(L \le \varepsilon) \right)$$
其中 $\pi_0^N(L \le \varepsilon)$ 是先验概率，即宽度为 $N$ 的网络实现总体均方误差至多为 $\varepsilon$ 的概率。该量代表了表示该目标的强度先验代价（以每个神经元的 nats 为单位）。如果一个目标的约减熵在输入维度 $d$ 下是多项式有界的，则称其为“简单”目标。

2. 均值场极限与谱分裂

分析依赖于标准的均值场描述，即当 $N \to \infty$ 时，后验分布由单点测度塔（传播混沌）来描述。一个关键的技术洞察是每一层特征核 $K_\ell$ 的谱分裂：

• 活跃空间 ($V$)： 一个低维子空间，对应于携带数据相关信息的核的前几个特征值。
• 懒惰主体 ($C$)： 频谱中剩余的部分，其行为类似于先验（核机制）。
  在临界缩放 $\gamma=1$ 时，懒惰主体仍然显著（与精度阈值 $\varepsilon$ 处于同一数量级），这与过丰富机制（$\gamma > 1$）不同，在后者中，该主体变得可以忽略不计。

3. 核心机制：压缩与守恒

论文通过两个逆向操作建立了可学习性与约减熵之间的等价关系：

• 逐点压缩（正向）： 作者证明，任何具有低约减熵的无限宽度均值场解都可以被压缩为一个多项式宽度的网络，该网络在逐点上与无限宽度解一致（即对于所有 $x$，满足 $|f_{\hat{\theta}}(x) - f_\infty(x)| \le \delta$）。

  • 技术细节： 这涉及一种子采样与重采样策略。构造过程通过子采样多项式数量的神经元来重建活跃成分（使用固定的特征函数以避免偏差）。对于懒惰成分，该方法并非试图保留特定的已实现坐标，而是从先验分布中对其进行重采样。
  • 关键引理： 懒惰交换引理（Lemma 5.1）证明，只要“懒惰敏感度”是有界的，将实现的懒惰坐标替换为新鲜的先验噪声会引入微不足道的误差。这依赖于 Stein 方法以及懒惰块较小的算子范数。

• 通过克隆实现守恒（逆向）： 作者证明，如果一个目标可以被多项式宽度的网络计算（即“教师”网络），那么其约减熵是多项式有界的。

  • 技术细节： 克隆（Cloning）。通过将教师网络中的每个神经元“克隆”为一组 $m$ 个神经元，来模仿一个狭窄的教师网络。这组神经元的权重被约束为接近教师的权重，而正交的自由度则保持在先验水平。
  • 结果： 由于数据仅占据多项式维度的子空间（教师的宽度），达到准确区域的相对熵代价相对于教师的宽度是多项式的，从而确保了低约减熵。

关键结果

定理 3.1：宽度鲁棒可学习性

对于布尔立方体上的目标族和固定深度，以下各项是等价的（在精度、宽度和样本量存在多项式松弛的情况下）：

1. 该目标在无限宽度下可以从多项式数量的样本中学习。
2. 该目标在多项式宽度下可以从多项式数量的样本中学习。
3. 该目标由一个多项式宽度且具有多项式权重规模的网络计算至 $o(1)$ 误差。
4. 约减熵 $s_\infty(y, \varepsilon)$ 在 $d$ 下是多项式有界的。

该定理确立了均值场极限并未获得人为的计算优势；其可学习的目标类与多项式宽度网络是完全一致的。

定理 3.2：压缩与守恒

• 压缩： 如果 $s_\infty(y, \varepsilon_-) \le s$，则存在一个宽度为 $N_0 = \text{poly}(s, d, 1/\Delta)$ 的网络，能以高概率在逐点意义上匹配无限宽度解。
• 守恒： 如果一个宽度为 $W$ 的网络实现了误差 $\varepsilon_-$，那么 $s_\infty(y, \varepsilon) \le \text{poly}(W, d)$。

泛化界

论文表明，无限宽度 Gibbs 后验是否泛化，当且仅当其约减熵较低。证明过程利用了通过压缩定理构建的固定且数据无关的函数类的一致收敛性，而非仅仅依赖于风险界。

意义与主张

本文声称提供了一个针对均值场极限的复杂度理论合理性检查。它认为，无限宽度对象并不是一个解决了有限网络无法解决的问题的“神奇”学习器；相反，它是对相同学习现象的一种更清晰的解析描述。

• 归纳偏置的守恒： 主要贡献在于证明了归纳偏置（目标的复杂度排序）是宽度鲁棒的。在均值场方程中可见的机制（活跃特征学习 vs. 懒惰核行为）并非无限资源的产物，而是反映了学习问题的基本结构。
• 逐点 vs. 均方： 作者强调，其结果比单纯的风险值一致性更强。无限宽度学习器与多项式宽度学习器在逐点上一致，这意味着无限宽度学习到的函数可以显式地由有限网络重现。这使得无限宽度解可以被置于一个固定的有限维类中，以便进行一致收敛性论证。
• 临界缩放 ($\gamma=1$)： 论文强调 $\gamma=1$ 是一个微妙的情况，其中活跃成分和懒惰成分都必须被处理。在过丰富机制（$\gamma > 1$）中，懒惰主体可以忽略不计，使得压缩变得平凡；在懒惰机制（$\gamma < 1$）中，学习器退化为核学习。$\gamma=1$ 机制是独特的，因为懒惰成分与精度阈值处于同一数量级，因此需要特定的“懒惰交换”机制来在不保留特定坐标的情况下保留解的分布。

作者明确指出，他们并不声称任意有限训练算法都能找到 Gibbs 后验，也不声称这些常数在实践中是可行的。该结果是对贝叶斯均值场归纳偏置的一种表征。他们还注意到，虽然该结果类似于一个 “P/poly” 命题（可学习当且仅当可由小型电路计算），但由于还原过程涉及与深度相关的因子，因此该复杂度陈述是粗略的，追踪的是多项式规模而非精确的电路深度。