技术摘要：归一化残差网络中宽度缩放的机制

问题陈述

现有的神经网络宽度理论主要表征渐近极限（例如，高斯过程、神经切线核）或有限宽度的修正。然而，这些框架往往无法提供有限样本证书，用以判定从特定有限训练数据中识别出的局部扩张方向，在未见的测试数据上是否仍然是有益的。这一差距对于模型增长策略（如 Net2Net、渐进式堆叠、学习到的增长算子）至关重要，因为在这些策略中，必须确定向已训练模型中提出的插入操作是否能实现超越训练集的泛化提升。

先前关于归一化残差网络的研究确立了一个定性机制：在零输出初始化下插入一个残差块，如果其特征不与插入点的误差信号正交，则会创建一个下降方向。然而，该方向的定量有限样本可观测性仍未得到解决，以往的研究通常依赖于对协方差谱、总方差和预设宽度增长率的强假设。

方法论

理论框架

作者引入了有效对齐维度（Effective Alignment Dimension, $d_{\text{align}}$），这是一个可测量的量，描述了特定插入点处激活梯度的信号-噪声几何结构。

1. 激活-梯度信号： 对于一个已训练的参考模型 $f^*_{\text{old}} = f_{\text{top}} \circ f_{\text{bot}}$ 及一个插入点，激活梯度定义为 $q(x, y) = \nabla_z \ell(f_{\text{top}}(z), y)|_{z=f_{\text{bot}}(x)}$。
2. 对齐统计量： 研究分析了训练集中的经验激活-梯度平均值 ($\mu_M$) 与独立测试集 ($g_K$) 之间的内积。当发生失配时，满足 $\mu_M^\top g_K \leq 0$。
3. 精确表征： 作者推导了该内积的精确均值和方差：
   • $\mathbb{E}[\mu_M^\top g_K] = \|\bar{\mu}\|_2^2$
   • $\text{Var}(\mu_M^\top g_K) = (\frac{1}{M} + \frac{1}{K})\bar{\mu}^\top \Sigma \bar{\mu} + \frac{1}{MK}\text{tr}(\Sigma^2)$
     其中 $\bar{\mu}$ 是总体均值，$\Sigma$ 是激活梯度的总体协方差。
4. 有效维度： 基于信噪比定义了两个无量纲量：
   • 方向有效维度：$d_\parallel = \frac{\|\bar{\mu}\|_2^4}{\bar{\mu}^\top \Sigma \bar{\mu}}$
   • 协方差能量有效维度：$d_2 = \frac{\|\bar{\mu}\|_2^4}{\text{tr}(\Sigma^2)}$
   • 有效对齐维度： $d_{\text{align}} = \min\{d_\parallel, d_2\}$

主要理论结果

定理 1（有限样本对齐界限）：
在独立采样且具有非零总体均值的有限二阶矩假设下，失配概率受限于：
$$\Pr(\mu_M^\top g_K \leq 0) \leq \frac{1}{1 + n_{\text{eff}}(M, K) d_{\text{align}}}$$
其中 $n_{\text{eff}}(M, K) = \frac{MK}{M+K+1}$ 是有效样本量。

关键理论特性：

• 最小假设： 该界限仅要求有限二阶矩和非零总体梯度。它不需要协方差谱、四阶矩条件或预设的宽度增长率。
• 宽度的作用： 宽度并不直接进入证书中。相反，它通过改变激活-梯度的分布来影响证书，从而改变 $d_{\text{align}}$。如果 $d_{\text{align}}$ 随宽度增加，则失配概率降低。
• 恢复先前结果： 在先前研究使用的更强的条件（协方差谱和信号增长）下，$d_{\text{align}}$ 随宽度线性增长（$d_{\text{align}} = \Omega(N)$），从而恢复了之前的渐近宽度相关速率。然而，新框架将这些增长条件视为充分条件而非必要条件。

定理 2（直接训练-测试扩张）：
将对齐证书整合到直接训练-测试扩张框架中，可以得到测试风险改善的高概率条件。如果对齐为正（这发生的概率 $\geq 1 - B_{\text{align}}$），且满足其他条件（优化增益、泛化控制），则扩张后的模型会严格改善测试风险。

实验验证

作者在三种模型族中验证了该理论：宽度受控的 LLaMA 式 Transformer、Pythia 套件以及 ResNet-20。

1. 激活-梯度几何结构的宽度缩放

• LLaMA 式 Transformer： 对宽度 $N \in \{512, \dots, 3072\}$ 的实验显示，$d_{\text{align}}$ 随宽度单调增加（从 $N=512$ 时的 $\approx 3.9$ 增加到 $N=3072$ 时的 $\approx 9.5$）。
• Pythia： 受控的深度内比较（6 层和 32 层机制）证实，增加隐藏宽度会同时增加激活-梯度统计量和 $d_{\text{align}}$。
• ResNet-20： 在 CIFAR-10/100 上改变通道宽度乘数，显示出随着宽度增加，$d_{\text{align}}$ 呈现一致的增长。

2. 梯度失配概率

• 经验趋势： 在保持采样预算 ($M, K$) 不变的情况下，随着模型宽度的增加，经验失配概率降低。
• 证书一致性： 理论证书（$B_{\text{exact}}$ 和 $B_{\text{align}}$）与经验失配概率紧密追踪，其中简化的证书提供了一个保守的单标量表征。
• 样本量依赖性： 增加 $M$ 和 $K$ 会进一步降低失配，展示了模型宽度（改善几何结构）与样本量（减少估计不确定性）之间的互补作用。

3. 直接残差干预

• 干预设置： 作者插入一个零初始化的残差参数，并测量实际的留出损失变化。
• 预测准确性： 对齐统计量 ($\mu_M^\top g_K$) 能够准确预测损失变化的符号和局部幅度。正向对齐一致地预测了留出损失的下降，且在小扰动尺度下，观察到的幅度保留了预测值的 96–99%。

意义与主张

本文声称提供了第一个针对归一化残差网络中，由训练识别的扩张方向向测试数据迁移性的特定实例、有限样本证书。

1. 定量机制： 它用受有效对齐维度和有效样本量控制的定量界限，取代了定性或渐近性的论证。
2. 宽度的条件收益： 本研究明确了增加宽度的收益是有条件的，而非自动的。宽度仅在它能改善激活梯度的相对信噪几何结构（$d_{\text{align}}$）时，才能提升泛化能力。
3. 实际估计： 有效对齐维度可以通过对已训练模型进行少量前向-后向传播来估计，而无需显式构建大型协方差矩阵，这使得该指标对于模型增长决策具有可操作性。
4. 鲁棒性： 理论保证在不依赖于限制性的协方差谱或增长率的情况下依然成立，仅依赖于有限二阶矩。

作者得出结论，观察到的经验趋势——即更宽的模型表现出更大的 $d_{\text{align}}$ 和更低的失配率——支持了所提出的机制：$N \uparrow \implies d_{\text{align}}(N) \uparrow \implies p_{\text{misalignment}(N)} \downarrow$。这为为什么在实践中增加宽度通常能带来更好的泛化提供了理论基础，特别是通过有限样本方向稳定性的视角。