🤖 machine learning

Quantifying Depth Sufficiency in Residual Neural Networks: A First-Order Criterion

本文通过证明：当条件激活梯度在容许的残差切空间上具有非零投影时，增加深度才具有价值，从而建立了一个用于确定残差神经网络是否足够深的阶准则，且该条件已在各种架构中得到经验验证，其中梯度范数的递减信号了饱和现象。

原作者： Zeyu Liu, Jinhao Zhang, Yunquan Zhang, Guangming Tan, Xiang Gao, Fangming Liu, Daning Cheng

发布于 2026-08-18

📖 1 分钟阅读☕ 轻松阅读

原作者： Zeyu Liu, Jinhao Zhang, Yunquan Zhang, Guangming Tan, Xiang Gao, Fangming Liu, Daning Cheng

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在人工智能的世界里，最强大的工具通常是通过将一层又一层的数学处理堆叠在一起而构建的，从而创造出能够识别面部、翻译语言或编写代码的深度网络。多年来，普遍的观点一直是：让这些网络变得更深是使其变得更聪明的最可靠途径。这是一种直观的逻辑：更多的层数意味着学习复杂模式的能力更强。然而，这种方法会撞到墙壁。正如一座建筑最终会因为缺乏根本性的重新设计而变得过于高耸、无法稳定或无法使用一样，神经网络也经常会达到一个点，即增加更多的层数不再有帮助。它们停止学习，多余的深度变成了沉重的负担，在没有改善最终结果的情况下消耗了大量的计算能力。工程师和科学家长期以来的关键问题一直是：你如何知道何时达到了那个极限？由于缺乏明确的信号，开发者往往盲目地增加层数，在已经足够深的结构上浪费资源。

一组研究人员现在提供了一种精确的方法来回答这个问题。他们开发了一种方法，用于衡量一个经过训练的神经网络是否真的已经耗尽了增加深度的价值。他们没有通过猜测或等待性能下降，而是创建了一个诊断工具，通过观察网络的内部信号来确定是否还有改进的空间。他们的工作专注于一种被称为残差网络（residual network）的特定架构，在这种架构中，信息通过快捷方式（shortcuts）在层之间流动，允许网络跳过自身的部分内容。这些快捷方式至多少重要，因为它们允许网络在不崩溃的情况下变得非常深。研究人员提出了一个简单但深刻的问题：如果你在一个训练好的网络中插入一个新的空层，它是否真的能帮助网络学习新知识，还是说网络已经达到了它的极限？

为了找到答案，该团队设计了一个受控实验。想象一下，取一个训练好的网络，并小心地插入一个新的层块，这个层块最初被设定为不做任何事情。这个新块被设计成在开始时对系统是“隐形”的；它不产生输出，也不改变网络的当前行为。这种设置允许研究人员隔离地测试新深度的潜力。然后，他们检查网络是否可以利用这个新块来降低其错误率。如果网络能够立即找到一种微调这个新块的方法来提高性能，这意味着网络仍有增长空间。如果即使有了这个新块，网络也找不到任何改进的方法，那就意味着网络已经达到了饱和状态。

研究人员发现，做出这一决策的关键在于“梯度”（gradients），它们本质上是网络为了更好地学习而需要移动的方向。在一个健康、成长的网络中，这些信号是强劲且指向明确的改进方向。然而，随着网络变得越来越深、训练得越来越充分，这些信号开始减弱。团队证明，当这些内部信号完全消失时，这是一个明确的信号，表明增加深度将不再有帮助。他们表明，这种饱和点不仅仅是一个猜测或粗略的估计；它是一个数学边界。如果信号为零，那么无论多么巧妙的优化或不同的初始条件，都无法让额外的深度发挥作用。网络只是耗尽了“一阶价值”（first-order value），这意味着通过新层无法获得即时的改进路径。

为了测试这一理论，研究人员将他们的方法应用于各种模型，包括训练用于识别猫和汽车的图像模型，以及旨在理解人类文本的大型语言模型。他们测量了随着网络深度增加时这些内部信号的强度。在每种情况下，他们都观察到了一个清晰的模式。在开始阶段，当网络较浅时，信号很强，增加更多层会导致性能的快速提升。但随着网络变得越来越深，这些信号稳步下降。最终，信号降到了一个极低的稳定水平。一旦信号达到这个低平原，增加哪怕更多的层也会产生无法衡量的收益。网络实际上已经“满了”。

这项研究还解决了人们普遍担心的一个问题：添加这些层的方法是否会影响最终结果？有时，在复杂的系统中插入新的部分可能会破坏其现有的平衡，使训练变得更加困难。研究人员将他们通过添加这些“隐形块”来增长网络的方法，与从头开始训练具有相同最终规模的全新网络进行了对比。他们发现，这种增长后的网络表现得和从头开始训练的网络一样好，在某些情况下甚至更好。这证实了深度网络之所以不再进步，并不是因为增长方法有缺陷，而是因为网络确实已经达到了它们的极限。额外的深度仅仅无法提供新的学习路径。

这一发现为人工智能的未来提供了实用的指南。开发者不再需要通过盲目堆叠层数来寄希望于更好的性能，现在可以使用这种信号测量法来准确知道何时停止。这使得构建人工智能的过程从一种试错游戏转变为一项更精确的工程任务。通过监测这些内部信号，人们可以确定网络变得足够深的那个确切点。这节省了大量的成本和计算能力，确保只有在增加深度确实有意义时，才投入资源。这项研究表明，仅仅让模型变大并不是唯一的出路；懂得何时停止，与懂得如何开始同样重要。

技术摘要：量化残差神经网络的深度充分性

问题陈述

本文探讨了一个关于神经网络缩放与自适应增长的基础问题：如何确定一个训练好的残差神经网络是否已经足够深？ 虽然增加深度是扩展模型容量的标准方法，但边际收益往往会递减，导致进入一个增加层数几乎无法带来增益的阶段。现有的确定网络何时停止增长的方法依赖于启发式规则（例如验证风险、拟合风险）或在不同深度的独立训练模型之间进行比较。然而，独立比较会将深度效应与初始化差异、优化难度以及训练预算混淆在一起。作者寻求一种严谨的一阶准则，用以识别何时训练好的网络达到了“深度饱和”状态，即任何可容许的保函数残差插入都无法产生严格的局部损失下降。

方法论

作者提出了一个基于保函数残食增长和一阶分析的框架。

1. 问题设置与协议

本研究在一个在观察梯度信号之前就已确定的固定残差增长协议下运行。该协议规定了：

可容许插入候选对象： 可以插入残差块的有限位置集合。
残差族： 参数化的残差函数族 $h_{l, \theta_l}$ 。
保函数初始化： 指定的原点 $\theta_l = 0$ ，使得 $h_{l, 0}(z) \equiv 0$ 。这确保了扩展后的模型 $f_{l, \theta_l}$ 在初始化时代表与参考模型 $f^*_{old}$ 完全相同的函数。
零状态更新： 一种一阶优化器方向规则，其中活跃的残差坐标从零开始，且所有优化器状态变量均初始化为中性的零值。

2. 理论框架

核心理论贡献是对一阶残差深度饱和的表征。

定义： 如果对于任何足够小的正步长，固定的零状态、下降兼容更新都无法产生目标函数的严格下降，则称该候选插入是“饱和的”。
切空间投影： 作者定义残差切空间 $T^{(l)}_h$ 为残差族关于其参数的雅可比矩阵在零初始化处的值域。
主定理（充分必要条件）： 在标准正则性假设下，一个候选对象允许严格的一阶改进，当且仅当条件激活梯度信号（ $m_l$ $m_{l}$ ）在残差切空间 $T^{(l)}_h$ $T_{h}^{(l)}$ 上具有非零投影。
- 数学上，当且仅当 $\Pi_l m_l = 0$ 时发生饱和，其中 $\Pi_l$ 是向切空间的正交投影算子。
- 该边界对于特定的零状态下降兼容优化器（如 SGD、Adam）的选择以及保持切空间不变的正则局部重参数化是具有不变性的。

3. 实际准则与可实现性

论文根据理论投影推导出了实际的诊断准则：

交叉梯度准则： 对于标准的零输出块（一个特征子网络后接一个初始化为零的可训练输出投影），投影准则简化为激活梯度与残差特征之间的交叉梯度。
残差信号可实现性： 作者引入了一个条件，即当前的激活梯度信号完全位于残差切空间内。在此可实现性条件下，原始激活梯度范数成为饱和的充要证书（即：原始梯度消失意味着饱和）。若无此条件，原始梯度消失仅是充分而非必要条件。
有限样本一致性： 论文提供了一个概率界限，表明独立的探测样本可以一致地估计总体饱和得分，从而实现经验检测。

核心贡献

操作性饱和定义： 引入了精确的一阶残差深度饱和定义，并证明了其边界对于所有零状态、下降兼容的一阶更新都是共享的，因此独立于所使用的特定优化器。
精确表征： 确立了存在有用的一阶方向的条件，即精确由条件激活梯度在残差切空间上的投影所表征。这项工作证明了在固定零状态协议下残差非退化的必要性，补充了此前仅建立充分性的研究（Cheng et al. 2026）。
简化的诊断工具： 推导了标准块的交叉梯度准则，并确定了“残差信号可实现性”是原始激活梯度消失作为充要饱和证书的条件。
经验验证： 通过在多种架构上的广泛梯度测量与受控增长实验相结合，验证了该指标。

实验结果

作者在 ResNets (CIFAR-10, CIFAR-100, ImageNet-100)、GPT-2 式模型以及经过持续预训练的 Pythia 检查点上评估了其准则。

1. 深度变化下的梯度范数衰减

观察： 最大样本级激活梯度范数（ $AG_{max}$ ）在早期阶段随深度增加而迅速下降，追踪了任务损失的降低。
饱和阶段： 随着深度增加， $AG_{max}$ 进入一个稳定的低信号阶段（趋近于接近零的值，例如 $< 5 \times 10^{-3}$ ）。
相关性： 这种低信号平台的出现与进一步增加深度几乎不再产生可衡量的性能提升的时间点相吻合。例如，在 CIFAR-10 ResNets 中，当指标降至接近零时（约 16 个残差结构处），性能增益便消失了。

2. 保函数增长 vs. 从头开始训练

设置： 作者将通过保函数插入（从收敛的较浅网络开始）生成的模型与具有相同最终架构但从随机初始化开始训练的模型进行了比较。
结果：
- 收敛质量： 保函数增长实现的训练损失与从头开始训练相当（甚至通常更低）。
- 泛化能力： 生长的模型始终获得比从头训练模型更低的测试损失（平均降低约 11.8%），这表明继承的表示提供了一种有益的归纳偏置或隐式正则化，而没有使模型陷入次优局部极小值。
- 启示： 生长模型中改进的消失并非由于初始化的优化劣势，而是反映了增加更多深度在第一阶意义上缺乏价值的真实情况。

3. 局部插入实验

通过插入与负激活梯度匹配的模块进行的实验证实，当梯度信号非零时，立即的损失降低是可能的；而随着网络进入低信号阶段，这些降低会逐渐消失。

意义与主张

本文声称提供了一个用于确定残差深度是否充分的严谨的一阶准则，建立了在固定协议下残差非退化的必要性，而此前的研究仅证明了充分性。

诊断效用： 激活梯度的量级（特别是其在残差切空间上的投影）可作为残差深度剩余经验一阶价值的保守诊断。
实际指标： 激活梯度中持续存在的低信号平台被提议为一个实用的指标，表明进一步增加深度不太可能产生优化增益，为启发式停止规则提供了一个原则性的替代方案。
理论严谨性： 通过隔离在共同初始化下的深度增量的边际价值，这项工作避免了独立训练比较带来的混淆因素，从而对残差网络中深度缩放的极限提供了更清晰的理解。

作者保持谦逊，指出其准则是严格一阶的；它并不排除通过高阶曲率、随机逃逸或不同增长协议实现改进的可能性。然而，在标准的基于梯度的优化和保函数增长的语境下，所提出的指标为深度充分性提供了一个严谨的边界。