Activation-Adjacent Layer Normalization: Effects on Approximation Power

现代人工智能依赖于庞大的简单数学单元网络，这些单元在很大程度上模仿了神经元，用于识别模式、翻译语言和生成图像。这些网络通过将数据传递到各个层来运作，每一层都会对信息进行轻微的变换，然后将其传递给下一层。这一过程中的一个关键组件是被称为“归一化”（normalization）的机制，它就像一个音量控制旋钮，调节通过网络的信号强度，以保持其稳定，防止其变得过于混乱或过于微弱。如果没有这种调整，训练这些复杂的系统将会异常困难。然而，领域内一直存在着一个微妙的问题：这种音量控制是否改变了网络试图讲述的根本故事？具体来说，如果将这种归一化步骤插入网络中，它是否会限制网络学习并表示原本可以学习的相同函数的能力？

来自中国北京航空航际大学的一个研究小组致力于用数学精度来回答这个问题。他们专注于现代人工智能中广泛使用的两种特定类型的归一化：一种根据均方根对信号进行缩放，另一种则通过减去平均值来对信号进行中心化处理。研究人员想要知道，配备了这些工具的网络是否仍能逼近（或紧密模拟）任何标准网络（不带这些工具）可以处理的函数。他们的调查表明，答案是肯定的，但伴随着一个特定的代价。为了保留标准网络的完整表达能力，归一化后的版本必须稍微“宽”一点。仅仅更换组件是不够的；网络必须获得一点额外的“呼吸空间”。

研究人员通过将网络视为一个将输入转换为输出的机器来处理这个问题。他们设想了一个具有特定宽度（由用于处理信息的并行路径数量定义）的标准网络。然后他们问道：如果我们在网络的激活函数之前或之后插入一个归一化步骤，网络需要变得多宽才能完美地恢复原始函数？他们的发现表明，答案取决于归一化的类型以及它放置的位置。对于仅进行缩放的方法，如果网络的激活函数能够产生非常大的数值，那么只需增加一条额外的路径就足以高精度地恢复原始函数。如果激活函数受到更多限制，网络则需要增加几条额外的路径，且误差会随着路径的增加而减小。

当归一化还通过减去平均值来对数据进行中心化处理时，情况变得略显复杂。这额外的步骤引入了第二种网络必须纠正的失真。在这种情况下，研究人员发现，网络需要比原网络多出两条路径，才能达到相同的精度水平。这种额外的宽度允许网络吸收中心化效应，而不丢失表示目标函数的能力。这项研究证明，这些额外的路径不仅仅是一个有用的技巧，而且在最坏的情况下在数学上是必要的。如果网络的宽度低于这些特定的限制，那么无论如何训练，都存在某些它无法学习的函数。

为了验证这些理论极限，研究人员进行了一系列计算机实验。他们采用了标准网络，并按照其证明中推导出的精确数学配方构建了归一化版本，且并未用数据对其进行训练。然后，他们测量了这些归一化网络与原始网络行为的匹配程度。结果与他们的预测完全吻合。当他们增加宽度或增加添加组件的幅度时，误差下降的速度正符合他们公式所预测的速率。他们还测试了一个特定的场景，即网络的激活函数发生了偏移，创造了一种会导致狭窄的归一化网络完全失效的情况。实验证实，如果没有额外的宽度，网络的输出会变得平坦且毫无用处，但一旦增加了宽度，网络便恢复了学习能力。

这项工作为理解现代神经网络设计中的权衡提供了一张清晰的地图。它表明，归一化并不会破坏网络学习复杂函数的能力，但它确实需要网络规模进行微小且可预测的增加，以补偿归一化所引入的变化。这一洞察有助于解释为什么成功的模型通常比完成任务所需的最低限度拥有更多的容量。研究人员展示了，通过仅增加几个维度，网络即使在使用使深度学习成为可能的稳定工具时，也能保持其完整的威力。他们的发现证实，只要设计者考虑到所选归一化步骤带来的特定几何代价，这些网络的架构就是稳健的。