🤖 machine learning

The Geometric Cost of Normalization: Affine Bounds on the Bayesian Complexity of Neural Networks

该论文从几何角度证明，LayerNorm 的均值中心化操作通过将数据约束于线性超平面，相比保持局部学习系数不变的 RMSNorm，能确切地使后续权重矩阵的局部学习系数降低 $m/2$ ，且这一复杂度缩减由数据流形的仿射平坦性决定，并在 Softmax 等特定数据分布下得到实验验证。

原作者： Sungbae Chun

发布于 2026-03-31

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Sungbae Chun

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文探讨了一个非常有趣且反直觉的问题：在神经网络中，两种流行的“数据整理”方法（LayerNorm 和 RMSNorm），虽然看起来很像，但它们对模型“大脑复杂度”的影响却截然不同。

为了让你轻松理解，我们可以把训练神经网络想象成教一个学生（模型）通过观察世界（数据）来解题。

1. 核心概念：什么是“复杂度”？

想象一下，学生手里有一堆解题工具（参数）。

名义上的工具数：学生书包里有多少把尺子、多少支笔（这是模型里有多少个参数）。
实际有效的工具数：学生真正能用来解题的工具有多少？
- 如果有些工具因为某种原因完全用不上（比如尺子被锁在盒子里，或者题目根本不需要量长度），那么虽然书包里有很多工具，但实际有效的工具数就变少了。
- 论文里用的术语叫 LLC（局部学习系数），它衡量的就是这种“实际有效的工具数”。LLC 越低，说明模型越“精简”，越不容易死记硬背（过拟合），泛化能力可能越好。

2. 两种整理方法：LayerNorm vs. RMSNorm

在教学生之前，我们需要先把数据（题目）整理一下，让它们更整齐。这就好比把一堆乱糟糟的试卷理平。

LayerNorm：强制“归零”的严厉老师

做法：LayerNorm 会强制把每一道题的平均分变成 0。
比喻：想象老师把全班同学的分数都减去一个平均分，让大家的总分变成 0。
后果：这就把数据强行按在了一个平坦的平面上（就像把一张纸压平在桌子上）。
- 因为所有数据都在这张“桌子”上，老师（模型）发现：在这个平面之外，有一个方向是完全看不见、也摸不着的。
- 结果：模型在这个方向上失去了“自由度”。就像你被限制只能在一个平面上画画，你少了一个维度的创作空间。
- 论文发现：这种限制是永久且精确的。每经过一次 LayerNorm，模型的有效参数就会精确减少一半的输出维度（m/2）。这是一种结构性的“降维打击”，在训练开始前就已经发生了。

RMSNorm：只关心“大小”的温和老师

做法：RMSNorm 只关心分数的“总能量”（均方根），让它变成 1，但不强制平均分变成 0。
比喻：老师把大家的分数调整，让总分看起来一样大，但允许大家有的高、有的低，甚至允许平均分不为 0。
后果：数据被投影到了一个球体表面。
- 球体是鼓起来的，它向四面八方延伸。在这个球面上，没有任何一个方向是“看不见”的。
- 结果：模型依然拥有完整的自由度，有效参数数量一点都没少。

3. 关键发现：弯曲 vs. 平坦

论文提出了一个非常酷的几何阈值：

只要有一点点“弯曲”：如果数据所在的表面哪怕有一点点弯曲（像球面、抛物面），模型就能“看”到所有方向，复杂度不会降低。
必须是“绝对平坦”：只有当数据被强行按在完全平坦的平面（像 LayerNorm 做的那样）上时，模型才会“瞎”掉一个方向，导致复杂度断崖式下跌。
有趣的实验：研究人员故意把平坦的平面弄出一点点小凸起（弯曲）。
- 如果这个凸起很大且分布广，模型马上就能“醒”过来，复杂度恢复正常。
- 如果这个凸起很小且很窄（像针尖一样），在数据量有限时，模型可能“感觉”不到这个弯曲，依然以为自己是平坦的，所以复杂度还是低。
- 结论：是否降低复杂度，取决于数据真正体验到了多少弯曲，而不仅仅是理论上有没有弯曲。

4. 一个隐藏的“走私”偏见（Smuggled Bias）

论文还发现了一个关于 Softmax（常用于分类任务，比如把概率加起来等于 1）的有趣现象：

Softmax 把数据限制在一个三角形（单纯形）上，这个三角形不经过原点（就像一张桌子不在地板中心，而是悬在半空）。
如果模型是纯线性的（没有偏置项），它够不着这个桌子，所以复杂度不变。
但如果模型加了一个偏置项（Bias），就像给模型装了一根“伸缩杆”，它就能碰到那个桌子了。
结果：这时候，模型会再次“丢失”一个维度的自由度，复杂度再次降低 m/2。这被称为“走私偏见”，因为原本不存在的限制，通过偏置项被“走私”进了模型。

5. 总结：这对我们意味着什么？

LayerNorm 是“双刃剑”：它通过强制数据变平，主动减少了模型的复杂度。这听起来是好事（模型更简单，可能更不容易过拟合），但也意味着它牺牲了一部分表达能力。
RMSNorm 是“保守派”：它保留了所有维度，让模型保持最大的自由度，不主动做减法。
几何决定命运：在深度学习里，**数据的形状（几何结构）**直接决定了模型有多少“大脑皮层”可用。LayerNorm 把数据压扁了，模型就少了一块皮层；RMSNorm 把数据撑成球，模型就保留了全部皮层。

一句话总结：
LayerNorm 像是一个严厉的监工，把数据按在平地上，虽然让模型变简单了（LLC 降低），但也让模型“少看”了一个方向；而 RMSNorm 像是一个自由的园丁，让数据在球面上自由生长，保留了模型所有的观察视角。这篇论文告诉我们，选择哪种归一化方法，本质上是在选择给模型保留多少“思考空间”。

1. 研究背景与核心问题 (Problem)

在深度学习中，LayerNorm (LN) 和 RMSNorm 通常被视为可互换的归一化技术。然而，本文指出它们在几何结构上存在根本差异，这种差异对模型的贝叶斯复杂度（Bayesian Complexity） 有精确且可量化的影响。

核心问题：归一化层如何通过约束数据流形（Data Manifold）的几何形状，进而影响后续权重矩阵的有效参数数量？
关键指标：作者使用 局部学习系数 (Local Learning Coefficient, LLC) 作为衡量模型有效复杂度的贝叶斯指标。LLC 反映了模型参数空间中的连续对称性（即损失函数不变的方向）。
假设：如果归一化将数据限制在一个低维子流形上，导致权重矩阵的某些方向对损失函数“不可见”（即产生对称性），那么 LLC 就会下降。

2. 方法论 (Methodology)

本文结合了奇异学习理论 (Singular Learning Theory, SLT) 的代数推导与受控的数值实验。

2.1 理论框架

流形约束与对称空间：归一化层将数据 $x$ 限制在 $\mathbb{R}^d$ 的某个子流形 $M$ 上。如果 $M$ 的线性张成空间（Linear Span）维度 $d_s$ 小于输入维度 $d$ ，则权重矩阵 $W \in \mathbb{R}^{m \times d}$ 中存在一个对称空间 $S_M$ ，使得 $U \in S_M$ 满足 $Ux = 0$。
LLC 下降公式：对于单线性层，LLC 的下降量 $\Delta\lambda$ 由下式给出：
$\Delta\lambda = \frac{m(d - d_s)}{2}$
其中 $m$ 是输出维度， $d_s$ 是数据流形的线性张成维度。
仿射对称性扩展：对于包含偏置项（Bias）的仿射层，如果数据位于仿射超平面（如 Softmax 输出的单纯形），且偏置项存在，则会激活额外的对称性，导致类似的 LLC 下降。

2.2 实验设置

架构：使用极简的单线性层架构（Teacher-Student 设置），以隔离归一化带来的几何约束，排除深层网络中其他对称性（如 $GL(r)$ 缩放对称性）的干扰。
工具：使用 wrLLC 框架和 SGLD (Stochastic Gradient Langevin Dynamics) 来估计 LLC。
变量控制：
- 改变输出维度 $m$ 和输入维度 $d$ 。
- 测试不同的流形几何形状（抛物面、双曲面、鞍面、平坦超平面）。
- 对比 LayerNorm、RMSNorm 和 Softmax 约束下的表现。

3. 主要贡献 (Key Contributions)

LLC 降低的几何阈值理论：
- 证明了 LayerNorm 通过均值中心化将数据投影到通过原点的线性超平面（ $1^\top x = 0$ ），使得 $d_s = d-1$ ，从而导致 LLC 精确下降 $m/2$ 。
- 证明了 RMSNorm 将数据投影到球面上，球面具有完整的线性张成空间（ $d_s = d$ ），因此 LLC 保持不变（ $\Delta\lambda = 0$ ）。
- 揭示了关键机制：只有仿射平坦（Affinely Flat） 的流形（如超平面）才会导致 LLC 下降；任何非零曲率（无论正负或大小）的流形都能保持完整的线性张成，从而保留 LLC。
有限样本下的相变现象：
- 理论上的阈值是二元的（平坦 vs 非平坦），但在有限样本和 SGLD 估计中，观察到平滑的过渡。
- 过渡的宽度和位置取决于数据分布实际“体验”到曲率的比例，而不仅仅是曲率是否存在。如果曲率过于集中（如窄高斯凸起），SGLD 采样器可能无法检测到，导致 LLC 仍表现为平坦流形的值。
单纯形 - 偏置对偶性 (Simplex-Bias Duality)：
- 提出了**“走私偏置” (Smuggled Bias)** 概念：Softmax 将数据限制在单纯形上（ $1^\top x = 1$ ）。
- 在严格线性层中，由于单纯形不经过原点，线性张成维度仍为 $d$ ，无 LLC 下降。
- 在仿射层（含显式偏置 $b$ ） 中，数据约束与显式偏置不可区分，激活了 $m$ 维对称空间，导致 LLC 下降 $m/2$ 。
精确的代数预测与实验验证：
- 在受控的单层实验中，验证了 LayerNorm 导致 $\Delta\lambda \approx m/2$ ，而 RMSNorm 导致 $\Delta\lambda \approx 0$ ，与理论预测高度一致。

4. 实验结果 (Results)

LayerNorm vs. RMSNorm：
- 随着输出维度 $m$ 的增加，LayerNorm 下的 LLC 下降量线性增加，斜率约为 $0.5 $（即$ \Delta\lambda = m/2$）。
- RMSNorm 在所有测试维度下 $\Delta\lambda \approx 0$ 。
- 改变输入维度 $d$ 不影响 LayerNorm 的下降量（只要 $m$ 固定），证实下降量仅取决于损失的维度数（ $d-d_s=1$ ）。
曲率阈值实验：
- 在抛物面、双曲面、鞍面（均有非零曲率）上，LLC 与无约束高斯基线一致。
- 仅在平坦超平面上，LLC 出现约 $2.0 $($ m=4$ 时) 的显著下降。
- 在“高斯凸起”实验中，宽凸起能迅速恢复 LLC，而窄凸起需要更大的振幅才能被检测到，证实了有限样本下的平滑过渡特性。
Softmax 与偏置实验：
- 严格线性层 + Softmax 输入： $\Delta\lambda \approx 0$ 。
- 仿射层（含 Bias）+ Softmax 输入： $\Delta\lambda \approx 2.26$ ，非常接近理论值 $m/2 = 2.0$ 。

5. 意义与影响 (Significance)

重新理解归一化技术：
- 揭示了 LayerNorm 和 RMSNorm 不仅仅是训练稳定化工具，它们在贝叶斯复杂度层面有本质区别。LayerNorm 通过几何约束“隐式地”减少了有效参数数量，这可能影响模型的泛化能力和记忆能力。
对注意力机制 (Attention Sinks) 的启示：
- 作者推测，LayerNorm 导致的 $W_V$ 矩阵 LLC 下降（ $m/2$ ）可能结构上促使 $W_V$ 倾向于低秩解，这与 Transformer 中观察到的“注意力汇 (Attention Sinks)"现象有关。虽然初步实验未完全证实，但这提供了一个新的几何解释视角。
对“顿悟” (Grokking) 动态的潜在影响：
- 由于 LayerNorm 减少了与记忆相关的自由度，它可能使模型在训练过程中更容易访问到泛化电路，从而加速相对于 RMSNorm 的“顿悟”转变。
理论工具的创新：
- 将奇异学习理论（SLT）应用于归一化层的几何约束分析，提供了一种量化神经网络结构复杂度的新范式，区分了由架构对称性引起的退化和由数据几何引起的退化。

总结

该论文通过严格的数学证明和受控实验，确立了归一化层的几何形状（平坦 vs 弯曲）是决定后续层贝叶斯复杂度的关键因素。LayerNorm 因其平坦的超平面约束而降低模型复杂度（ $m/2$ ），而 RMSNorm 因其球面约束保持复杂度不变。这一发现为理解归一化技术在深度学习中的深层作用提供了新的几何视角。