💬 NLP

Why Geometric Continuity Emerges in Deep Neural Networks: Residual Connections and Rotational Symmetry Breaking

本文阐释了深度神经网络中的几何连续性源于残差连接与对称性破缺非线性激活函数的协同作用：前者使各层的权重更新保持一致，后者将各层约束于共享的坐标框架中，从而防止旋转漂移。

原作者： Kyungwon Jeong, Won-Gi Paeng, Honggyo Suh

发布于 2026-05-07

📖 1 分钟阅读☕ 轻松阅读

原作者： Kyungwon Jeong, Won-Gi Paeng, Honggyo Suh

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个深度神经网络是一座庞大、多层的工厂。每一层（或“楼层”）接收原材料，对其进行加工，然后将其传递到上一层。为了让这座工厂高效运转，每一层的“工具”需要以特定的方式对齐。

本文探讨了一个奇特的发现：在训练良好的工厂（神经网络）中，相邻楼层的“工具”（权重矩阵）竟然惊人地相似。如果你观察每个工具指向的最重要方向，它们似乎都指向大致相同的方向，从而在建筑底部到顶部之间形成一条平滑、连续的路径。作者将这种现象称为“几何连续性”。

本文回答的核心问题是：为什么会发生这种情况？ 这是魔法，还是有特定的配方？

通过对简单模型（玩具工厂）和复杂模型（Transformer）的实验，作者发现要形成这种平滑的对齐，需要两种特定的“原料”。如果缺少其中任何一种，工厂就会陷入混乱。

两种秘密原料

1. 电梯系统（残差连接）

想象工厂的楼层之间由一部特殊的电梯连接，它将一条“消息”从底层一直传送到顶层，且几乎不改变其内容。这就是残差连接。

它的作用： 它确保“误差信号”（告知工厂哪里出错的“消息”）能够顺畅地从顶层传回到底层。
类比： 如果没有这部电梯，消息在每一层都会丢失或被打乱。有了它，每一层都能听到关于“需要修复什么”的相同故事。这就创造了一种共享的“连贯性”或行动共识。
结果： 这种消息的对齐是第一步。它使得各楼层倾向于指向相同的方向。

2. 锁定机制（打破对称性的非线性）

这是最关键且最令人惊讶的部分。即使有了电梯，工厂仍可能失败。想象一下，如果每一层都能自由地将整个机器旋转 360 度。即使它们都同意做什么，它们也可能将工具随机地指向北、南、东或西。这样，“平滑路径”就会断裂。

为了阻止这种情况，工厂需要一个锁定机制。在神经网络中，这由激活函数（如 ReLU）和归一化（如 LayerNorm）提供。

类比： 将这些函数想象成一种“磁性锁”，将机器锁定在固定的坐标系中。它们打破了“旋转对称性”。
- 没有锁（线性/无激活）： 机器可以自由旋转。即使各楼层就任务达成一致，它们在方向上也会逐渐偏离。平滑路径会崩塌。
- 有锁（ReLU/SiLU）： 机器被固定在特定的网格上，不再能自由旋转。因为它们都被固定在同一个网格上，并且都听到了来自电梯的相同消息，它们自然会将其工具对齐到同一方向。
转折： 重要的不是“非线性”（数学的复杂性），而是旋转对称性的打破。作者通过使用一种特殊的“保持旋转”的数学函数证明了这一点，该函数虽然复杂（非线性），但并未锁定旋转。结果呢？工厂依然分崩离析。英雄是“锁”，而不是复杂性。

工厂楼层如何对齐（过程）

本文描述了一个两步走的“舞蹈”：

形成： 电梯（残差连接）使各楼层就梯度的方向（修复误差的路径）达成一致。
保持： 锁定机制（激活函数/归一化）将这种共识固定下来，防止工具随时间推移而偏离。

如果你移除了锁，楼层可能会在瞬间保持对齐，但随后它们会像雾中的船只一样缓慢漂移，最终破坏平滑路径。

Transformer 的转折：读取与写入

本文还研究了Transformer（现代 AI 如大语言模型背后的架构）。这些是更复杂的工厂，拥有不同类型的工人：

读取者（Q、K、门控、Up）： 这些工人观察主传送带（残差流）。它们在输入空间（它们如何观察世界）中发展出连续性。
写入者（O、Down）： 这些工人写回传送带。它们在输出空间（它们如何影响世界）中发展出连续性。
异类（V）： “值”投影是一个读取者，但它旁边没有“锁”（没有激活函数）。由于缺乏打破对称性的锁，它从未发展出平滑路径。它保持混乱且不对齐。

用通俗语言总结

本文得出结论：我们在 AI 权重中看到的平滑、连续的结构并非偶然。它是两个设计选择的直接结果：

残差连接充当通信高速公路，确保所有层听到相同的指令。
激活函数充当磁性夹具，阻止各层偏离对齐。

如果你只有高速公路而没有夹具，各层会相互漂移。如果你只有夹具而没有高速公路，它们就无法就做什么达成一致。你需要两者兼备，才能构建一个深层、稳定且几何连续的神经网络。

技术摘要：深度神经网络中几何连续性的涌现原因

问题陈述

最近的观察表明，深度神经网络（特别是大型语言模型，LLM）相邻层的权重矩阵表现出几何连续性：它们的主奇异向量指向相似的方向，在网络深度上形成平滑的轨迹。尽管这一现象已在经验上得到记录，并与层剪枝和跨层参数共享等实际益处相关联，但其根本起源仍未被解释。目前尚不清楚这种连续性是训练深度网络的必然结果，还是需要特定的架构条件。本文旨在探究几何连续性的机制起源，以确定它是特定优化器的产物，还是残差网络中学习过程的结构性副产品。

方法论

作者结合了对“玩具”多层感知机（MLP）和小型 Transformer 的受控消融实验，以及对预训练 LLM 的分析。

玩具 MLP 实验（MNIST）：
- 架构： 一个 16 层残差 MLP，隐藏层维度为 256。
- 变量： 研究通过以下方式系统地隔离架构组件：
  - 移除残差连接（NoRes）。
  - 移除激活函数（Res+None）。
  - 用旋转等变非线性函数替换标准激活函数（Res+Radial，使用 $\sigma_{rad}(x) = x \cdot \tanh(\|x\|)$ ）。
  - 改变初始化尺度和优化器设置（例如，使用 $\beta_2=0$ 的 Adam）。
- 指标： 作者测量相邻层之间主奇异向量（输入空间的 $v_1$ ，输出空间的 $u_1$ ）的余弦相似度。他们还定义了一个 $\sigma^2$ 加权的对齐指标，以评估整个奇异谱上的连续性，并追踪累积梯度的相干性。
Transformer 实验（WikiText-103 与预训练 LLM）：
- 小规模： 一个在 WikiText-103 上训练的 Llama 风格 Transformer（8 层，3400 万参数）。作者对 MLP 激活函数进行消融，以测试它们对不同投影矩阵（Q、K、V、Gate、Up、O、Down）的具体影响。
- 大规模： 分析预训练的 Llama-3.1-8B 及高达 700 亿参数的模型，以验证观察到的模式在大规模下是否成立。

主要贡献与发现

1. 几何连续性的两个必要条件

本文确定了几何连续性涌现并持续所需的两个不同机制：

条件 1：残差连接（梯度相干性）：
残差连接确保相邻层接收到相似的误差信号。在残差网络中，相对于某层输入的梯度包含一个恒等项（ $I$ ），从而产生跨层梯度相干性。实验结果表明，如果没有残差连接，梯度连续性会下降到随机水平（约 0.05），且权重连续性无法形成。
条件 2：破缺对称性的非线性（坐标系稳定）：
虽然残差连接提供了相干的梯度，但如果没有对称性破缺，它们不足以维持权重连续性。
- Res+None 的失败： 移除激活函数（留下线性残差网络）会导致高梯度连续性（约 0.93），但权重连续性低（约 0.22）。权重最初形成连续结构，但由于旋转漂移而随后崩溃。
- 机制： 在线性网络中，权重乘积具有连续的旋转对称性（$SO(d)$），这在损失景观中创造了平坦方向，权重可独立漂移。逐元素激活函数（ReLU、GELU、SiLU）打破这种对称性，将各层约束在共享的坐标系中，防止漂移。
- 非线性与对称性破缺： 关键在于，非线性本身并非活跃因素。旋转等变激活函数（Res+Radial）是非线性的，但保留了 $SO(d) $对称性，无法维持连续性（权重$ v_1 \approx 0.22$）。这孤立出对称性破缺是关键因素。

2. 激活函数与归一化的不同作用

激活函数： 将几何连续性集中在主导奇异方向（ $v_1$ ）上。
LayerNorm： 以不同方式打破对称性，将连续性分布在多个奇异方向上。当两者结合时，激活函数主导的 $v_1$ 集中模式占主导地位。

3. Transformer 中的特定投影连续性

在 Transformer 架构中，几何连续性并非均匀的，而是特定于投影的，由非线性函数的邻近度以及相对于残差流的信息流向决定：

输入空间（ $v_1$ ）连续性： 从残差流读取并随后跟随非线性函数的投影会形成强大的输入空间连续性。这包括 Q、K（由 Softmax 稳定）、Gate（由 MLP 激活函数稳定）以及 Up（通过与激活后的 Gate 进行门控乘法而稳定）。
输出空间（ $u_1$ ）连续性： 写入残差流并接收非线性后信号的投影会形成输出空间连续性。这包括 O 和 Down。
低连续性： V（Value）投影在两个空间中仅发展出低连续性，因为它缺乏相邻的非线性函数来打破对称性并锚定其框架。

4. 梯度到权重的转移动态

研究揭示了一个因果序列：

梯度相干性： 由于残差连接，跨层梯度连续性在初始化时（权重更新前）立即存在。
权重形成： 随着训练进行，权重更新累积。一旦累积更新的幅度（ $\|\Delta W\|$ ）超过初始权重（ $\|W^{(0)}\|$ ），权重结构便与累积梯度结构对齐。
稳定化： 破缺对称性的非线性函数防止了原本会使权重结构与相干梯度信号解耦的“旋转漂移”。

意义与主张

本文主张，几何连续性是残差网络中具有破缺对称性非线性函数的学习过程的结构性副产品，而非特定优化器或训练技巧的产物。

机制解释： 该工作为 LLM 中相邻层为何共享相似的奇异向量结构提供了机制解释，直接将架构选择（残差、激活函数）与涌现的权重几何联系起来。
压缩策略的验证： 这些发现为现有的模型压缩技术（如层剪枝、跨层参数共享）提供了理论基础。本文认为，由于连续性自然产生于学习过程，训练良好的模型本质上具备使这些压缩策略可行的跨层相似性。
设计启示： 特定于投影的模式表明，压缩或参数共享策略应尊重每个投影所构建的特定空间（输入空间与输出空间）。例如，Q、K、Gate 和 Up 共享输入空间基，而 O 和 Down 共享输出空间基，而 V 则没有明显的跨层共享机会。

作者对其主张保持谦逊，指出虽然 MLP 和 Gate 投影的机制已通过直接消融实验明确，但关于 Transformer 中 Q/K 和 V 的主张分别依赖于间接证据或缺乏非线性函数的事实。他们还承认，虽然模式在不同规模（高达 700 亿参数）下成立，但更大规模下旋转漂移的具体训练动态尚未得到完全验证。