🤖 machine learning

Conservation Laws for Modern Neural Architectures

本文建立了一个统一的理论框架，用以表征现代神经架构（包括具有 GELU、SiLU、SwiGLU 激活函数以及各种注意力机制和混合专家设计的模型）在梯度流中的守恒律，并通过实验验证了这些发现，从而更好地解释过度参数化模型的隐式偏置。

原作者： Viet-Hoang Tran, Vinh Khanh Bui, Tan Lai Ngoc, Nam Nguyen, Tuan Dam, Tan M. Nguyen

发布于 2026-06-17

📖 1 分钟阅读☕ 轻松阅读

原作者： Viet-Hoang Tran, Vinh Khanh Bui, Tan Lai Ngoc, Nam Nguyen, Tuan Dam, Tan M. Nguyen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你正在观察一台庞大且复杂的机器正在被实时构建和调整。这台机器是一个现代 AI 模型（比如那些会写故事或识别图像的模型）。随着机器的学习，它的内部旋钮和拨盘（称为“参数”）不断旋转，以尽量减少错误。

这篇论文就像是一个侦探故事，讲述在一切都在变化的过程中，究竟什么是保持不变的。

核心理念：“不变规则”的奥秘

通常，我们认为训练 AI 是一个混乱的过程，其中的数字会随机上升或下降。但作者发现，即使在这种混沌之中，也存在着严格的守恒定律（Conservation Laws）。

把这些定律想象成物理学中的能量守恒。如果你让一个球从山上滚下，其势能会转化为动能，但总能量保持不变。同样，当 AI 学习时，其内部设置的某些数学组合会始终保持完美恒定，无论它看到了多少数据或训练了多久。

这篇论文的主要目标是为当今最流行的现代 AI 架构寻找这些“隐藏的不变量”。

侦探工作：他们是如何找到这些规则的

作者并不只是在猜测；他们使用了一个数学“放大镜”。他们问道：“如果我们改变数据或起始点，涉及 AI 设置的哪些数学公式永远不会改变？”

他们将 AI 的学习过程视为一条流动的河流。尽管水流（数据和具体路径）在变化，但河床的形状（架构）迫使水流遵循特定的模式。他们为三种主要的现代 AI 组件绘制了这些模式图：

1. “平滑”的前馈网络（大脑）

现代 AI 使用特殊的“激活函数”（数学开关）来决定它应该关注什么。

GELU 和 SiLU： 这些是像平滑、温柔的开关。作者发现，对于使用这些函数的网络，除了系统正在履行职责之外，没有任何有趣的东西保持恒定。这就像一条平滑的河流，没有漩涡；水流只是顺畅地流过。
SwiGLU： 这是顶级模型（如 LLaMA）中使用的一种更复杂的开关。在这里，他们发现了一种隐藏的平衡。想象两个权重 A 和 C 像跷跷板一样作用。如果 A 变重了，C 必须以一种非常特定的方式变轻，以保持总体的“平衡得分”恒定。论文精确地证明了这种平衡是如何运作的。

2. 注意力机制（专注力）

这是 AI 决定句子中哪些词语重要的部分。

标准多头注意力（Standard Multi-Head Attention）： 作者解决了一个前人无法完成的谜题。他们发现，对于每个“头”（子处理器），都有两对权重（查询/键 Query/Key 以及值/输出 Value/Output）必须保持特定的差值。可以把它想象成一场拔河比赛：拉力队的强度必须始终以一种精确的数学方式与推力队的强度相匹配。
旋转位置编码（RoPE）： 这是一种告诉 AI 单词在句子中位置的高级方法（例如，“第一个词”对比“最后一个词”）。作者发现，这彻底改变了规则。不再是简单的拔河，权重现在必须在一个特定的圆周内旋转，以保持“旋转平衡”恒定。这就像舞者旋转；他们的速度和位置在变，但角动量保持固定。

3. 混合专家模型（专家团队）

想象一个 AI 不使用一个巨大的大脑，而是使用一个由 100 个较小专家组成的团队，每次只调用其中几位来处理问题。

门控机制（Gating Mechanism）： 这是决定哪些专家参与工作的“经理”。作者发现，经理的决策与专家的设置是相互关联的。
发现： 无论经理选择前 2 名专家还是前 10 名专家，或者使用“软”投票（softmax）还是“硬”投票（sigmoid），团队决策的总“权重”都保持不变。单个专家可能会变化，但他们影响力的总和遵循严格的规则。

实验：这在现实中有效吗？

作者不仅仅是在纸上做数学题。他们构建了小型 AI 模型，并在真实数据（如图像和文本）上对其进行训练。

他们追踪了这些“守恒量”经过数千个步骤的过程。

结果： 就像摆动的钟摆一样，这些数值保持了惊人的稳定。
注意点： 当他们使用非常快的学习率（较大的步长）时，数值会产生轻微的波动，但这种波动是可预测且微小的。如果放慢学习速度，这些数值几乎会保持完全静止。这证明了这些定律不仅是理论上的，它们也是这些 AI 模型学习过程中真实的、物理性的约束。

总结

简单来说，这篇论文说：“现代 AI 模型并非混乱的堆砌。它们受制于隐藏的、不可打破的数学规则。”

正如汽车引擎有关于燃料如何转化为运动的规则一样，这些 AI 模型也有关于其内部数字如何相互平衡的规则。作者成功地为目前正在使用的最先进 AI 架构编写了这份“规则手册”，向我们展示了在 AI 学习过程中，究竟是什么在保持不变。

技术摘要：现代神经架构中的守恒律

问题陈述
理解过参数化神经网络的训练动力学是解释其成功之处的核心。理解这一机制的关键在于守恒律（conservation laws）的概念——即在优化轨迹（特别是梯度流）上保持不变的量。虽然这些定律在线性网络和 ReLU 网络中已有较好的刻画，但在现代架构中的研究仍处于空白阶段。现有的框架难以对使用平滑激活函数（如 GELU、SiLU）、复杂注意力机制（带有位置编码的多头注意力）以及混合专家模型（MoE）设计的当代模型提供完整的表征。此外，以往关于多头注意力（MHA）的研究仅限于单头设置，使得多头情况成为了一个悬而未决的问题。

方法论
本文开发了一个统一的理论框架，用于表征现代深度学习模型的守恒律。该方法建立在 Marcotte 等人（2023; 2025）的工作之上，但在分析策略上有所不同：

问题建模： 作者将守恒律 $h(\theta)$ 定义为一个在欧几里得梯度流 $\dot{\theta} = -\nabla L_D(\theta)$ 下保持不变的函数。为了使问题具有可操作性，作者采用了如下假设：守恒律必须对任何数据集都成立，从而隔离出仅由架构和优化动力学引起的隐式偏置。
归约为偏微分方程（PDEs）： 作者并未依赖李代数理论，而是将守恒条件归约为一个偏微分方程系统。具体而言，他们要求守恒律的梯度 $\nabla_\theta h$ 对于所有输入，都与模型雅可比向量的张成空间正交。
复分析技术： 证明策略的核心在于将正交条件视为复值函数。通过将这些函数限制在特定的子空间内，并利用亚纯函数的恒等定理，作者推导出了关于 $h$ 的梯度且与输入无关的约束条件。
通过不变量进行表征： 通过求解得到的 PDE 约束来识别“特征不变量”。研究表明，守恒律在由这些不变量定义的水平集连通分量上是常数。

主要贡献与结果
本文为三类主要的现代架构提供了完整的守恒律表征：

前馈网络（FFNs）：
- GELU 与 SiLU： 作者证明，对于使用 GELU 或 SiLU 激活函数的 FFN，其唯一的守恒律是常数函数。不存在非平凡的不变量。
- SwiGLU： 相比之下，SwiGLU 架构（涉及参数矩阵之间的乘法交互）表现出非平凡的守恒律。其不变量由每个隐藏单元 $i$ 的量 $\|A_{:,i}\|^2 - \|C_{i,:}\|^2$ 决定，其中 $A$ 和 $C$ 是涉及门控机制的权重矩阵。
多头注意力（MHA）：
- 原生 MHA： 作者解决了关于多头注意力的开放问题，确认了其守恒律由每个头 $i$ 的不变量 $Q_i^\top Q_i - K_i^\top K_i$ 和 $V_i^\top V_i - O_i^\top O_i$ 表征。
- 正弦位置编码（PE）： 由于正弦 PE 对输入起到了固定的、双射的偏移作用，其守恒结构与原生 MHA 情况完全一致。
- 旋转位置编码（RoPE）： RoPE 从根本上改变了注意力的内部结构。作者推导出了另一套不同的不变量： $\|Q_i^{(j)}\|_F^2 - \|K_i^{(j)}\|_F^2$ （其中 $Q$ 和 $K$ 被分解为 $2 \times 2$ 块）以及 $V_i^\top V_i - O_i^\top O_i$ 。这表明 RoPE 引入了与绝对位置编码不同类型的守恒律。
混合专家模型（MoE）：
- 稠密与稀疏 MoE： 研究涵盖了稠密门控和带有 Top- $k$ 路由的稀疏 MoE（SMoE）。结果显示，SMoE 的守恒律与其对应的稠密 MoE 是一致的。
- 门控机制： 不变量是在专家层面局部化的（遵循每个专家的 SwiGLU 不变量），并且包含一个关于门控权重的额外不变量：门控权重向量之和 $\sum W_i$ 。
- Sigmoid 门控： 作者证明，用归一化 Sigmoid 门控替换 Softmax 门控并不会改变守恒律的集合；其不变量与 Softmax 门控的情况完全相同。

实验验证
理论发现通过语言建模（WikiText-103, Penn Treebank）和计算机视觉（CIFAR-10, ImageNet-1K）任务得到了实证验证。

设置： 实验利用全批次梯度下降（以近似连续时间流）和针对小规模及大规模数据集的微批次 SGD。
指标： 作者追踪了训练过程中“守恒误差”（不变量偏离其初始值的程度）。
发现： 实验证实，守恒律在训练过程中保持有界。具体而言，误差随学习率 $\tau$ 和步数 $k$ 的变化符合理论预测（对于恒定步长为 $O(\tau^2 k)$ ）。无论在何种数据集或训练机制下，该结果在 MHA、SwiGLU FFN、RoPE 和 MoE 门控机制中均保持一致。

意义与主张
本文声称通过为广泛的现代神经架构提供首个完整的守恒律表征，推进了对训练动力学的理论理解。

理论统一： 它建立了一个统一的框架，将之前的研究结果从线性/ReLU 网络扩展到了平滑激活函数和复杂的注意力机制。
解决开放问题： 它明确解决了表征多头注意力守恒律的开放问题，并将分析扩展到了包括位置编码和 MoE 门控在内的领域。
隐式偏置： 通过识别这些不变量，这项工作揭示了现代架构固有的几何约束，展示了从初始化到收敛过程中持续存在的特性。
局限性： 作者谦逊地指出，由于目前依赖于复分析技术（亚纯扩张），该框架的应用目前仍受限于涉及非亚纯组件（如层归一化或涉及 $\sqrt{x}$ 或 $e^{1/x}$ 等函数的深层组合）的架构。他们也承认，虽然数据集无关性的假设对于隔离架构偏置是合理的，但在更广泛的语境下可能被视为具有局限性。