🤖 machine learning

Muon as a Residual Connection

本文为 Muon 优化器提出了一种机理层面的解释，将其视为一种隐式的残差连接，通过牺牲即时的梯度保真度来提升下游层的表示保持能力，从而为其有效性提供了一个概念性的解释，并为平衡局部下降与下游可用性提供了一个新的设计视角。

原作者： Hao Huang

发布于 2026-07-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Hao Huang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心思想：Muon 是一个“隐藏的捷径”

想象你正在试图教一群工人（神经网络）去解决一个复杂的拼图。通常情况下，你会根据他们犯下的眼前错误，精确地告诉每个工人该做什么。这就是标准优化器的工作方式：它们专注于尽可能快地修复当前的错误。

这篇论文介绍了一种名为 Muon 的新优化器。虽然 Muon 看起来像是一个简单的数学技巧（它强制要求工人的更新是“正交”的，即与当前路径成直角），但作者提出了一个理解其为何如此高效的新视角。

他们认为 Muon 扮演了一个隐藏的“残差连接”（Residual Connection）的角色。

在深度学习中，“残差连接”就像一条传送带，将原始食材从厨房的起点一直运送到终点，跳过了中间的切碎和搅拌过程。这有助于最后的厨师（最后一层）看到原始食材并决定如何使用它们，而不是仅仅依赖于被切碎后的版本。

作者声称 Muon 隐式地实现了这一点。它并没有在网络中添加物理上的传送带。相反，通过改变更新权重的方式，它自然地保留了信息的“形状”，使得后续层即使在当前层没有完美修复自身错误的情况下，仍能轻松使用这些信息。

权衡：速度 vs. 可用性

要理解 Muon，你需要观察两个目标之间的权衡：

梯度保真度（“当下”的目标）： 尽可能快地修复当前层的错误。
表示保留（“后续”的目标）： 确保传递给下一层的信息仍然易于理解和使用。

雕塑家的类比：
想象一位雕塑家（优化器）正在尝试雕刻一座雕像。

标准优化器 (SGD)： 雕塑家在有误差的地方精准地凿去石料。他们能非常迅速地让当前部分的形状变得完美。然而，他们可能会不小心把石头雕刻成一种让下一位雕塑家很难衔接下一个部件的样子。
Muon： 雕塑家采取了略微不同的凿刻路径。他们可能不会像第一位雕塑家那样快速地让当前部分达到完美。但是，他们雕刻出的石面为下一位雕塑家提供了一个平滑、平整的表面，方便其抓取。

论文的观点：
Muon 愿意牺牲一点点修复当前层错误的即时速度（牺牲“梯度保真度”），以换取让下一层更容易工作的效果（提高“表示保留”）。

实验：两阶段测试

作者通过一个简单的、受控的实验（类似于两个排队的工人）测试了这个想法。

第一阶段：局部测试
他们要求第一个工人学习一个特定的模式。

结果： 标准优化器（SGD）比 Muon 学得更快、更准确。在此阶段，Muon 显得“较慢”。
结论： Muon 确实在局部任务上牺牲了即时速度。

第二阶段：下游测试
他们冻结了第一个工人的输出，并要求第二个工人学习如何将该输出转化为最终目标。

结果： 尽管第一个工人（由 Muon 训练）在完成其特定工作方面稍逊一筹，但第二个工人学习最终任务的速度却比使用 SGD 训练第一个工人时快得多。
结论： 由 Muon 训练的工人所产生的“不完美”输出，实际上更容易被下一个人使用。

“Tau”调度（现实世界测试）
他们还测试了当两个工人同时学习（端到端训练）时会发生什么。

结果： 尽管 Muon 在处理第一个工人的错误时显得稍慢，但整个系统完成拼图的总时间反而更短。
为什么？ Muon 创建的“隐藏捷径”允许第二个工人稍后为第一个工人提供帮助。它创造了一个反馈循环：一个条件更好的下游层，使得上游层的任务变得更加容易。

“为什么”：数据的形状

为什么 Muon 会让数据变得更容易使用？

论文解释说，Muon 倾向于使数据的“谱”（重要性的分布）变得更加平坦。

平坦桌面 vs. 崎岖山丘的类比：

标准优化器： 可能会创造出一种看起来像陡峭、崎岖山丘的表示。它在顶端非常精确，但如果你尝试让一个球（数据）沿着它滚下，球会卡住或产生不可预测的弹跳。
Muon： 创造出一种看起来像平坦、光滑桌面的表示。它可能不是通往终点的“最陡峭”路径，但球可以在上面平稳且可预测地滚动。

因为“桌面”更平坦，所以下一层（下一个工人）就不必费力去琢磨如何处理数据。他们只需要让球直接滚向终点即可。

总结

论文得出结论，Muon 不仅仅是一个数学上的奇特现象；它是一种充当隐式残差连接的机制。

它没有在网络中增加新的线路。
它改变了网络学习所经过的路径。
结果： 它接受了在修复当前问题上的短暂延迟，以确保解决方案对系统的下一部分是“用户友好”的。

简而言之：Muon 教会网络如何成为一名优秀的队友，而不仅仅是一个快速的个体。 它牺牲了一点点即时的速度，以确保队列中的下一个人能轻松完成工作，从而使整个团队更快地跑完全程。

技术摘要：作为残差连接的 Muon

问题陈述

Muon 已成为训练大型神经网络的一种极其有效的优化器，在从 CNN 到大语言模型（LLM）的各种架构中均取得了最先进的性能。尽管其经验上的成功已得到验证，但现有的关于 Muon 有效性的解释依赖于多种复杂的数学框架，包括谱范数最速下降、非欧几里得置信域优化、在谱范数球上的 Frank–Wolfe 方法、长尾学习以及曲率分析。

本文旨在解决需要一种更直观、更具机制性的解释，且无需大量的数学训练。具体而言，它试图通过将优化动力学重新定义为对下游层表示的可利用性（representation usability），而非仅仅关注即时的梯度保真度或局部损失减少，来解释为什么 Muon 如此有效。

方法论

作者提出了一个全新的解释：Muon 起到了隐式残差连接的作用。

理论框架

正交化即残差性： 在标准的残差网络中，更新是显式的： $x_{l+1} = x_l + \text{Block}(x_l)$ ，或者在权重空间中， $W \leftarrow W + I$ （或一个正交矩阵 $R$ ）。Muon 则将标准更新 $W \leftarrow W + \Delta W$ 替换为正交化更新 $W \leftarrow W + \text{Orth}(\Delta W)$ 。
权衡： 本文提出了一个权衡：梯度保真度（保持接近原始梯度以实现即时损失减少）与表示保持（维持一个易于被下游层利用的表示结构）之间的权衡。正交化更新牺牲了一定的即时梯度保真度，但隐式地注入了一种类似于残差的变换，从而保留了上游表示的可利用性。

实验验证

为了测试这一假设，作者使用了受控的线性模型进行实验，通过避免非线性深度网络的复杂性来隔离该机制。

两阶段线性实验：
- 第一阶段（局部优化）： 训练一个两层线性网络（ $\hat{y} = W_2 W_1 x$ $\overset{y}{^} = W_{2} W_{1} x$ ）以匹配目标变换 $A$ $A$ 。 $W_2$ $W_{2}$ 被冻结， $W_1$ $W_{1}$ 被优化以趋向于局部目标 $W_2^*$ $W_{2}^{*}$ 。
  - 假设： 在此处 SGD 应该优于 Muon，因为 SGD 遵循局部目标的梯度下降方向，而 Muon 则对更新进行了正交化。
- 第二阶段（下游适配）： 冻结学习到的 $W_1$ $W_{1}$ ，并使用 SGD 重新初始化并优化 $W_2$ $W_{2}$ ，以最小化 $\|W_2 W_1 - A\|_F$ $∥ W_{2} W_{1} - A ∥_{F}$ 。
  - 假设： 如果 Muon 的“隐式残差”效应成立，那么由 Muon 学习到的 $W_1$ 应该更容易让 $W_2$ 进行适配，尽管它在第一阶段距离局部目标较远。
$\tau$ -调度实验：
- 为了模拟端到端训练，作者引入了一个调度方案，其中各层以长度为 $\tau$ 的交替段进行更新（例如，在 $W_1$ 上进行 $\tau$ 步，然后在 $W_2$ 上进行 $\tau$ 步）。
- 这种设置允许观察 Muon 的“局部代价”（在 $W_1$ 更新期间）如何与“下游收益”（在 $W_2$ 更新期间）在连续训练循环中相互作用。

关键结果

两阶段线性实验

第一阶段： 正如预测，在 600 步后，SGD 实现了更低的局部重建误差（$0.0312$），而 Muon 的误差为（$0.0447$），证实了 Muon 对梯度保真度的牺牲。
第二阶段： 当使用冻结的 $W_1$ 优化 $W_2$ 时，使用 Muon 训练的模型（第一阶段）达到目标误差阈值所需的步数更少（13,321 步），相比之下，使用 SGD 训练的模型需要（13,436 步）。
解释： Muon 学习到的表示虽然对于局部目标而言并非最优，但它拥有更“平坦”的奇异谱（更高的谱平坦度），从而为下游层创造了一个条件更好的优化问题。

$\tau$ -调度实验

在所有测试的调度方案下，包括完全联合更新（ $\tau=0$ ）和交替更新（ $\tau > 0$ ），Muon 始终比 SGD 更快地达到了目标组合损失。
动力学分析：
- 在“蓝色阶段”（仅更新 $W_1$ ）期间，SGD 最初往往能更快地降低损失，这反映了 Muon 的梯度保真度代价。
- 在“红色阶段”（仅更新 $W_2$ ）期间，Muon 轨迹下的训练过程允许更快的收敛。
- 至关重要的是，Muon 轨迹中改进后的 $W_2$ 使得随后的 $W_1$ 子问题变得更容易解决，从而形成了一个补偿初始局部减速的反馈循环。

核心贡献

机制性解释： 本文为 Muon 的成功提供了一个简单、直观的解释：它充当了一个隐式残差连接。它在梯度下降的即时需求与表示保持的长期需求之间取得了平衡。
新的设计视角： 它将优化器设计的范式从仅根据局部损失下降来判断更新，转向考虑更新如何塑造下游层的表示。
经验证据： 通过受控的线性实验，作者证明了牺牲局部优化速度可以产生更快的端到端收敛，因为它改善了下游优化问题的条件数。

意义与主张

本文声称，这种解释是对现有解释（谱、曲率、置信域）的补充，而非替代。通过将 Muon 构架为隐式残差连接，作者指出：

优化器应平衡局部与下游目标： 一个有效的优化器不应仅根据其在层级子问题上的即时损失减少来衡量。
上下文至关重要： 类 Muon 行为的益处（牺牲局部保真度以换取下游可用性）在下游层具有足够的容量和训练时间来利用更好的条件化表示时最为显著，特别是在由复合变换组成的深层链条中。
未来方向： 这一视角暗示了可以设计自适应优化器，根据层谱、条件数或下游进度来控制正交化或谱平坦化的强度。

作者保持了谦逊的态度，承认其实验是经过精心控制且属于线性的。他们并不声称已在所有现代非线性网络中证明了这一机制，但认为这为观察到的 Muon 经验优势提供了一个合理且直观的机制。