🤖 machine learning

Why Muon Outperforms Adam: A Curvature Perspective

本文证明了 Muon 通过实现更大的单步损失下降，在大型语言模型训练中优于 Adam，这主要归功于更低的归一化方向锐度（NDS）曲率惩罚，这种几何优势被数据不平衡所放大，并由降低的层内曲率所维持。

原作者： Shuche Wang, Fengzhuo Zhang, Jiaxiang Li, Dirk Bergemann, Zhuoran Yang

发布于 2026-06-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Shuche Wang, Fengzhuo Zhang, Jiaxiang Li, Dirk Bergemann, Zhuoran Yang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图在一片广袤且雾气缭绕的山脉中寻找最低点。这就像是在训练一个巨大的 AI 模型（如大语言模型）：这座“山”就是误差率，而“最低点”则是那个完美、最准确的模型。为了到达那里，你需要一个优化器——一个告诉你在哪一步该如何迈进的向导。

长期以来，Adam 一直是标准的向导。最近，一个名为 Muon 的新向导出现了，它到达山底的速度比 Adam 快了一倍。但为什么呢？这篇论文就像是一个侦探，利用“曲率视角”（观察地形的形状）来解开这个谜团。

以下是他们研究结果的故事，用简单的语言进行了解释：

1. 两个向导采取相同的步长，但 Muon 更平滑

想象你和一位朋友正在下山。你们两人都决定迈出完全相同长度的一步。

第一步（推力）： 你和你朋友都以相同的力量向前推进。在数学术za术语中，论文称之为“一阶增益”（first-order gain）。它们是相等的。
颠簸（曲率惩罚）： 地面并非完全平坦，而是凹凸不平的。如果你在颠簸的方向走得太用力，你会产生回弹，从而浪费能量。
- Adam 倾向于走进地形中最“颠簸”的部分。它撞上高高的凸起，然后弹回，损失了一些前进的进度。
- Muon 则更聪明。它观察地面的形状，并将步伐转向更平滑、更平坦的路径。它依然迈出同样长度的一步，但它遇到的颠簸要小得多。

结果： 因为 Muon 遇到的颠簸更少（较小的“曲率惩罚”），即使你们最初的推力相同，Muon 实际上在单步中比 Adam 走得更远。

2. 秘密武器：“归一化方向锐度”（NDS）

论文引入了一个高级术语 NDS，它本质上衡量了“你行走方向上的地面有多尖锐”。

发现： Muon 和 Adam 采取步长大小相同（相同的“更新范数”），但 Muon 的步伐总是在地面较不尖锐的方向上。
类比： 想象走过一片长满尖锐玉米秆的田野。
- Adam 直接穿过最厚、最尖锐的玉米秆。它被割伤了（高 NDS），玉米秆会对它产生反作用力。
- Muon 使用一种特殊的指南针来寻找玉米秆之间的间隙。它走过的距离相同，但玉米秆的密度要低得多（低 NDS）。它顺畅地滑行通过，阻力更小。

3. 为什么 Muon 能更好地找到间隙？（数据不平衡）

论文发现，当数据不平衡时，地形会变得更加颠簸。

场景： 想象一个图书馆，其中 90% 的书是关于“猫”的，只有 10% 是关于“狗”的。这就是一个不平衡的数据集。
影响： 在这些不平衡的图书馆里，地面变得极其崎岖，充满了尖锐的突刺。
胜出者： Adam 会深陷在“猫”的突刺中。然而，Muon 在应对这些崎岖、不平整的地形方面表现得更好。数据越不平衡，Muon 的平滑路径与 Adam 的颠簸路径之间的差距就越大。

4. 魔力发生在哪里？（层内部）

AI 模型像堆叠的层一样构建（就像一个多层蛋糕）。论文研究了 Muon 的优势是来自于整个蛋糕，还是仅仅来自于特定的切片。

发现： 随着训练的进行，Muon 的优势发生了转移。它不再担心层与层之间的相互作用（跨层），而是完全专注于让每个单独层内部的步伐变得平滑（层内）。
类比： 想象一场接力赛。在开始时，每个人都在担心跑者之间传递接力棒的问题（跨层）。但随着比赛进入白热化，Muon 意识到提速的秘诀在于仅仅把自己的每一棒跑得足够平滑（层内），从而忽略其他跑者的噪音。

5. 理论证明：“均衡器”

最后，作者构建了一个简单的数学模型（一个“典型二次问题”）来证明为什么这行得通。

问题： 想象这座山有几处非常陡峭、尖锐的悬崖（高曲率）和一大片平缓的坡地（低曲率）。
Adam 的错误： 由于“悬崖”非常陡峭，Adam 被吸引到了那里。它把所有的能量都花在试图爬下陡峭的悬崖上，但因为悬崖太尖锐，它会在那里剧烈地弹跳。
Muon 的策略： Muon 使用了一种“谱归一化”（spectral normalization）技巧。想象它有一个神奇的均衡器，强迫它在陡峭的悬崖上投入的能量与在平缓的坡地上投入的能量相等。
结果： 通过不对危险的悬崖过度关注，Muon 避免了剧烈的弹跳。它均匀地分配能量，从而实现了稳健、高效的下山进程，这是 Adam 无法企及的。

总结

Muon 胜过 Adam 并不是因为它迈出的步子更大或推力更强，而是因为它是一个更好的导航员。它避开了会导致 AI 产生回弹的数学景观中的“尖锐”部分。通过平滑它的路径，尤其是在数据混乱或不平衡时，它能更快地到达山底（即最好的模型）。

技术摘要：为什么 Muon 比 Adam 更优：基于曲率的视角

问题陈述

Muon 已成为大语言模型（LLM）预训练中一种高效的优化器，在各种模型规模下均表现出比标准 Adam 优化器快约 2 倍的训练收敛速度。虽然近期的研究将其优势归因于关联记忆（associative memory）和数据长尾性等机制，但 Muon 优越性的局部几何来源仍不明确。本文旨在解决两个主要问题：

什么样的特定属性支持 Muon 相对于 Adam 的优势？
预训练因素（特别是训练数据分布和模型结构）如何影响这一属性？

研究方法

作者结合了对 LLM 训练轨迹的实证分析以及对程式化二次优化问题的理论分析。

实证分析：

二阶泰勒分解： 作者通过使用泰勒展开式将单步损失下降（ $\Delta D$ ）分解为一阶增益（梯度对齐）和二阶曲率惩罚来分析： $\Delta D \approx \langle G, Z \rangle - \frac{1}{2}\langle Z, H[Z] \rangle$ 。
度量定义： 为了隔离更新方向与更新尺度之间的影响，作者引入了归一化方向锐度（Normalized Directional Sharpness, NDS），定义为 $SF(W; Z) = \langle Z, H[Z] \rangle / \|Z\|_F^2$ 。这使得曲率惩罚可以被分解为更新范数与 NDS 的乘积。
实验设置： 实验在 124M 参数的 NanoGPT 模型上进行，该模型使用 FineWeb 数据集进行训练。为了确保公平性，Muon 与 Adam 的比较是在匹配的验证损失水平下进行的。
数据与结构变化：
- 数据不平衡： 使用具有受控不平衡水平（Zipf 指数 $s$ ）的 Zipf-概率上下文无关文法（PCFG）生成合成数据，以测试重尾分布的影响。
- 层分解： 将 NDS 分解为层内（对角 Hessian 块）和跨层（非对角相互作用）贡献，以理解不同模型组件如何贡献于曲率优势。

理论分析：

程式化二次模型： 作者构建了一个镜像 LLM 景观特征的二次优化问题，该模型基于四个经实证验证的假设：
1. 低 Kronecker 秩性： Hessian 矩阵允许低秩 Kronecker 近似。
2. 同时对角化： Kronecker 因子共享共同的正交特征基。
3. 曲率异质性： Hessian 谱表现出强烈的异质性（特征值的长尾分布）。
4. 梯度对齐： 梯度与高曲率特征方向强对齐。
对比： 理论证明将 Muon（谱归一化更新）与梯度下降（GD）进行对比。注意到在这一特定的程式化设定下，Adam 的行为与 GD 相似，因此作者可以将重点放在谱归一化与基于梯度的更新之间的对比上。

核心贡献与结果

1. Muon 优势的来源：降低曲率惩罚
分析表明，Muon 之所以能实现比 Adam 更大的单步损失下降，主要是因为它产生的二阶曲率惩罚显著更小，而不是因为它实现了更大的一阶梯度增益。

观察 1： 在匹配的验证损失下，Muon 和 Adam 显示出相当的一阶下降，但 Muon 的曲率惩罚明显更低。

2. 机制：更低的归一化方向锐度（NDS）
降低的曲率惩罚是由 Muon 的更新方向而非其步长驱动的。

观察 2： Muon 和 Adam 具有相当的更新范数 ( $\|Z\|_F$ )。然而，Muon 表现出显著较低的 NDS（平均比 Adam 低约 1.76 倍）。这表明 Muon 的谱归一化将更新引导向局部曲率较低的方向。

3. 数据不平衡的作用
数据不平衡放大了 Muon 的 NDS 优势。

观察 3： 通过使用 Zipf-PCFG 数据，作者展示了随着数据集变得更加不平衡（Ziping 指数 $s$ 增加），Adam 和 Muon 的 NDS 都会增加，但两者之间的差距显著扩大（从 $s=0$ 到 $s=1$ 增加了 1.8 倍）。Muon 对重尾数据引起的锐度增加更具鲁棒性。

4. 模型结构的作用
曲率优势在训练过程中会发生转移。

观察 4： 虽然 Muon 的层内和跨层 NDS 组件都较低，但在训练的中后期，层内组件在 Muon 的优势中变得越来越占主导地位。Muon 的跨层贡献迅速下降，而 Adam 在层内与跨层锐度之间保持着稳定的平衡。

5. 理论证明
论文证明，在具有异质曲率且梯度向高曲率模式对齐的二次问题上：

由于其谱归一化在不同曲率组之间平衡了更新能量，而 GD 则将能量集中在高曲率模式上，因此 Muon 能获得比 GD 更小的平均 NDS。
当曲率异质性足够强时，Muon 在相同步数后能实现比 GD 更低的局部二次损失。

重要性与主张

本文声称迈出了从局部曲率视角揭示 Muon 优越性的“第一步”。核心结论是，Muon 的效率源于其能够执行本质上具有较低方向锐度的谱归一化更新，从而最小化了优化步骤的二阶成本。

作者明确将这项工作定位为对现有“以记忆为中心”解释（例如 Wang et al., 2025b）的补充，提供了一种截然不同的几何机制：在相同的迭代点，Muon 支付的定向锐度惩罚比 Adam 更小。本研究范围适中，侧重于因果 LLM 并识别局部机制，而非声称具有全局收敛保证或适用于所有模型类别（如扩散模型），后者留作未来工作。