🤖 machine learning

Muon $^p$ : Muon with Fractional Spectral Powers

本文介绍了 Muon $^p$ ，这是一种通过对梯度的奇异值应用分数谱幂，并利用高效的双变量递推关系来近似这些更新，从而在 Muon 与梯度下降之间进行插值的创新优化器，该优化器在微调十亿级参数模型时展示了提升的性能，同时保留了有价值的奇异谱信息。

原作者： Yihe Dong, Will Sawin

发布于 2026-06-15

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yihe Dong, Will Sawin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个巨大的、超级聪明的机器人（神经网络）如何说话、写代码或解决数学问题。为了教它，你必须展示示例并纠正它的错误。这个“优化器”（optimizer）就是老师用来决定在每次犯错后如何调整机器人大脑的方法。

问题所在：“全有或全无”型老师 (Muon)

最近，一种名为 Muon 的流行教学方法变得非常有名。它是这样工作的：

想象一下，机器人的错误来自于不同的“方向”或“频率”。有些方向非常响亮且明显（主导模式），而有些方向则是微弱的低语（小的奇异值）。

旧型老师（比如标准的梯度下降法）会对响亮的纠正大声疾呼，却忽略那些微弱的声音。
Muon 决定做一个“平坦”的老师。它观察所有的方向，然后说：“让我们把它们都对待得完全一样！”它压平了每个纠正信号的音量，使得微弱的低语也能获得与响亮的呐喊同等的关注。

代价是： 虽然这在从零开始教机器人（预训练）时非常棒，但它丢弃了一个至关重要的信息：每个方向到底有多强。有时候，响亮的方向才是真正重要的，而压平它们就像仅仅为了听清一声低语就调低警报器的音量一样。

解决方案：“恰到好处”型老师 (Muonp)

这篇论文的作者引入了 Muonp。把 Muonp 想象成一个找到了“金发姑娘区”（指恰到好处的中间地带）的老师。

它不像 Muon 那样完全压平音量，也不像标准老师那样保留原始的响度，而是将音量调低了一点点。它使用了一个数学上的“调光开关”（由一个被称为 p 的数字表示），在给予微弱方向提升的同时，保留了一些原始响亮方向的力量。

如果 p = 0： 就是原始的 Muon（完全压平）。
如果 p = 1： 就是标准老师（没有任何改变）。
如果 p 在两者之间（比如 1/3）： 就是 Muonp。它保留了纠正信号的“形状”，但将其平滑化了。

难点所在：神奇的数学技巧

你可能会想：“好吧，只需把音量调低一点就行了。”但在巨型矩阵（机器人的大脑）的世界里，进行这种数学运算是非常困难的。通常，要改变这些方向的音量，你必须拆解大脑，测量每一个部分，然后再把它组装回去。这既慢又昂贵。

作者证明了你不能用一个简单的、单步的配方来完成这种“音量调节”。你需要一个更复杂的、两步走的配方，既要记住原始的大脑结构，又要调整音量。

他们发明了一种新的、快速的配方（使用所谓的“二元多项式递归”），这就像是一个神奇的捷径。它允许计算机仅使用标准的矩阵乘法来计算这些“经过调光的”纠正信号——而这些计算正是现有的快速计算芯片（GPU）所擅长的。这意味着 Muonp 和 Muon 一样快，但更聪明。

他们的发现：取决于工作内容

论文在十亿级规模的模型上测试了这个新老师，并发现了一个有趣的现象：

构建一个新大脑时（预训练）：
如果你是从零开始教一个机器人，那么“平坦”的老师（Muon）实际上更好。你希望平等地探索每一个可能的方向，以建立一个强大的基础。而 Muonp 因为保留了旧有的“响亮”方向，在这里的表现略逊一筹。
微调专家时（微调）：
如果你拿一个已经很聪明的机器人，并教它一项特定的新技能（比如编程或数学），Muonp 就是赢家。
- 为什么？ 到这个阶段，机器人已经掌握了基础知识。而“响亮”的方向正是完成新任务的关键。Muonp 在帮助微弱方向的同时，依然保持了对这些重要方向的关注。
- 结果： 在数学推理、编程和语言理解等任务上，Muonp 让机器人的学习变得更聪明、更快、更准确，表现优于原有的 Muon 和标准老师。

“课程”理念

作者还尝试了一个聪明的技巧：他们在训练的大部分时间里使用“平坦”的老师（Muon），然后在最后几个步骤中切换到“调光”的老师（Muonp）。这效果惊人地好。这就像是用粗笔刷教学生基础知识，然后在最后的细节处理阶段换上一支精细的针管笔。

总结

Muonp 是流行优化器 Muon 的一个更聪明、更灵活的版本。它并不强制要求所有的学习方向都完全相等；相反，它温和地调整了它们的重要性。

数学层面： 它使用了一个巧妙且快速的捷径，在不减慢计算机速度的情况下计算这些调整。
结果： 它是微调大型 AI 模型的最佳工具，能比以往更好地帮助它们掌握编程和数学等特定技能。然而，对于从零开始训练，原始的“平坦”型 Muon 仍然是冠军。

技术摘要：Muonp —— 具有分数谱幂次的 Muon

问题陈述

Muon 优化器已成为训练深度神经网络（尤其是大型语言模型 LLM）的强大工具。它通过将梯度矩阵 $G = USV^\top$ 替换为其极分解因子 $UV^\top$ ，从而实现“谱平坦化”（spectrum flattening）。这种做法能促进各奇异方向的均衡学习，并防止主导模式垄断训练更新。

然而，作者指出 Muon 的方法存在一个关键局限性：完全平坦化会丢弃所有的奇异值信息。虽然这种均匀性在预训练阶段有利于广泛的特征发现，但在适配任务（如微调）中可能并非最优，因为在这些任务中，奇异值的量级编码了哪些残差方向更值得改变。这项工作所探讨的核心问题是：我们能否在保留 Muon 矩阵级谱优势的同时，保留进行有效适配所需的量级结构？

方法论

理论公式化：Muonp

作者引入了 Muonp，它是 Muon 优化器的一种推广版本，通过使用分数谱幂次来更新权重：
$\text{Update} \propto US^pV^\top$
其中 $p \in (0, 1)$ 是一个有理数。

几何解释： 作者证明（定理 2.1），该更新规则对应于 Schatten $q$ -范数 下的最速下降方向，其中 $q = 1 + 1/p$ 。
插值：
- $p = 0$ ：对应于标准 Muon ( $UV^\top$ )，使均匀性最大化。
- $p = 1$ ：对应于标准梯度下降 ( $USV^\top = G$ )。
- $0 < p < 1$ ：在两者之间进行插值，保留部分量级信息。

算法挑战与解决方案

直接计算 $US^pV^\top$ 需要奇异值分解 (SVD)，这对于大型模型来说计算成本过高。作者解决了如何在不进行显式 SVD 的情况下近似此更新的问题：

一元迭代的不可能性： 作者证明（引理 2.2），对于任意有理数 $p$ ，不存在固定的一元多项式迭代 $S_{n+1} = f(S_n)$ 能收敛到 $S^p$ 。与极分解因子（ $p=0$ ）不同，分数幂要求算法必须“记住”原始矩阵。
二元多项式递推： 为了解决这个问题，作者推导出了低阶奇函数二元递推式。算法迭代计算矩阵 $G_n = US_nV^\top$ $G_{n} = U S_{n} V^{⊤}$ ，其中奇异值通过 $S_{n+1} = f(S_n, S)$ $S_{n + 1} = f (S_{n}, S)$ 进行演化。
- 定理 2.3 表明，对于任何奇二元多项式 $f(x, y)$ ，项 $Uf(S_n, S)V^\top$ 仅需通过矩阵乘法和转置即可计算，从而保持了 Muon 的计算结构。
- 定理 2.4 确立了存在这样的多项式，使得对于任何 $p \in (0, 1)$ 的有理数，都能收敛到 $S^p$ 。
显式构造： 论文提供了这些多项式的显式公式（例如，对于 $p=1/3$ ， $f(x, y) = x + c(y - x^3)$ ）。系数的选择旨在确保 $S^p$ 是一个吸引不动点。

实现细节

复杂度： 其计算复杂度仍为 $O(\omega k N)$ ，其中 $\omega$ 是矩阵乘法复杂度， $k$ 是每步乘法的次数（取决于多项式阶数）， $N$ 是迭代次数。Muonp 与 Muon 的区别仅在于矩阵乘法次数上的一个常数因子。
稳定性： 该方法在 bfloat16 下实现时具有数值稳定性，使其适用于现代硬件。
课程兼容性： 由于 Muon ( $p=0$ ) 是 Muonp 的特例，因此在训练过程中切换它们（例如，用 Muon 进行预训练，用 Muonp 进行微调）不需要重置状态，只需更改多项式近似即可。

核心贡献

Muonp 优化器： 引入了一种能够计算任何 $p \in (0, 1)$ 有理数幂次 $US^pV^\top$ 的广义优化器，且无需显式 SVD。
理论极限： 证明了分数谱幂次无法通过固定的一元多项式迭代来计算，从而必须采用全新的二元方法。
构造性算法： 推导出了低阶奇二元递推式，在近似分数幂的同时，保持了 Muon 仅依赖矩阵乘法的结构。
实证验证： 证明了在数学推理、编程及下游任务的微调场景中，Muonp 的表现显著优于 Muon 和 AdamW。
谱几何分析： 洞察到最优谱几何是依赖于阶段的：均匀更新（ $p=0$ ）有利于预训练，而部分保留（ $0 < p < 1$ ）则有利于微调。

实验结果

微调性能

在对 Llama3-1B 和 Llama3-3B 模型进行微调时，Muonp 在性能上持续超越 Muon 和 AdamW：

数学与代码推理： 在 GSM8K、Numina 和 OpenCodeInstruct 上，与 Muon 相比，Muonp 提高了 pass@8 准确率并降低了损失。
困惑度 (Perplexity)： Muonp 在 Fineweb 和 Pile of Law 数据集上实现了更低的验证困惑度。
下游任务： 在一系列推理基准测试（PIQA, Winogrande, LAMBADA 等）中，Muonp 的准确率均高于 Muon 和 AdamW。
优化器不匹配： 即使在预训练时使用了与微调相同的优化器（Muon），Muonp 在微调阶段仍然优于 Muon，这表明其增益源于基础的谱几何特性，而非仅仅是优化器的一致性。

预训练 vs. 微调的二分性

论文揭示了基于训练阶段的不同性能表现呈现出明显的二分现象：

预训练： Muon ( $p=0$ ) 优于 Muonp。作者认为，预训练受益于“各向同性化”，以发现广泛的特征并防止主导方向垄断更新。
微调： Muonp ( $0 < p < 1$ ) 优于 Muon。在此阶段，模型的内在维度较低，保留奇异值信息有助于将适配过程集中在最相关的残差方向上。
课程实验： 在预训练的最后阶段切换到 Muonp（一种课程学习策略）会带来即时的损失下降，这验证了通过增加 $p$ 来调节较小奇异值方向的有效学习率的假设。

运行时间

Muonp 保持了与 Muon 相当的运行时间。例如，对于 $p=1/3$ （三次递推），Muonp 比 Muon（在某些实现中使用五次递推处理 $p=0$ ）略快，在 H100 GPU 上的单步耗时约为 100–120ms。

重要性与主张

本文将 Muonp 定位为 Muon 优化器的原则性推广。其主要意义在于：

弥合差距： 它提供了一种系统的方法，在 Muon 的均匀性与梯度下降的量级敏感性之间进行插值，解决了“谱平坦化”与“量级保留”之间的权衡。
阶段依赖型优化： 它提供了证据表明，“最佳”谱几何并非普适的：预训练需要完全平坦化，而微调则需要部分平坦化。
实际效率： 它在不引入 SVD 开销的情况下实现了这些理论优势，保持了对于扩展至数十亿参数模型至关重要的、基于硬件友好的纯矩阵乘法结构。
未来方向： 作者建议，针对特定任务自动选择最优 $p$ 值以及将 Muonp 集成到预训练课程中，是极具前景的研究方向。

研究结论认为，保留奇异谱可以为适配场景带来显著收益，而 Muonp 提供了一种高效且符合原则的机制来实现这一目标。