🤖 machine learning

Denoise First, Orthogonalize Later: Understanding Momentum in Muon via Spectral Filtering

本文从理论上证明了 Muon 优化器中的动量起到了谱滤波器（spectral filter）的作用，能够抑制梯度噪声并扩大谱隙（spectral gap），从而稳定正交化步骤并改善信号对齐，这一发现得到了大语言模型训练实验的支持。

原作者： Xianliang Li, Zihan Zhang, Weiyang Liu, Han Bao

发布于 2026-06-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Xianliang Li, Zihan Zhang, Weiyang Liu, Han Bao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是对论文《先去噪，后正交化》（Denoise First, Orthogonalize Later）的解释，采用了通俗易懂的语言和富有创意的类比。

大局观：在风暴中调频收音机

想象一下，你正试图在一场暴风雨（噪声）中通过收音机调到一个特定的歌曲（信号）。这台收音机就是你的 AI 模型，而那首歌就是它为了变得更聪明所需要学习的正确定向。

在现代 AI 训练中，我们使用一种叫做 Muon 的工具来帮助收音机更快、更好地调频。Muon 有两个主要步骤：

动量（Momentum）： 平滑掉静电杂音。
正交化（Orthogonalization）： 精准对准天线方向。

长期以来，研究人员知道 Muon 效果极佳，但并不清楚为什么“平滑”步骤（动量）如此重要，或者为什么操作顺序至关重要。这篇论文解开了这个谜团。

核心发现： 你必须先清理信号（去噪），然后再对准天线（正交化）。如果你试图在天线还被静电杂音覆盖时就去对准方向，你会把天线指向错误的方向。

三种调频方式

作者测试了处理收音机信号（梯度）的三种不同方式，以观察哪种效果最好：

“先清理”法（Pre-polar / Muon 的方式）：
- 动作： 你拿到带有噪声的信号，通过一个过滤器来平滑掉静电杂音（动量），然后再对准天线（正交化）。
- 结果： 表现最佳。 天线精准地指向了那首歌。
“先对准”法（Post-polar）：
- 动作： 你尝试直接在带有噪声的信号上对准天线，然后再尝试平滑它。
- 结果： 表现较差。 因为你首先根据静电噪声对准了天线，之后再进行平滑也无法修复天线已经指向错误方向的事实。
“无过滤器”法（仅使用 Polar）：
- 动作： 你直接在原始的、带有噪声的信号上对准天线，而不进行任何平滑处理。
- 结果： 表现最差。 天线在风暴中剧烈抖动且感到困惑。

类比： 想象一下，当有人在摇晃桌子（噪声）时，你试图在纸上画一条直线。

Muon（先清理）： 你等待桌子停止摇晃（平滑），然后再画出你的直线。
Post-polar（先对准）： 你试图在桌子摇晃时画直线，然后试图事后“平滑”这张纸。由于线条在画的时候就已经歪了，平滑纸张也无法修复这条歪掉的线。

为什么“先清理”有效？（谱滤波器）

论文解释说，动量起到了**谱滤波器（Spectral Filter）**的作用。把信号想象成一个深沉、稳定的低音（真相）和高频、混乱的尖叫声（噪声）。

问题所在： 如果你观察原始数据，尖叫声会非常响亮，从而淹没了低音。如果你立即尝试寻找音乐的“方向”，你可能会误以为那些尖叫声就是歌曲本身。
解决方案： 动量充当了一个低通滤波器。它会在一段时间内平均掉那些快速、混乱的尖叫声（噪声），但同时保留了那段稳定、深沉的低音（信号）。
结果： 一旦噪声被过滤掉，音乐的“方向”就会变得非常清晰。低音（信号）与尖叫声（噪声）之间的差距变得巨大。这使得下一步（正交化）能够非常轻松地锁定正确的方向。

“谱间隙”（The Spectral Gap）

作者通过数学证明，当你使用动量在前进行正交化之前，会创造出一个谱间隙（Spectral Gap）。

想象信号和噪声是混合在一起的两种不同颜色的光。
没有动量时，颜色是浑浊且难以分离的。
有了动量，噪声会逐渐消退，留下清晰鲜明的信号颜色。
这个“间隙”使得最终的对准步骤变得更加可靠。这就像是在草堆里找针：如果你先移除了所有的干草（噪声），找到针（信号）就会变得轻而易举。

实验展示了什么

作者不仅做了数学推导，还在真实的 AI 模型（如 NanoGPT 和 LLaMA）上进行了测试。

他们发现，“先清理”法（Muon）始终优于其他方法。
他们对数据进行了可视化处理，并观察到随着他们增加“平滑度”（动量），噪声消失了，信号变得更加清晰，这完全符合他们的理论预测。
他们证实，如果尝试在平滑之前进行对准，AI 会感到困惑并减慢学习速度。

总结

论文为未来的 AI 优化器提出了一个简单的设计原则：先去噪，后正交化。

如果你正在构建一个需要在嘈杂世界中寻找清晰方向的系统，不要试图在世界混乱时做出完美的决策。首先，通过平滑混乱来寻找真相，然后再做出你的决策。在 AI 训练的世界里，这意味着在尝试正交化（对准）更新之前，先让动量缓冲区清理掉噪声。

技术摘要：“先去噪，后正交化：通过谱滤波理解 Muon 中的动量”

问题陈述
Muon 优化器最近通过使用 Newton–Schulz 迭代对动量矩阵进行近似正交化，在训练大语言模型（LLMs）方面展现出了强大的经验性能。然而，动量在 Muon 中的理论作用仍不明确。现有的分析要么剥离动量以孤立研究谱更新，要么保留动量却无法解释其经验收益。此外，关于 Muon 的理论文献通常认为重动量会降低收敛速率或不提供任何收益，这与观察到的动量在实践中至关重要的现象相矛盾。此外，操作顺序的具体问题——是在应用动量后进行正交化（Pre-polar，前极化）还是在正交化后应用动量（Post-polar，后极化）——也缺乏严谨的解释，尽管在实践中 Pre-polar 的表现显著优于 Post-polar。

方法论
作者提出了一个结构化的信号加扰动梯度模型来分析 Muon。他们假设在迭代 $t$ 时的梯度 $G_t$ 分解为一个相干的、低秩的信号分量 $G^{\text{sig}}_t$ 和一个有界方差、均值为零的正交（BVMZOS）扰动 $\Xi_t$ 。

其核心理论贡献是将动量缓冲区 $M_t = \beta M_{t-1} + (1-\beta)G_t$ 分析为一个谱滤波器。作者研究了权重更新 $\Delta W_t$ 的三种流水线变体：

Pre-polar (标准 Muon)： $\Delta W_t \propto O(M_t)$ ，即先应用动量，随后应用极化算子 $O(\cdot)$ 。
Post-polar (Orthogonal-SGDM)： $\Delta W_t \propto \tilde{M}_t$ ，即先对原始梯度应用极化算子，然后累积动量。
Polar-only (仅极化)： $\Delta W_t \propto O(G_t)$ ，一个不带动量的基准模型。

该分析依赖于有效窗口大小 $T = 1/(1-\beta)$ ，并利用随机矩阵论工具（包括用于奇异子空间扰动的 Wedin's $\sin \Theta$ 定理）来量化动量如何影响梯度矩阵的奇异值和子空间。

核心贡献

动量作为谱滤波器 (定理 1 与推论 1)：
作者证明，在他们的梯度模型下，动量充当了一个低通滤波器，能够抑制扰动（噪声）同时保留相干信号。具体而言，随着有效窗口大小 $T$ 的增加，尾部奇异值（由噪声主导）以 $O(T^{-1/4})$ 的速率衰减，而领先奇异值（信号）则保持在远离零的水平。这创造了一个信号与噪声成分之间的扩大谱间隙 (spectral gap)。因此，动量缓冲区 $M_t$ 的前 $r$ 个奇异子空间比原始梯度的子空间能更可靠地与真实的信号子空间对齐。
非交换性与流水线顺序 (定理 2)：
论文确立了动量与正交化操作并不满足交换律。
- Pre-polar 的优势： 当先应用动量时，它对梯度流进行了去噪，使得随后的极化算子能够作用于一个奇异子空间结构更稳定的矩阵。作者证明了 Pre-polar 实现了比 Post-polar 和 Polar-only 基准更高的预期信号对齐度。
- 替代方案的失效： 对于 Post-polar，先对带有噪声的梯度进行正交化会“抹除”信号与噪声方向之间的振幅间隙。极化算子将所有奇异值替换为 1，使得在后续的动量步骤中无法区分信号与噪声。从理论上讲，Post-polar 和 Polar-only 流水线无法有效地恢复信号方向，尤其是在低信噪比（SNR）的情况下。
低 SNR 下的定量分离 (定理 3)：
在秩为 1 的尖峰高斯模型（rank-1 spiked Gaussian model）且低 SNR 的情况下，作者表明，随着矩阵维度 $m \to \infty$ ，Polar-only 流水线的信号对齐度趋于消失。相比之下，只要动量窗口 $T$ 足够大，Pre-polar 流水线就能持续恢复目标信号。

结果
这些理论发现通过广泛的实验得到了验证：

谱间隙可视化： 通过在 NanoGPT 上使用平稳探测器（stationary probes），作者展示了随着动量系数 $\beta$ 的增加，动量缓冲区的领先奇异值与尾部奇异值之间的间隙会变宽，这与定理 1 一致。
子空间可靠性： 对子空间对齐误差的经验测量显示，随着 $T$ 的增加，动量缓冲区的奇异子空间与真实信号子空间之间的偏差随之减小，验证了推论 1。
流水线对比： 在合成模型、CIFAR-10 以及 NanoGPT/LLaMA 350M 训练任务中，Pre-polar 流水线在信号对齐和验证损失方面始终优于 Post-polar 和 Polar-only。值得注意的是，Post-polar 的性能不随 $\beta$ 的变化而变化，证实了理论预测：在正交化之前进行平均无法恢复被噪声掩盖的信号方向。
端到端训练： 在 LLM 预训练任务（NanoGPT 和 LLaMA 350M）中，Pre-polar 流水线（标准 Muon）实现了比其他变体更低的验证损失，支持了“动量是信号恢复的重要组成部分，而非仅仅是加速技巧”的说法。

意义
本文首次从理论上解释了为什么 Muon 需要动量以及为什么操作顺序（先去噪再正交化）至关重要。它将动量在基于矩阵的优化器中的角色重新定义为不仅是一种加速机制，更是一个谱滤波器，能够稳定奇异子空间免受噪声影响。其指导原则“先去噪，后正交化”为未来采用非线性谱步骤的矩阵感知优化器提供了设计准则，表明必须在进行任何谱归一化或正交化之前，先实现信号与噪声的分离。作者指出，虽然其理论解释了 Muon 动量的益处，但也凸显了当前理论界限的局限性——即无法预测这些收益，这表明标准优化理论与谱优化器的实际行为之间存在差距。