🤖 machine learning

Convergence Bound and Critical Batch Size of Muon Optimizer

本文为 Muon 优化器在各种设置下的理论收敛性证明提供了依据，证明了权重衰减可以在不需要有界梯度假设的情况下确保参数和梯度范数有界，并推导出了一个由超参数决定的关于控制其训练效率的关键批次大小的下界。

原作者： Naoki Sato, Hiroki Naganuma, Hideaki Iiduka

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

原作者： Naoki Sato, Hiroki Naganuma, Hideaki Iiduka

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个巨大且复杂的机器人（神经网络）如何识别照片中的猫或者编写故事。为了做到这一点，你需要一个“教练”（优化器）来告诉机器人如何调整其内部设置以变得更好。长期以来，标准的教练一直是 AdamW，它是一个非常可靠的训练员。但最近，一位名叫 Muon 的新教练出现了，它在实践中展现出了惊人的成果。

这篇论文就像一份侦探报告，试图解释为什么 Muon 如此出色，并为我们提供了一套最高效的使用规则手册。以下是其内容的简单拆解：

1. 核心思想：观察形状，而非仅仅是列表

大多数教练将机器人的大脑视为一个巨大的、杂乱无章的数字列表。它们观察误差并说：“把这个数字调高，把那个数字调低。”

Muon 则不同。它将机器人的大脑视为一组**形状（矩阵）**的集合。

类比： 想象你正试图抚平一张揉皱的纸。
- 旧教练 (AdamW)： 它们试图通过随机推动纸上的单个点来使其平整。这行得通，但有点杂乱。
- Muon： 它观察整张纸。它意识到这张纸具有特定的“褶皱”或结构。它不仅仅是在推动，而是执行了一种特殊的动作（称为正交化），沿着纸张自然的纹理将其抚平。它找到了最“干净”的移动方向，忽略了误差信号有多大或多嘈杂。

2. “稳定性”的秘密：刹车踏板

研究发现了一个使用 Muon 时的一个关键规则，即利用一个被称为权重衰减 (Weight Decay) 的功能（它充当了防止机器人变得过于狂野的刹车）。

发现： 在你推挤机器人有多用力（学习率 Learning Rate）与你踩刹车有多重（权重衰减 Weight Decay）之间，存在着严格的关系。
规则： 如果你推得太猛而刹车不够，机器人就会失控。论文从数学上证明了“推力”绝不能超过“刹车”的能力。具体来说，学习率必须小于 1 / 权重衰减。
结果： 当你遵循这一规则时，机器人的设置会保持在安全、可预测的范围内。它不会爆炸或变得疯狂。这是一个巨大的优势，因为这意味着你不需要假设误差是很小的；数学保证了机器人本身就能保持稳定。

3. “甜点级”批大小（关键批大小）

在训练这些机器人时，你可以一次只给它们看一张照片，或者一次给它们一堆照片（一个批次/Batch）。

问题： 如果你展示的照片太少，机器人学习得很慢。如果你展示的照片太多，计算机虽然在处理这一堆照片，但机器人的学习速度并不会因此大幅提升。存在一个“金发姑娘”点（既不过头也不不足），在那里你可以用最少的计算工作获得最多的学习效果。这被称为关键批大小 (Critical Batch Size)。
Muon 的秘诀： 论文推导出了针对 Muon 的这个“金发姑娘”点的公式。
- 动量因子 (Momentum Factor)： Muon 使用了一种“动量”设置（就像一个沉重的飞轮，让机器人在同一方向上持续运动）。论文发现，如果你调高动量（让飞轮变得更重），“金发姑娘”批大小就会变小。你可以使用更小的批次，且依然保持高效。
- 刹车因子 (Brake Factor)： 如果你使用更强的刹车（权重衰减），“金发姑娘”批大小就会变大。你需要一次向机器人展示更多的照片才能获得最佳效率。

4. 为什么这很重要（“秩”的优势）

论文解释了 Muon 之所以高效，是因为它理解机器人的大脑其实并没有看起来那么复杂。

类比： 想象一个 100x100 的灯阵（10,000 盏灯）。大多数时候，实际上只有少数灯光模式在亮起。其余的都只是噪声。
Muon 的优势： Muon 意识到“真实”的信息是低秩的（简单的模式）。它忽略了噪声。因此，它不需要庞大的批次大小就能找准方向。与其他方法相比，它可以利用较小的批次进行有效学习，从而节省时间和能源。

研究总结

它有效： 论文证明了 Muon 在四种不同的设置下（有/无动量，有/无权重衰减）都能实现收敛（成功学习）。
它稳定： 使用带有正确学习率的权重衰减，可以保证机器人不会失控，即使在不假设误差很小的情况下也是如此。
它高效： 论文给出了寻找完美批大小的公式。
- 高动量 = 你可以使用更小的批次。
- 高权重衰减 = 你应该使用更大的批次。
现实检验： 作者在图像识别（猫/狗）和语言模型（文本生成）上进行了测试。实验证实了数学与现实相符：特别是在根据他们的新规则调整批大小时，Muon 比旧的标准方法 AdamW 更快、更高效。

简而言之，这篇论文将一个在实践中表现良好的“黑盒”优化器拆解开来，解释了其内部机制，证明了它的安全性，并准确地告诉你在如何调整它以获得最大速度。

技术摘要：Muon 优化器的收敛界限与关键批大小

问题陈述

尽管 Muon 优化器作为 AdamW 等标准优化器的潜在继任者，已在经验性能上展现出强大的表现，但其理论基础仍不够完善。现有文献缺乏对 Muon 的形式化收敛证明，特别是在涉及 Nesterov 动量和权重衰减的实际设置中。本文旨在填补这些空白，通过提供严谨的收敛分析并推导 Muon 关键批大小（即使随机一阶预言机（SFO）复杂度最小化的批大小）的下界。

方法论

作者对四种实际配置下的 Muon 进行了理论分析：

无 Nesterov 动量且无权重衰减。
有 Nesterov 量且无权重衰减。
无 Nesterov 动量且有权重衰减。
有 Nesterov 动量且有权重衰减。

理论框架：

收敛分析： 作者推导了平均期望核范数梯度 $\frac{1}{T}\sum_{t=0}^{T-1} \mathbb{E}[\|\nabla f(W_t)\|_*]$ 的上界。他们利用了标准的 $L$ -光滑性和有界梯度方差假设。一个关键创新是对 Muon 搜索方向的分析，该方向是通过对动量矩阵 $C_t$ 进行正交化获得的。作者考虑的是动量误差矩阵（秩为 $r_1$ ）和搜索方向（秩为 $r_2$ ）的秩，而非完整的参数维度。
Newton-Schulz 近似： 由于 Muon 在实践中通过 Newton-Schulz 迭代而非精确 SVD 来近似正交化，作者分析了该近似误差 $\delta(k)$ 对收敛的影响，表明它仅引入了一个可以忽略不计的项。
关键批大小 (CBS) 推导： 作者将达到目标精度 $\epsilon$ 所需的训练步数 $T$ 建模为批大小 $b$ 的函数。通过最小化 SFO 复杂度（ $T \times b$ ），他们推导出了关键批大小 $b^*$ 的下界。

实验验证：
作者通过两层策略验证了理论预测：

受控全 Muon 实验： 一个合成的教师-学生任务，其中 Muon 更新所有参数，严格符合理论假设。
实际规模混合实验： 在 CIFAR 数据集上训练 ResNet-18/VGG-16，以及在 C4 语料库上训练 Llama3.1 (320M)。在这些设置中，Muon 应用于矩阵形状的参数，而 AdamW 处理其余部分，反映了标准的部署方式。

核心贡献

1. 四种变体的收敛证明

论文为所有四种 Muon 变体建立了收敛保证。推导出的平均期望梯度范数上界阶数为：
$O\left(\frac{1}{\eta T} + \sqrt{\frac{(1-\beta)r_1}{b}} + \bar{r}\eta\right)$
（对于 Nesterov 和权重衰减项有细微变化）。

重要性： 与方差随全参数量缩放的向量优化器不同，Muon 的界限随动量误差矩阵的秩 $r_1$ 缩放。经验证据表明，在过参数化机制中 $r_1 \ll n$ ，这意味着更紧凑的理论界限。
核范数： 分析使用了核范数，这比许多基于向量的分析所使用的 Frobenius 范数是更严格的标准，表明 Muon 尊重神经网络参数的内在矩阵结构。

2. 权重衰减的作用与稳定性

作者证明了引入权重衰减可以确保参数范数 ( $\|W_t\|_F$ ) 和梯度范数 ( $\|\nabla f(W_t)\|_F$ ) 的几乎处处有界性，而无需依赖有界梯度的限制性假设。

稳定性条件： 他们推导了一个必要稳定性条件：学习率 $\eta$ 和权重衰减系数 $\lambda$ 必须满足 $\eta \leq 1/\lambda$ 。实验结果证实，当 $\eta$ 超过此阈值时，训练会变得不稳定。
隐式正则化： 虽然权重衰减不会改善渐近收敛速率的阶数，但它通过限制范数提供了隐式正则化，这解释了其卓越的经验性能。

3. 关键批大小 (CBS) 下界

论文推导了关键批大小 $b^*$ 的下界，显示其对超参数的依赖关系：
$b^*_{\text{Muon}} > \frac{9(1-\beta)(1+\sqrt{2\beta})^2 r_1 \sigma^2}{(1-\lambda)^2 \epsilon^2}$

超参数依赖性： 公式揭示了：
- 动量 ( $\beta$ )： 当 $\beta \to 1$ 时，项 $(1-\beta)$ 趋于零，表明关键批大小减小。
- 权重衰减 ( $\lambda$ )： 因子 $1/(1-\lambda)^2$ 表明增加权重衰减会增加关键批大小。
- 秩 ( $r_1$ )： 该界限随动量误差的秩缩放，将 CBS 与梯度的低秩结构联系起来。
定性缩放： 作者强调该公式提供的是一个定性缩放律而非绝对预测，因为它取决于特定问题的常数 ( $\sigma^2, r_1, \epsilon$ )。然而，不同 Muon 变体之间的 CBS 比例仅取决于 $\beta$ 和 $\lambda$ 。

结果

理论发现：

收敛速率与标准的非凸 SGD 类方法一致（在特定超参数调度下为 $O(T^{-1/4})$ ），但由于对秩的依赖，其方差项更紧凑。
Newton-Schulz 近似误差对收敛的影响有限，随迭代次数呈指数级衰减。

实验发现：

稳定性： 在 ResNet-18/CIFAR-10 上的实验验证了稳定性条件 $\eta \leq 1/\lambda$ 。梯度范数和训练损失在这一边界附近达到极小值。
收敛速度： 与 AdamW、Momentum SGD 及其他 Muon 变体相比，带有 Nesterov 动量和权重衰减的 Muon 始终能实现最快的损失下降和梯度范数下降。
关键批大小验证：
- 超参数效应： 实验证实，添加 Nesterov 动量会将 CBS 推向更大的值，而增加权重衰减会进一步增加 CBS。例如，将 $\lambda$ 从 0 增加到 0.5 导致 CBS 从 $\approx 1024$ 移动到 $\geq 4096$ ，符合预测的 $1/(1-\lambda)^2$ 缩放比例（比例为 4.0）。
- 秩缩放： 通过改变模型宽度，实验显示有效秩 $r_1$ 随宽度缩放，且乘积 $r_1 \cdot \sigma^2$ 保持相对恒定，这解释了为什么尽管存在理论上的秩依赖，经验 CBS 值在不同宽度下仍表现得相对平坦。
- 效率： Muon 通常比 AdamW 需要更少的步数和更低的 SFO 复杂度，特别是在中小规模批大小的情况下。

意义与主张

本文声称提供了对 Muon 的首次严谨收敛分析，该分析同时纳入了 Nesterov 动量和权重衰减，填补了对这一新兴优化器理论理解的空白。

理论洞察： 它证明了权重衰减不仅是一种正则化工具，更是一种确保有界性和稳定性的机制，从而消除了对有界梯度假设的需求。
实践指导： 推导出的 CBS 下界为从业者提供了可操作的指导。它阐明了调节 $\beta$ 和 $\lambda$ 如何从定性上影响最优批大小，即高动量配置可以用较小的批次高效训练，而较高的权重衰减则需要较大的批次来维持效率。
验证： 这项工作通过在视觉和语言建模工作负载中验证这些预测，弥合了理论与实践之间的鸿沟，确认了即使在仅将 Muon 应用于矩阵形状参数的混合优化设置中，这些理论缩放律依然成立。

作者谦虚地指出，其单矩阵分析并未显式建模层间异质性，但他们认为梯度噪声尺度的层间高度相关性支持了其发现的普适性。他们还承认，虽然 Muon 在实验中优于 Shampoo，但推导类似的界限对于 Shampoo 仍是一个开放性问题。