🤖 machine learning

LionMuon: Alternating Spectral and Sign Descent for Efficient Training

本文介绍了 LionMuon，这是一种高效的优化器，它在 Lion 和 Muon 的更新之间交替进行，同时共享单个动量缓冲区，与 AdamW、Lion 和 Muon 等现有方法相比，在不同模型规模下均实现了更优越的性能和更低的计算成本。

原作者： Arman Bolatov, Artem Riabinin, Nikita Kornilov, Andrey Veprikov, Samuel Horváth, Martin Takáč, Aleksandr Beznosikov

发布于 2026-05-20

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Arman Bolatov, Artem Riabinin, Nikita Kornilov, Andrey Veprikov, Samuel Horváth, Martin Takáč, Aleksandr Beznosikov

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图通过展示数百万个示例，教会一个庞大而复杂的机器人（大型语言模型）说话。为此，你需要一位“优化器”——一位教练，它在机器人看到每一个示例后，指导其如何调整大脑（即参数）。

问题在于，这位教练必须做出数十亿次决策。如果这位教练运行得太慢或成本太高，整个项目就会变得过于昂贵。如果教练太便宜但决策糟糕，机器人就会学习缓慢或陷入停滞。

本文介绍了一位名为 LionMuon 的新教练。它是一种巧妙的混合体，试图融合两种截然不同的教练风格的优势。

两位现有的教练

要理解 LionMuon，我们首先需要认识它所融合的那两位教练：

“符号”教练（Lion/Signum）：
- 工作原理： 这位教练极其快速且廉价。它不关注误差的确切大小，只关注方向（正或负）。这就像一台 GPS，只告诉你“左转”或“右转”，而无需计算确切距离。
- 优点： 它超级高效。你可以运行它数十亿次而不会耗尽预算。
- 缺点： 由于它忽略了“幅度”（转弯需要多大），它有时会走一条微弱或略微偏离航线的路径。它很快，但并不总是最准确的。
“谱”教练（Muon）：
- 工作原理： 这位教练是一位天才数学家。它一次性审视整个误差地图，并计算出修正误差的完美、最强方向。它使用复杂的矩阵数学（就像一台高端 GPS，综合考虑交通、地形和限速，计算出绝对最短路线）。
- 优点： 它能非常快地找到最佳路径。机器人每一步的学习速度更快。
- 缺点： 计算成本高昂。进行这种复杂的数学运算需要大量的时间和能量。如果你为每一步都使用这位教练，训练成本将急剧飙升。

新方案：LionMuon

作者提出了一个简单的问题：“我们能否拥有‘符号’教练的速度，同时兼具‘谱’教练的准确性？”

他们的答案是 LionMuon。

LionMuon 并非在两者之间二选一，而是像一个智能交换机。它按照固定时间表（例如每 2 步）在两位教练之间交替：

第 1 步： 使用 Muon 教练找到那个完美、强劲的方向。
第 2 步： 使用 Lion 教练，基于第一步的动量进行廉价、快速的调整。
第 3 步： 回到 Muon，依此类推。

秘诀所在：
通常，如果你切换教练，必须重置它们的记忆或使用两个不同的记忆库。LionMuon 的巧妙之处在于，它在两位教练之间共享单一记忆库。这意味着它不需要额外的计算机内存（RAM）来运行。它使用的内存量与廉价的 Lion 教练相同，这仅是标准行业教练（AdamW）所需内存的一半。

为什么这很重要？

论文声称，通过交替这些步骤，LionMuon 能够兼得两者之长：

更便宜： 因为它每隔几步才执行一次昂贵的“完美数学”（Muon），所以达到相同结果的总训练成本显著降低（完成相同结果所需的计算能力减少了约 5%）。
更智能： 尽管它有时会跳过昂贵的数学运算，但那些“廉价”的步骤是由上一步找到的强劲方向所引导的。结果是，机器人学习得更快，并且达到的误差率更低，优于单独使用任何一位教练。
可扩展性： 研究人员在不同规模的模型上（从 1.24 亿到 7.2 亿参数）测试了该方法。在每种情况下，LionMuon 都是赢家，以最小的计算能力达到了最佳结果。

理论依据（其“为何”有效）

作者并非凭空猜测，而是进行了数学推导。他们证明，在特定条件下（特别是当数据存在噪声时，这在人工智能中很常见），切换频率存在一个“最佳点”。

他们发现，如果切换过于频繁（每一步都使用 Muon），成本就太高；如果切换过于稀少，就会失去准确性提升。他们的数学推导表明，对于大多数现代人工智能模型，每 2 步 切换一次（一次 Muon，一次 Lion）是完美的平衡点。

总结类比

想象你在雾中徒步登山。

Lion 是一位快速的跑步者，仅根据风向猜测方向。他移动迅速，但可能会走之字形路线。
Muon 是一位缓慢且昂贵的直升机飞行员，他使用热成像仪寻找绝对最陡峭、最安全的路线。
LionMuon 是一个团队：直升机飞行员飞行一次以找到最佳路径，然后快速跑步者沿着该路径冲刺一段时间，直到直升机再次检查。

结果如何？你比完全依赖直升机或全程靠猜测更快地到达山顶，且消耗的燃料更少。

核心结论： LionMuon 是一种训练人工智能的新颖高效方法，它在无需额外计算机内存的情况下，既节省了金钱和时间，又让人工智能变得更聪明。

技术摘要：LionMuon

问题陈述

训练大语言模型（LLM）是一个巨大的优化问题，其中每步计算成本（FLOPs）和收敛速度是决定最终计算账单的主要因素。当前的优化器在更新质量和计算效率之间面临权衡：

基于符号的方法（如 Lion、Signum）： 这些方法产生廉价的、逐坐标的符号更新（ $W_{t+1} = W_t - \eta \cdot \text{sign}(\hat{G}_t)$ ）。它们在计算上廉价且内存高效，但通常提供的更新方向不如谱方法强。
谱方法（如 Muon）： 这些方法通过牛顿 - 舒尔茨迭代计算矩阵符号更新（ $W_{t+1} = W_t - \eta \cdot \text{msign}(\hat{G}_t)$ ）。虽然它们提供了更强的谱方向，往往导致更快的收敛，但由于涉及多次矩阵乘法以及在分布式设置中增加的通信开销（需要全矩阵 all-gather），其每步成本显著更高。

本文探讨的核心问题是：是否有可能结合基于符号更新的低成本与谱更新的高质量方向，从而实现更优的成本 - 质量权衡。

方法论：LionMuon

作者提出了LionMuon，这是一种优化器，在固定的周期 $P$ 内交替进行 Lion 风格的符号更新和 Muon 风格的谱更新。

核心算法

交替调度： 该算法每 $P$ 次迭代执行一次 Muon 步骤（牛顿 - 舒尔茨谱更新），并在剩余的 $P-1$ 次迭代中执行 Lion 风格的符号更新。
共享动量： 两种更新类型共享单个双指数移动平均（EMA）动量缓冲区（ $M_t$ ）。方向 $\hat{G}_t$ 通过 Lion 的插值计算得出： $\hat{G}_t = \beta_1 M_{t-1} + (1-\beta_1)G_t$ 。
状态效率： LionMuon 仅维护一个动量缓冲区，其内存占用与 Lion/Signum 相同，且恰好是 AdamW 的一半。
特殊情况：
- $P=1$ ：纯 Muon。
- $P=\infty$ ：纯 Lion（若 $\beta_1=\beta_2$ 则为 Signum）。
- $P \in (1, \infty)$ ：所提出的交替方法。
- SignMuon： 一种变体，使用单 EMA 动量（ $\beta_1 = \beta_2$ ）配合相同的交替调度。

理论分析

作者为 LionMuon 在重尾噪声（LLM 训练中常见的条件）下提供了收敛界。

插值常数： 收敛界取决于周期平均平滑度（ $\bar{L}$ ）和噪声水平（ $\bar{\rho}$ ），这些常数在纯 Muon（谱范数）和纯 Lion（无穷范数）的常数之间进行插值。
最优周期： 理论表明存在一个最优周期 $P^*$ ，可最小化涉及平滑常数比率（ $L_\infty / L_2$ ）和噪声水平比率（ $\rho_1 / \rho_{nuc}$ ）的权衡因子。
复杂度： 推导出的复杂度界表明，在特定配置下，LionMuon 可以用更少的操作达到与纯 Muon 或纯 Lion 相同的精度，特别是在权衡因子 $\phi(P) < 1$ 时。

主要贡献

SignMuon： 一种交替优化器，每 $P$ 次迭代执行一次 Muon 步骤，其余时间执行 Signum 风格的符号步骤。作者表明，即使是这种单 EMA 变体，在 $P=2$ 时也能改善纯 Muon 的损失 - FLOPs 权衡。
LionMuon： 主要贡献，用 Lion 的双 EMA 规则替换 Signum 的动量。它在保留 SignMuon 成本节约的同时进一步改善了收敛。它仅需一个额外的整数超参数（ $P$ ），并且是 Lion 的近乎即插即用替代品。
理论界： 在重尾噪声下给出了尖锐的复杂度界，明确建模了 Muon 和 Lion 机制之间的插值，预测了计算最优周期 $P$ 。
实证验证： 在多个数据集（FineWeb、SlimPajama、WikiText-103）和架构（GPT-2、LLaMA）上进行了广泛实验，规模涵盖 1.24 亿、3.55 亿和 7.2 亿参数。

实验结果

1.24 亿规模： LionMuon（特别是 $P=2$ ）在所有测试数据集和架构上均帕累托优于 Muon、Lion、Signum 和 AdamW。与纯 Muon 相比，它在达到更低验证损失的同时，总训练 FLOPs 减少了约 5.5%。
扩展性（3.55 亿 & 7.2 亿）： 收敛质量优势在更大规模下依然存在。在 3.55 亿规模下，LionMuon 和 SignMuon（ $P=2$ ）优于纯 Muon。在 7.2 亿规模下，SignMuon（ $P=2$ ）仍优于纯 Muon，尽管 LionMuon 相对于 SignMuon 的双 EMA 优势在此特定的欠训练预算下未能复现。
分布式训练： 该方法提供了结构性的通信节约。由于 Lion 步骤是逐元素且局限于分片的，设置 $P=2$ 可将 Muon 的牛顿 - 舒尔茨步骤所需的昂贵 all-gather 操作频率减半，无论批量大小如何。

意义与主张

本文主张，LionMuon 通过将昂贵谱更新的频率与迭代次数解耦，提供了一种结构上更优越的 LLM 训练方法。

效率： 它保留了 Muon 步骤的有效性，同时降低了平均迭代成本，并匹配基于符号方法的内存效率。
鲁棒性： 该方法在不同模型大小和数据集上表现稳健， consistently 定义了损失 - FLOPs 的帕累托前沿。
理论一致性： 实证结果与关于最优周期 $P$ 的理论预测一致，表明中间值（例如 $P=2$ 或 $P=5$ ）通常能在昂贵的谱方向和廉价的符号方向之间提供最佳平衡。

作者总结道，LionMuon 是现代 LLM 训练的一种实用、即插即用的扩展，在收敛质量和计算效率两方面都严格优于当前最先进的方法（Muon）。未来的工作建议包括自适应 $P$ 选择以及扩展到 7.2 亿参数以上。