💻 computer science

AMUSE: Anytime Muon with Stable Gradient Evaluation

本文介绍了 AMUSE，一种新的优化器，它将 Muon 的快速批量进展与免调度平均相结合，以稳定训练并消除对学习率调度表的依赖，从而在视觉和语言任务中实现卓越性能。

原作者： Jueun Kim, Baekrok Shin, Jihun Yun, Beomhan Baek, Minhak Song, Chulhee Yun

发布于 2026-05-22

📖 1 分钟阅读☕ 轻松阅读

原作者： Jueun Kim, Baekrok Shin, Jihun Yun, Beomhan Baek, Minhak Song, Chulhee Yun

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《AMUSE：具有稳定梯度评估的任意时刻 Muon》的通俗解释，辅以生动的类比。

宏观图景：训练 AI 如同登山

想象你正在教一台计算机（神经网络）学习一项技能，比如识别猫咪或撰写故事。为此，计算机必须“下山”，穿越一座巨大而复杂、充满误差的山脉，以抵达谷底（即完美解）。

这座山的形状十分棘手，并非平滑的斜坡。

河流：存在一个宽阔、平坦且平缓的谷底，你可以在这里快速行走并取得巨大进展。真正的学习就发生在这里。
山谷壁：在谷底两侧，地面极其陡峭且崎岖。如果你向山壁迈出太远，就会剧烈地来回反弹，浪费能量却寸步难行。

现有方法的问题

长期以来，攀登这座山的标准方法（使用名为 AdamW 的优化器）就像是一位依赖严格地图的徒步者。地图精确地告诉他们该走多快、何时减速。如果徒步者无视地图，就会迷路。

最近，出现了两种新的徒步策略：

无调度（Schedule-Free, SF）：这就像一位不需要地图的徒步者。他们只需持续前行，但偶尔会回顾来路，以确保自己保持在平坦的谷底。他们非常稳定，但有时起步稍慢。
Muon：这是一位全新、超快的徒步者。他们有一个特殊技巧：能“拉直”步伐，避免被困在陡峭的山壁上。他们在河流中冲刺的速度极快。然而，由于他们速度太快且过于激进，有时会撞向山谷壁，导致身体摇晃并失去稳定性。

解决方案：AMUSE

这篇论文的作者意识到，Muon 速度快但不稳，而无调度（Schedule-Free）稳定但有时缓慢。他们希望结合两者的优点。

他们创造了 AMUSE（具有稳定梯度评估的任意时刻 Muon）。

类比：具备“智能插值”能力的徒步者

想象你正驾驶汽车沿着蜿蜒的道路（河流）行驶。

Muon 就像以 100 英里/小时的速度驾驶跑车。你到达得很快，但如果遇到颠簸（陡峭的山壁），可能会失控。
无调度（Schedule-Free） 就像以 40 英里/小时的速度驾驶重型卡车。你非常稳定，但到达目的地需要很长时间。

AMUSE 则像一位根据时间调整驾驶风格的智能司机：

旅程初期（开始阶段）：司机处于跑车模式。他们像 Muon 一样快速行驶，以迅速起步并覆盖路程。他们愿意承担一些风险以加快速度。
旅程后期（结束阶段）：随着接近目的地，司机逐渐切换到“卡车模式”。他们开始更多地关注迄今为止走过的平均路径，平滑转弯。这阻止了他们撞向山壁，并确保他们始终完美地保持在平坦的河床之上。

AMUSE 的工作原理（技术魔法）

论文使用“时变系数”（一种随时间变化的旋钮的 fancy 说法）来解释这一点。

旋钮（ $\beta_t$ ）：在开始时，旋钮设定为聚焦于“快速”路径。随着训练继续，旋钮缓慢转动，聚焦于“稳定”路径。
结果：AMUSE 在开始时拥有 Muon 的速度，在结束时拥有无调度（Schedule-Free）的稳定性。它不需要预先编写的地图（学习率调度）来告知何时减速；它能自行判断。

论文发现

作者在许多不同的“山脉”（任务）上测试了这种新方法：

图像识别：教计算机识别图片（如猫、狗或手写数字）。
大型语言模型：训练 AI 撰写和理解文本（如聊天机器人背后的模型）。

结果：

更快：AMUSE 达到了与其他方法相同的高质量结果，但所需步数更少。例如，在大型语言模型任务上，它比次优方法快 1.5 倍 到达终点。
稳定：它不像 Muon 有时那样摇晃或崩溃。
任意时刻（Anytime）：你可以在任何时刻停止训练，模型都会处于良好状态。你不必等待特定的“训练结束”时刻才能获得好结果。

总结

这篇论文介绍了 AMUSE，一种用于训练 AI 的新工具。它通过借用 无调度（Schedule-Free） 优化的稳定性技巧，解决了快速但不稳的 Muon 优化器的不稳定性问题。

这就像一位知道何时冲刺、何时稳步行走的徒步者，确保他们能更快抵达山底，而不会从侧面跌落。论文声称，该方法在图像和文本任务上均优于当前的标准方法，且无需复杂的调度管理。

技术摘要：AMUSE（具有稳定梯度评估的任意时刻 Muon）

问题陈述

现代深度学习优化通常依赖于 AdamW 优化器与预设的学习率调度（例如余弦衰减）相结合。最近的进展分别对这些组件提出了挑战：无调度（Schedule-Free, SF）优化通过在当前迭代点与平均迭代点之间的插值点评估梯度，从而移除了显式的调度；而Muon通过对动量进行正交化，改进了矩阵值参数的更新几何结构。

尽管 Muon 在大语言模型（LLM）预训练中的实证表现成功，但其底层机制尚未被完全理解。该论文指出了 Muon 的一个特定不稳定性：虽然其正交化加速了沿“平坦”方向（损失景观的“河流”）的进展，但它无意中放大了“陡峭”高曲率方向（“山谷壁”）中的噪声，导致振荡轨迹。相反，无调度方法通过将轨迹保持在河流附近来稳定轨迹，但可能缺乏 Muon 正交化所提供的快速主体进展。核心问题在于设计一种优化器，既能结合 Muon 的快速收敛性，又能具备无调度平均的稳定性，且无需手动学习率调度。

方法论：AMUSE

作者提出了AMUSE（具有稳定梯度评估的任意时刻 Muon），该方法利用时变插值系数，将 Muon 的正交化矩阵更新与无调度框架相结合。

理论基础：河流 - 山谷景观

分析基于河流 - 山谷损失景观视角：

河流：一个高维、低曲率的主体子空间，其中有用的训练进展在此发生。
山谷壁：一个低维、高曲率的主导子空间，会引发振荡。
Muon 的机制：对动量矩阵进行正交化增加了更新的相对主体分量，从而加速沿河流的进展。然而，这也阻止了主导分量的衰减，导致主导方向中的微小噪声被放大为跨越山谷壁的振荡。
无调度机制：在平均轨迹（更接近河流）处评估梯度，在更新步骤之前过滤掉高曲率波动。

算法设计

AMUSE 采用时变插值系数 $\beta_t$ 来确定梯度评估点 $Y_t$ ，该点位于快速基础序列 $Z_t$ （Muon 更新）与稳定平均序列 $X_t$ 之间：
$Y_t = (1 - \beta_t)Z_t + \beta_t X_t$

$\beta_t$ 的调度旨在平衡早期适应与后期稳定性：

预热阶段（ $t \le T_0$ ）： $\beta_t$ 固定为一个小值 $\beta_1$ 。这允许优化器在接近快速 Muon 序列（ $Z_t$ ）的位置评估梯度，以实现快速的初始适应。
预热后（ $t > T_0$ ）： $\beta_t$ 根据以下公式逐渐增加至 1：
$\beta_t = 1 - \left( \frac{T_0 - 1}{t - 1} \right)^\rho (1 - \beta_1)$
其中， $\rho \in [0, 1]$ 控制转变速率。随着 $\beta_t$ 增加，梯度评估点向平均序列 $X_t$ 移动。这会在主导分量经历 Muon 正交化之前抑制其高曲率（主导）分量，从而稳定轨迹。

关键在于，该调度独立于总训练范围，从而支持任意时刻训练（可在任意时刻停止训练而不降低性能）。AMUSE 不需要学习率衰减调度。

主要贡献

Muon 的几何分析：论文为 Muon 的效率和不稳定性提供了物理解释。它表明，正交化促进了面向主体的更新（加速河流进展），但放大了主导方向的噪声（导致山谷壁振荡）。
通过插值实现稳定：作者表明，通过无调度方法在更接近平均轨迹的位置评估梯度，可以在正交化之前减少主导分量，从而减轻振荡。
AMUSE 算法：一种新型优化器，动态地将梯度评估点从快速 Muon 轨迹转移到稳定平均轨迹。这结合了 Muon 的快速收敛性与无调度方法的稳定性。
支持任意时刻训练：通过使用独立于总步数的时变调度并避免学习率衰减，AMUSE 支持灵活的训练范围。

实验结果

AMUSE 在多样化的基准测试中进行了评估，包括图像分类（CIFAR-10/100、SVHN、ImageNet-1k）、图像分割（ISIC 2018）以及 LLM 预训练（FineWeb 上 1.24 亿、7.2 亿和 10 亿参数的 Llama 风格模型）。

性能 - 迭代帕累托前沿：在所有任务中，AMUSE 始终优于（无调度）AdamW 和 Muon。
效率提升：
- 在 7.2 亿参数 LLM 预训练上，AMUSE 以少 1.51 倍的步数达到 Muon 的最终性能。
- 在带有 ResNet-50 的 ImageNet 上，它以少 1.12 倍的步数实现相同的性能。
- 在带有 ViT 微调的 ImageNet 上，它需要少 3.08 倍的步数。
稳定性：与显著受益于事后指数权重平均（EWA）或学习率衰减的原始 Muon 不同，AMUSE 在整个训练过程中保持稳定的轨迹，应用这些事后技术时仅显示出极小的改进。
可扩展性：AMUSE 能有效扩展到大批次大小（高达 2048）和大模型规模（10 亿参数），而其他无调度变体在此类情况下有时会遇到困难。

意义与主张

该论文声称，AMUSE 代表了一种基于对训练动态和损失景观几何的系统性理解而推导出的优化器设计原则性方法。通过明确解决快速主体进展与山谷壁稳定性之间的权衡，AMUSE 在无需手动学习率调度的情况下实现了卓越的性能。

作者谦逊地指出，虽然 AMUSE 优于现有优化器，但与原始 Muon 相比，它会产生轻微的记忆开销（为基准序列 $Z_t$ 多保存一个状态副本），尽管其开销仍与 AdamW 和无调度 AdamW 相当。他们建议未来的工作可以专注于在不增加此额外内存成本的情况下实现类似的稳定性和性能。论文强调，“河流 - 山谷”视角为设计既高效又稳定的优化器提供了一个稳健的框架。