📊 statistics

Ringmaster LMO: Asynchronous Linear Minimization Oracle Momentum Method

本文介绍了 Ringmaster LMO，这是一种面向基于 LMO 优化的异步动量方法，它将延迟阈值技术扩展至异构分布式系统，提供了理论收敛保证，并在合成任务及大规模语言模型预训练任务中展现出优于同步和异步基线的性能。

原作者： Abdurakhmon Sadiev, Artavazd Maranjyan, Ivan Ilin, Peter Richtárik

发布于 2026-05-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Abdurakhmon Sadiev, Artavazd Maranjyan, Ivan Ilin, Peter Richtárik

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一位庞大管弦乐团（计算机集群）的指挥家，正试图训练一个巨型 AI 模型。你的目标是让音乐完美无缺，这意味着要根据观众（数据）的反馈来调整成千上万种乐器（权重）。

在过去，指挥家会等待每一位乐手完成他们的部分，然后才发出下一条指令。这被称为同步训练。问题在于：如果一位乐手动作缓慢（也许他的乐器陈旧，或者他心不在焉），整个乐团就会陷入沉默，苦苦等待。这在“异构”系统中（即某些计算机速度快，而另一些速度慢）尤其是一种巨大的时间浪费。

最近，一种名为Muon的新演奏风格变得流行起来。Muon 不再将每种乐器视为简单的音符，而是审视声音的形状和结构（矩阵结构），从而做出更智能、更快速的调整。然而，Muon 仍然固守着“等待所有人”的习惯。

本文介绍了Ringmaster LMO，这是一种新方法，允许指挥家在部分乐手动作缓慢时，依然保持音乐的流动。其工作原理分解为以下简单概念：

1. “马戏团团长”策略：不要等待最慢的人

想象一位马戏团团长。他的规则不是等待最慢的大象完成表演后再叫下一位表演者，而是规定：“如果某位表演者耗时过长，我们就跳过他们，继续下一位。”

问题所在： 在分布式系统中，某些工人（计算机）能迅速完成计算，而其他人（落后者）则耗时极长。
解决方案： Ringmaster LMO 设定了一个时间限制（阈值）。如果某位工人返回的梯度（一种反馈）“太旧”（因为他们耗时太久），系统就会将其丢弃。使用来自快速工人的、稍旧但更及时的更新，总比等待来自慢速工人的全新更新要好。
结果： 系统永远不会闲置。它持续向前推进，无视那些“慢大象”。

2. “智能形状”（LMO）

大多数训练方法将 AI 模型视为一长串数字。但本文聚焦于Muon，它将数据视为三维块或矩阵（就像一叠扑克牌，而不是单行线）。

类比： 想象试图抚平一张皱巴巴的纸。标准方法可能只是随机拉扯纸角。而 Muon 会审视整张纸，并朝着最能高效抚平它的方向拉扯。
Ringmaster LMO 将这种“智能形状”方法与“不等待慢速者”的策略相结合。这是该技术首次被实现为异步模式（即能够忽略慢速工人）。

3. “自适应”功能

通常，要让此类系统运行，你必须是一位数学奇才，为你的特定计算机设置完美地调节许多旋钮（参数）。如果调节不当，训练就会失败。

本文介绍了一种参数无关的版本。

类比： 这就像一辆配备自适应巡航控制的汽车。你不需要确切知道前车有多快，或者路面有多滑；汽车在行驶过程中会自动计算出合适的速度和距离。
Ringmaster LMO 会自动调整其“时间限制”和学习速度，因此你无需成为数学专家即可对其进行调节。

4. 实验结果

作者在两件事上测试了该方法：

数学谜题（二次问题）： 他们模拟了一组速度各异的工人。
训练微型语言模型（NanoChat）： 他们模拟了现实世界的聊天机器人训练场景。

发现：

当所有工人的速度大致相同时，Ringmaster LMO 的表现与现有最佳方法一样好。
当工人速度差异很大（高度异构）时，Ringmaster LMO 显著领先。 落后者（慢速工人）越多，其优势就越明显。这证明了忽略缓慢的更新是混乱的现实计算环境中实现速度的关键。

总结

Ringmaster LMO 是一种训练 AI 模型的新方法，它：

使用“智能形状”： 它理解数据的复杂结构（如同 Muon 一样）。
忽略缓慢者： 它丢弃耗时过长的更新，防止整个系统停滞。
自我调节： 它自动进行调整，无需复杂的手动设置。

这就像聘请了一位指挥家，他确切知道何时该跳过一位慢速乐手，以保持交响乐以最高速度演奏，从而确保即使计算能力不均，AI 也能学得更快。

技术摘要：Ringmaster LMO：异步线性最小化 oracle 动量方法

问题陈述

本文探讨了在异构分布式系统中使用基于线性最小化 Oracle（LMO）的优化器训练神经网络的挑战。尽管基于 LMO 的方法（如最近提出的 Muon 优化器）通过显式利用矩阵结构（例如通过谱范数更新）已展现出优于标准 AdamW 的性能，但它们目前仅限于同步训练流程。

在同步设置中，系统必须等待最慢的工作节点完成梯度计算后才能继续，这在 worker 速度差异显著的异构环境中造成了瓶颈。现有的异步方法（如 Ringmaster ASGD）通过在欧几里得设置中丢弃超过特定延迟阈值的“陈旧”梯度，实现了最优时间复杂度。然而，这些延迟阈值机制尚未扩展到通用的基于 LMO 的更新，也未在深度学习常见的广义平滑假设下进行分析。

本文提出的核心问题是：异步基于 LMO 的方法能否在异构 worker 计算时间的情况下，恢复欧几里得设置中已知的最优时间复杂度？

方法：Ringmaster LMO

作者提出了Ringmaster LMO，这是一种用于无约束随机非凸优化的异步动量方法。该方法整合了三个核心组件：

基于 LMO 的动量：更新方向由选定范数的单位球上的线性最小化 Oracle（LMO）确定。对于动量向量 $m_{k+1}$ ，更新公式为 $x_{k+1} = x_k + \eta_k \text{lmo}(m_{k+1})$ 。该框架推广了多种优化器；例如，选择谱范数可恢复 Muon，而选择最大范数可恢复 SignSGD。
延迟阈值：为了减轻异步设置中陈旧梯度造成的性能下降，服务器仅接受延迟 $\delta_k$ 低于阈值 $R_k$ 的梯度 $g_k$ （在迭代点 $x_{k-\delta_k}$ 处计算）。超过该阈值的梯度将被丢弃。
广义平滑分析：理论分析在 $(L_0, L_1)$ -平滑条件下进行，其中局部平滑常数可随梯度范数增长。这是一个比标准 $L_0$ -平滑更一般的假设，能更好地捕捉现代机器学习中损失函数的行为。

该算法维护一个管理迭代点和动量的中央服务器，而 $n$ 个工作节点并行计算随机梯度。服务器仅在接收到“新鲜”梯度（延迟 $< R_k$ ）时更新动量并执行 LMO 步骤。

主要贡献

1. 首个具有时间复杂度保证的异步基于 LMO 的方法

本文介绍了首个在异构 worker 计算时间下提供严格时间复杂度保证的异步基于 LMO 的方法。它将 Ringmaster ASGD 的延迟控制原理从欧几里得 SGD 更新扩展到了通用的基于 LMO 的更新。

2. 广义平滑下的收敛性

作者建立了 Ringmaster LMO 在 $(L_0, L_1)$ -平滑下的收敛率。

固定参数机制：他们推导了迭代复杂度界限，在适应延迟梯度的同时恢复了标准的随机 LMO 型依赖关系。在经典的欧几里得平滑设置（ $L_1=0$ ）中，这些界限与一阶随机非凸优化的最优下界相匹配。
参数无关机制：开发了一种具有递减步长和自适应延迟阈值（ $R_k = 1/\alpha_k$ ）的变体。该变体消除了根据问题常数（如 $L_0, L_1, \sigma$ ）调整超参数的需求，这是此前 Ringmaster ASGD 分析中缺失的功能。

3. 时间复杂度分析

本文在两种模型下将迭代复杂度转化为时间复杂度：

固定计算模型：假设每个 worker 的计算时间恒定，时间复杂度界限恢复了 Ringmaster ASGD 在欧几里得设置中的最优缩放比例。界限明确依赖于最快的 $m$ 个 worker 的调和平均数，表明该方法能有效适应系统异构性。
通用时变模型：分析扩展到了 worker 速度随时间变化的场景，提供了即使在负载波动下也成立的递归时间界限。

4. 实验验证

实验在以下任务上进行：

随机二次问题：使用 Nesterov 三对角二次目标函数。
NanoChat 语言模型预训练：一个 6 层、192 隐藏单元的 Transformer 模型。

结果将 Ringmaster LMO（具体为 Ringmaster Muon）与同步和异步基线（Rennala Muon、延迟自适应 Muon）进行了比较。实验表明，该方法在近乎同质的设置中具有竞争力，但随着 worker 速度异构性的增加，其优势显著扩大。在高度异构的机制（线性延迟分布）中，Ringmaster LMO 实现了最低的训练损失和最快的收敛。

结果与意义

理论结果：

该方法在参数无关机制下实现了 $\tilde{O}(\Psi^4 / \epsilon^4)$ 的迭代复杂度，其中 $\Psi$ 包含了问题常数和噪声。
在固定参数机制下，达到 $\epsilon$ -平稳点的时间复杂度为 $O(\min_m H_m \cdot (\dots))$ ，其中 $H_m$ 是前 $m$ 个 worker 时间的调和平均数。这证实了该方法通过丢弃过于陈旧的更新避免了“拖后腿”（straggler）问题，从而恢复了欧几里得异步 SGD 已知的最优时间复杂度。

实验结果：

异构性敏感性：随着延迟异构性的增加，Ringmaster LMO 与基线之间的性能差距扩大。在“线性延迟”机制（某些 worker 显著较慢）中，Ringmaster Muon 优于所有基线。
鲁棒性：参数无关变体在无需根据问题参数手动调整延迟阈值的情况下，表现具有竞争力。

意义：
本文声称弥合了矩阵结构优化器（如 Muon）的经验成功与异步分布式训练的理论效率之间的差距。通过证明延迟阈值机制可以成功应用于非欧几里得、基于 LMO 的更新，这项工作使得这些高级优化器能够在不牺牲收敛保证的情况下，应用于大规模异构分布式环境。作者指出，虽然他们的分析假设了同质的数据分布，但该方法处理系统异构性的能力是迈向实际大规模训练的关键一步。

承认的局限性：
作者谦逊地指出，任意范数下通用基于 LMO 方法的异步时间复杂度下界仍然是一个未解决的问题，因为即使是同步情况下的匹配下界也尚不清楚。此外，当前理论假设 worker 间的数据分布是同质的，因此数据异构设置是一个自然的下一步。