🤖 machine learning

One-Step Gradient Delay is Not a Barrier for Large-Scale Asynchronous Pipeline Parallel LLM Pretraining

本文挑战了单步梯度延迟必然会使异步流水线并行化失稳的假设，证明了通过将 Muon 等鲁棒优化器与受误差反馈（Error Feedback）启发的修正机制相结合，可以使大规模语言模型预训练在消除流水线气泡的同时，实现与同步方法相当的性能。

原作者： Philip Zmushko, Egor Petrov, Nursultan Abdullaev, Mikhail Khrushchev, Samuel Horváth

发布于 2026-06-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Philip Zmushko, Egor Petrov, Nursultan Abdullaev, Mikhail Khrushchev, Samuel Horváth

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这是一篇使用简单语言和日常类比对该论文进行的解释。

核心问题： “流水线”瓶颈

想象你正在工厂里组装一个巨大的机器人。为了提高速度，你雇佣了一组工人（GPU），并将工作任务分配到一条流水线上。工人 A 负责制造腿部，工人 B 负责制造躯干，工人 C 负责制造头部。

在旧的方法中（同步流水线），每个人都必须等待前一个人完成他们的部分后才能开始工作。

工人 A 完成了腿部，并将其交给工人 B。
工人 B 开始制造躯干。
问题在于： 当工人 B 在工作时，工人 A 却在无所事事地站着，等待躯干完成以便获得改进腿部的反馈。这种“等待时间”被称为气泡（bubble）。在计算机中，这些气泡会浪费大量的能量和时间。

提出的解决方案： “快速通道”流水线

这篇论文研究了一种运行该工厂的不同方式，称为异步流水线并行（Asynchronous Pipeline Parallelism）。

不再等待，工人 A 在交付完最后一批零件后，立即继续制造新的腿部。他们不需要等待反馈。
这消除了“气泡”。每个人都在 100% 的时间内工作。
代价是： 因为工人 A 是基于旧的信息（在躯干被制造出来之前的信息）来制造新腿部的，所以他们的指令略显“陈旧”或过时。在数学术语中，这被称为梯度滞后（gradient staleness）。

长期以来，科学家们一直认为使用这些“陈旧”的指令会导致机器人变得非常糟糕。他们认为工厂会崩溃或者生产出一个损坏的机器人。

发现：问题不在于延迟，而在于“领班”

论文作者挑战了这一观点。他们问道：延迟真的是问题所在吗？还是说问题出在我们用来管理工人的特定工具（优化器）上？

他们测试了许多不同的“领班”（被称为优化器的数学算法），以观察哪些优化器能够处理陈旧的指令而不搞砸机器人的制造。

旧领班 (AdamW)： 这是长期以来最受欢迎的领班。论文发现，当面对陈旧的指令时，AdamW 会感到困惑，导致机器人的质量显著下降。它就像一个在进度表发生变化时就会惊慌失措的领班。
新领班 (Muon)： 这是一个更新、更聪明的领班。论文发现 Muon 非常鲁棒。即使指令滞后了一步，Muon 仍能让机器人完美地进行制造。它几乎察觉不到延迟。

类比： 想象你在开车。

AdamW 就像是一个依赖于 10 秒钟延迟的 GPS 的驾驶员。如果你转弯，GPS 却告诉你直行，驾驶员就会撞车。
Muon 则像是一个能够预测前方道路的驾驶员。即使 GPS 延迟了 10 秒，驾驶员也知道要保持直行，因为他理解交通的流向。

秘密武器：“误差反馈”

即使有了最好的领班（Muon），“快速通道”（异步）工厂与“旧方法”（同步）工厂之间仍然存在微小的差距。

为了解决这个问题，作者引入了一种技术，称为误差反馈（Error Feedback）。

类比： 领班意识到：“嘿，我刚才用了一个过时的指令来制造那条腿。我需要进行修正。”
领班不再仅仅使用新指令，而是计算出他们应该做的事与他们实际做的事之间的差异，并将这个修正量加入到下一步中。
这个简单的数学技巧完全弥补了差距。“快速通道”工厂生产出的机器人质量与“旧方法”工厂生产的完全一致，但速度快得多。

大规模测试：100 亿参数机器人

为了证明这不仅仅是一个小实验，作者制造了一个拥有 100 亿个零件（参数）的巨大机器人。

他们在海量数据（2000 亿个词）上对其进行了训练。
他们使用了带有 Muon 领班和 误差反馈 修正的“快速通道”方法。
结果： 最终得到的机器人与通过缓慢、旧方法训练出来的机器人没有区别。他们实现了完全相同的质量，但没有浪费任何“气泡”时间。

结论摘要

障碍已被打破： “陈旧”数据会毁掉训练的恐惧在很大程度上是一个误区，这是由于使用了错误的工具（如 AdamW）造成的。
正确的工具： 像 Muon 这样的现代优化器天生具有抵抗这些延迟的能力。
解决方法： 误差反馈 技术可以修复剩余的微小问题，使快速方法与慢速方法一样出色。
规模化： 这在大型模型（100 亿参数）上同样有效，证明了异步训练是构建未来 AI 的一种可行的高速途径。

简而言之： 你不需要为了获取反馈而停止流水线。如果你雇佣了合适的领班（Muon）并使用简单的修正技巧（误差反馈），你就可以在不牺牲最终产品质量的前提下，让流水线保持全速运转。

技术摘要：单步梯度延迟并非大规模异步流水线并行 LLM 预训练的障碍

问题陈述

现代大语言模型（LLM）的预训练日益依赖流水线并行（Pipeline Parallelism, PP）来管理显存限制。然而，同步 PP 实现存在“流水线气泡”（pipeline bubbles）问题——即在等待来自其他阶段的数据时，GPU 处于闲置状态——这降低了计算效率。异步流水线并行（Async PP）通过消除同步屏障来消除这些气泡，从而最大化吞吐量。

采用 Async PP 的主要障碍在于一种观点，即认为由此产生的梯度陈旧性（使用过时的参数进行梯度计算）会从根本上破坏优化的稳定性。之前的工作（如 Ajanthan 等人，2025 年）使用了原始的 PipeDream 调度方案，该方案引入了随流水线深度增加而增加的可变梯度延迟，导致严重的收敛退化。虽然 PipeDream-2BW（Narayanan 等人，2021a）提供了与流水线深度无关的恒定一步延迟，但其应用受到一种假设的限制，即认为即使是单步延迟下的优化本质上也是不稳定的，特别是对于像 AdamW 这样占主导地位的优化器。

方法论

作者通过对固定一步延迟下的优化器行为进行全面的实证和理论分析，挑战了“一步延迟是基本障碍”的假设。

优化器基准测试： 该研究评估了涵盖 135M 到 360M 参数模型的多种优化器（包括 AdamW、Muon、SOAP、Adan、Lion 和 MARS）。他们将同步训练与使用 PipeDream-2BW 调度的异步训练进行了对比，后者确保了统一的一步延迟（ $w_{t+1} = w_t - u_{t-1}(g_{t-1})$ ）。
超参数敏感性： 作者研究了超参数（特别是动量衰减系数 $\beta_1$ 或 $\mu$ ）如何影响对陈旧性的鲁棒性。他们还分析了批量大小（batch size）、学习率和权重衰减的影响。
缓解策略： 研究测试了几种策略，以缩小同步训练与异步训练之间的性能差距：
- 同步开始（Synchronous Start）： 在开始训练时先进行同步训练，然后再切换到异步更新。
- 同步冷却（Synchronous Cooldown）： 在训练接近尾声时切回同步更新。
- 基于泰勒展开的延迟补偿（Taylor-based Delay Compensation）： 使用泰勒风格的修正项来修改梯度。
- 误差反馈（Error Feedback, EF）： 一种受 Seide 等人（2014 年）启发、与优化器无关的更新层级修正机制。作者推导出了一个特定的更新规则： $x_{t+1} = x_t - 2u_{t-1}(g_{t-1}) + u_{t-2}(g_{t-2})$ 。
理论分析： 本文提供了线性最小化算子（LMO）算法（特指 Muon）在固定梯度延迟下（无论是否使用所提的误差反馈修正）的首次收敛性分析。
大规模验证： 研究结果在 10B 参数量的混合专家（MoE）模型上得到了验证，该模型在 200B token 上进行训练，并将同步基准与带有和不带有误差反馈的 Async PP 进行了比较。

核心贡献

优化器鲁棒性发现： 作者证明，在一步延迟下的性能退化并非由延迟本身引起的，而是高度取决于优化器。虽然 AdamW 会遭受严重的质量损失，但现代优化器（如 Muon）表现出极强的鲁棒性，与同步训练的性能差距很小。
动量的作用： 研究识别了动量衰减与陈旧性鲁棒性之间的关键关系。较高的动量系数能持续降低由单步延迟引入的噪声带来的损失，从而增强鲁棒性。
误差反馈修正： 本文引入了一种更新层级的误差反馈机制，能够一致地缩小同步与异步之间的差距。对于像 Muon 这样鲁棒的优化器，它能恢复 50–70% 的性能退化；对于 AdamW，它能恢复 85–90%。
调度方案对比： 研究通过实证验证了 PipeDream-2BW（恒定延迟）优于原始的 PipeDream 调度方案（可变延迟）。虽然鲁棒的优化器可以在较浅的深度部分缓解原始方案中的可变延迟，但它们无法防止在大规模流水线深度下的退化，这强化了使用恒定延迟调度方案对于可扩展 Async PP 的必要性。
理论保证： 本文建立了 Muon 在梯度延迟下（无论是否带误差反馈）的收敛保证，将现有的理论扩展到了基于 LMO 的方法。

结果

小规模模型（135M/360M）：
- AdamW 在一步延迟下显著退化（验证损失增加 > 0.2）。
- Muon 在没有任何缓解措施的情况下也能保持极小的差距（例如在 360M 模型上仅为 +0.012）。
- 误差反馈 进一步缩小了 Muon 的差距，并有效地挽救了 AdamW，使其性能接近同步基准。
大规模模型（10B MoE）：
- 使用 Muon 配合误差反馈 在 200B token 上训练 10B MoE 模型，最终达到了 1.906 的验证损失，与同步基准完全一致。
- 标准的 Async PP（不带 EF）导致的损失为 1.911，差距微乎其微。
- 下游基准测试确认，相同的验证损失转化为了等效的任务性能。
扩展性： 随着训练从 50B 推进到 200B token，同步与异步之间的差距并未扩大，表明该方法具有良好的扩展性。

重要性与主张

本文声称提供了首次在 10B 参数规模上实现无质量退化的异步流水线并行成功演示。通过结合恒定延迟调度（PipeDream-2BW）、鲁棒的优化器（Muon）以及误差反馈修正，作者完全弥合了与同步训练之间的性能差距。

作者得出结论：一步梯度延迟并不是大规模 LLM 预训练的基本障碍。相反，感知到的不稳定性很大程度上是由于使用了次优的优化器（如 AdamW）和可变延迟调度方案所导致的。这项工作强调了 Async PP 在消除流水线气泡和最大化大规模分布式训练硬件利用率方面的实际潜力，前提是采用了正确的优化器和缓解策略。

注：论文承认了一些局限性，包括缺乏关于为什么更高动量能提高鲁棒性的完整机理说明，以及将批量大小敏感性分析限制在了较小的模型上。此外，论文也提到虽然 WPipe 调度方案显示出潜力，但仅在附录的有限实验中进行了研究。