🤖 machine learning

M+Adam: Low-Precision Training via Additive-Multiplicative Optimization

该论文提出了 M+Adam，一种结合了加法和乘法更新的新型优化器，旨在克服低精度训练中互补的失效模式，从而实现仅使用 BF16、FP8 和 FP4 主权重即可对 LLaMA 式模型进行稳定且准确的训练。

原作者： Xiaoyuan Liang, Sebastian Loeschcke, Mads Toftrup, Anima Anandkumar

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Xiaoyuan Liang, Sebastian Loeschcke, Mads Toftrup, Anima Anandkumar

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个巨大的、超智能的机器人（一个大语言模型）如何像人类一样写作。为了做到这一点，你必须调整这个机器人大脑中数以百万计的微小旋钮。通常，这些旋钮的调整需要极高的精度，就像用显微镜来转动一颗螺丝。但是，显微镜又重、又慢、还很贵。

这篇论文提出了一个问题：如果我们改用一把廉价、轻便的扳手呢？

这就是**低精度训练（low-precision training）**的世界。研究人员不再使用高精度的“主权重”（即机器人对旋钮的记忆），而是尝试将它们存储在更小、更粗糙的格式中，例如 BF16、FP8，甚至 FP4。这就像是用一把刻度仅为 10 英尺一个的尺子去测量一座山的高度。

问题所在：“舍入”陷阱

作者发现，当你使用这些粗糙的尺子时，标准的训练方法（称为 Adam）会撞上一堵墙。原因如下：

大山问题： 当一个旋钮被设定为一个巨大的数值时，“尺子”上的刻度间隔会变得非常大。如果机器人需要移动旋钮一个极其微小的量，尺子就无法感知它。这个微小的移动会被舍入为零，导致机器人认为：“我什么都没动！”于是机器人就卡住了，无法攀登这座大山。
零值谷底问题： 其他方法尝试通过使用乘法更新（如 Madam）来解决这个问题。它们不再是加上一个微小的数字，而是将旋钮乘以一个系数。对于大山来说，这种方法效果极佳，因为步长会随着旋钮的大小而增长。然而，如果一个旋钮正好卡在零上，你就无法通过乘法让它动起来。这就像试图推动一辆没有轮子的车；无论你把零乘以多少，结果依然是零。此外，如果旋钮需要从正值变为负值（跨越零点），这些方法会产生混乱，无法完成切换。

解决方案：M+Adam（双工具组合）

论文引入了 M+Adam，这是一种新的优化器，它像一个聪明的机械师，同时携带两种不同的工具。它结合了两者的优点，以修复那些“互补的失效模式”。

工具 1：加法扳手（Adam 式）。 这个工具擅长进行微小、精确的调整。它可以推动处于零位的旋钮，可以改变正负号，并能处理谷底附近的微小移动。
工具 2：乘法杠杆（Madam 式）。 这个工具擅长进行重体力活。当旋钮数值巨大，以至于加法扳手会被“舍入”成零时，乘法杠杆就会介入。它会缩放旋钮的大小，确保机器人在面对最高大的山峰时仍能持续取得进展。

M+Adam 同时使用这两种工具。如果加法工具因为舍入问题而卡住，乘法工具会保持机器人的移动；如果乘法工具无法脱离零值，加法工具则会将其推离。

证明：它奏效了吗？

作者并没有仅仅停留在猜测阶段；他们在巨大的规模上进行了测试。

测试对象： 他们训练了参数量从 6,000 万到 10 亿不等的“类 LLaMA”语言模型。
预算： 他们使用了从 1 倍到 8 倍标准“Chinchilla”预算（衡量模型接触数据量的标准指标）的训练预算。
精度： 他们使用 BF16、FP8 和 NVFP4 作为主权重进行了测试。

结果：
在每一次测试中，M+Adam 都始终优于标准的 Adam 优化器。

在最极端的低精度设置（NVFP4）下，与 Adam 相比，M+Adam 使 350M 参数模型的“困惑度”（衡量模型有多困惑的指标）降低了 16.6%。
即使在 10 亿参数的情况下，M+Adam 在所有精度区间内都表现出了比 Adam 更明显的改进。

论文从数学上证明，这种结合的方法保证了训练损失会下降（即“单调下降”），这意味着机器人一直在学习，永远不会陷入死循环。

它“不是”什么

了解这篇论文并未声称的内容非常重要：

它并不表示 M+Adam 是一个消除了所有内存成本的“万灵药”。事实上，论文指出 M+Adam 增加了一点额外的内存（为乘法工具准备的一个额外“状态”），尽管他们展示了这些状态稍后可以被压缩。
它并不声称像随机舍入（Stochastic Rounding）（一种修复舍入误差的技术）这样的标准方法是没用的。他们测试了带有随机舍入的 Adam，结果发现 M+Adam 的表现依然更好。
它并不建议我们停止使用高精度硬件。相反，它表明如果我们必须使用低精度存储，那么 M+Adam 才是正确的方法。

核心结论

论文表明，当你被迫使用“粗糙”的尺子（低精度权重）来训练巨型 AI 模型时，你不能只依赖一种类型的移动。你需要一种混合方法。M+Adam 正是这种混合方案，它利用加法和乘法步长，确保机器人既不会在面对大山时停滞不前，也不会在逃离零值谷底时被困。这是迈向高效训练大规模 AI 模型的一项原则性进展，无需依赖我们通常依赖的沉重且昂贵的高精度内存。

技术摘要：M+Adam —— 通过加性-乘性优化实现低精度训练

问题陈述

使用全精度（FP32）训练大语言模型（LLMs）会产生显著的内存、计算和能耗成本。虽然现代加速器支持低精度格式（如 BF16、FP8 和 FP4），但标准的训练流水线通常保留高精度（FP32）“主权重”（master weights）以确保稳定性。直接使用低精度主权重进行训练往往会导致精度下降和不稳定性。

作者识别了低精度优化中的一个特定失效模式：在大数值量级下的粗糙量化分辨率。在浮点系统中，可表示数值之间的间距（量化间隔）随数值的大小而增大。因此，当权重量级较大时，标准的加性优化器（如 Adam）往往无法取得进展，因为计算出的更新步长会低于局部量化步长，从而被舍入为零。相反，纯乘性优化器（如 Madam）——其根据当前量级对权重进行缩放——在接近于零或需要改变符号时会失效，因为它们无法逃离精确的零初始化或有效地翻转符号。

方法论：M+Adam

本文提出了 M+Adam，一种结合了加性和乘性更新机制的互补优势，以克服低精度算术限制的新型优化器。

核心机制

M+Adam 维护两个并行的更新分支，并在每一步进行组合：

加性分支（Adam 式）： 直接作用于权重空间。它计算梯度（ $g$ ）的标准一阶和二阶矩，以产生加性更新 $u^{(a)}$ 。该分支在处理小量级、逃离零初始化以及促进符号变化方面非常有效。
乘性分支（Madam 式）： 在对数尺度（指数空间）上运行。它计算相对于指数的梯度 $g^{(e)} = (\ln 2) w_t g$ ，并使用自适应矩来产生相对乘性更新 $u^{(m)}$ 。该分支确保了在加性更新会被舍入掉的大量级情况下仍能取得进展。

权重更新规则定义为：
$w_{t+1} = w_t + w_t u^{(m)}_t + u^{(a)}_t$
这种结构允许优化器在量级较大时执行与尺度相关的相对更新（通过乘性项），同时保留改变符号和更新接近零值的灵活性（通过加性项）。

理论分析

作者在标准平滑性假设下提供了 M+Adam 的理论保证。他们将更新建模为局部坐标系下的“先缩放后相加”操作。定理 4.1 确立了如果学习率和平滑常数满足特定条件，该方法可以确保单调下降（ $L(w_{t+1}) < L(w_t)$ ），除非梯度为零。这证明了这种组合几何结构是一种有效的优化策略。

实现细节

精度支持： 该方法专为 BF16、FP8 和 NVFP4 主权重存储而设计。
状态管理： M+Adam 引入了一个额外的优化器状态（乘性分支的二阶矩累加器）。作者证明，可以使用低秩近似（具体为 Apollo-E，一种 4 阶近似）来压缩该状态以最小化内存开销，使其内存占用接近标准的 BF16-state AdamW。
无需随机舍入： 与之前的一些方法不同，M+Adam 无需随机舍入（SR）或 Kahan 式补偿累加即可实现稳定性，尽管它也兼容这些技术。

核心贡献

识别互补的失效模式： 本文正式表征了加性优化器（由于量级过大导致的停滞）和乘性优化器（由于接近零导致的停滞及无法翻转符号）的失效模式，表明它们是互补的。
M+Adam 算法： 一种统一了这两种几何结构的全新优化器，为无需 FP32 主权重的低精度训练提供了一种原则性的方法。
理论下降保证： 在标准平滑性假设下，证明了组合加性-乘性更新规则的单调下降性。
大规模经验验证： 在 60M 到 1B 参数规模、涵盖 1–8× Chinchilla 训练预算的 LLaMA 类模型上进行了广泛实验。

实验结果

作者在各种精度方案下评估了 M+Adam：BF16/BF16、BF16/FP8、FP8/FP8 以及 NVFP4/FP8。

持续的改进： 在所有模型规模和精度方案下，M+Adam 始终优于经过调优的 AdamW 基准。
困惑度（Perplexity）降低： 在最激进的低精度设置（NVFP4/FP8）中，与 AdamW 相比，M+Adam 显著降低了困惑度（例如，350M 模型提升了 16.6%）。即使在 BF16/BF16 训练中，根据模型大小的不同，M+Adam 也使困惑度降低了 2.8% 到 13.3%。
鲁棒性： 该方法在没有随机舍入的情况下保持稳定。它还优于结合了随机舍入的 AdamW（AdamW+SR）以及 Kahan 补偿。
扩展性： 随着训练预算增加（高达 8× Chinchilla）以及模型规模扩大到 1B 参数，性能增益依然存在。
内存效率： 通过使用 Apollo-E 压缩技术，减少了乘性分支所需的额外内存状态，使得优化器状态占用的内存仅略大于标准的 BF16 AdamW，同时保留了大部分困惑度收益。

意义与主张

本文声称，当低精度主权重成为优化误差的主要来源时，结合加性-乘性更新特别有用。

这项工作的意义在于为低精度训练的数值不稳定性提供了一个原则性的解决方案。通过使优化器的更新几何结构与浮点数的非均匀结构相匹配，M+Adam 减轻了标准加性优化器在大量级时受到的舍入误差影响，同时也解决了乘性优化器在接近零时的停滞问题。

作者总结道，M+Adam 代表了迈向端到端低精度训练的一步，且无需依赖 FP32 主权重。这种能力对于利用针对 FP8 和 FP4 优化的现代 AI 硬件（张量核心）至关重要，有望降低大规模模型训练的内存开销和能耗。这项工作表明，未来的优化器应该针对浮点表示的具体约束进行设计，而不是仅仅将低精度视为一个通过舍入技术来解决的量化问题。