🔢 mathematics

Sign compression for Muon: SignMuon, MuonSign, and the Limits of Error Feedback

本文介绍了 SignMuon，这是一种针对 Muon 优化器的单比特压缩方法，尽管它在理论上存在发散问题且误差反馈也无法修复该问题，但在各种基准测试中，其经验性能却优于具有理论收敛保证的变体，从而凸显了低比特优化领域中理论保证与实际性能之间存在的显著差距。

原作者： Maria Smirnova, Alexey Kravatskiy

发布于 2026-08-03

📖 1 分钟阅读🧠 深度阅读

CC BY 4.0

原作者： Maria Smirnova, Alexey Kravatskiy

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一个巨大的、超级聪明的机器人如何识别照片中的猫。为了做到这一点，机器人必须从数百万张图片中学习，并且每次它做出猜测时，都会向中央大脑发送一条消息，说：“我觉得我需要朝这个方向调整我的思考方式。”问题在于，这些消息非常庞大。这就像是每次只想说“是”或“否”时，都要发送一整本百科全书。如果你必须通过缓慢的网络连接发送这些庞大的百科全书，整个学习过程就会因为等待数据的到达而陷入停滞。

为了解决这个问题，科学家们发明了一个叫做“压缩”的小技巧。与其发送整本百科全书，你只需发送最重要的词：符号（sign）。调整的方向是正向（向上）还是负向（向下）？仅此而已。这只是一个比特的信息。这就像是喊一声“向上！”或“向下！”，而不是发送一份详细的地图。这节省了大量的带宽，让机器人能够学习得更快。但这里有一个陷阱：有时，当你丢弃所有细节只保留方向时，你会不小心搞乱数学逻辑。机器人可能会开始原地打转，甚至是在倒退着走，以为自己在前进。这篇论文讨论的就是如何找到完美的“喊话”方式，好让机器人既能学会前进，又不会迷失方向。

伟大的符号压缩实验

在人工智能训练的世界里，有一种流行的方法叫做 Muon。你可以把 Muon 想象成一个非常精密的 GPS。与那些将机器人大脑的每个部分视为孤立、独立项的旧方法不同，Muon 观察全局。它理解机器人的大脑是由数字网格（矩阵）组成的，并使用一种特殊的几何规则来确定最佳路径。它就像是一个了解地形是山脉的 GPS，会选择尊重山丘形状的路径，而不是仅仅尝试走直线。

然而，Muon 非常沉重。它为每一步都发送详细的完整地图（32 位数据）。当你尝试将它与“向上/向下喊话”技巧（符号压缩）结合使用以节省带宽时，情况变得很奇怪。本文作者 Maria Smirnova 和 Alexey Kravatskiy 决定测试三种不同的方法，将 Muon 精密的 GPS 与简单的“向上/向下”喊话结合起来。

三种喊话方式

他们设置了三种策略，就像三个试图通过迷宫的不同团队：

SignMuon（“后置喊话”团队）： 首先，Muon 计算出完美的、详细的路径。然后，他们观察这条路径，并为每一步喊出“向上！”或“向下！”。这看起来是最符合逻辑的：先得到聪明的方向，然后再进行简化。
MuonUSign（“前置喊话”团队）： 首先，他们在 Muon 进行智能计算之前，对原始数据喊出“向上！”或“向下！”。然后，Muon 根据这些简单的喊话来推算最佳路径。
MuonSign（“双向喊话”团队）： 他们在前后都进行喊话。他们对原始数据喊话，让 Muon 做它的事，然后再对结果进行喊话。这是最极端的压缩，在两个方向都只发送“向上”或“向下”。

令人震惊的发现：逻辑 vs. 现实

故事在这里变得曲折起来。作者进行了严谨的数学推导（通过定理证明），发现了一个令人惊讶的事实：这三种方法都没有得到成功的保证。

事实上，他们证明了在某些简单的直线问题上，所有这三种方法实际上都会让机器人倒着走。 想象一个试图走过直走廊的机器人。它没有向前走，而是数学逻辑混乱了，导致“向上/向下”的喊话让它每一步都在倒退。无论步长多么微小，机器人都会离目标越来越远。

作者甚至构建了特定的、微小的例子（比如 4x4 或 5x5 的网格）来展示这种现象。他们证明，如果你试图通过保留“错误记忆”（一种称为“误差反馈”的技术）来修复这个问题，对于“后置喊话”团队（SignMuon）也是没有帮助的。机器人仍然会卡在倒退行走的循环中。

“有效”的修复方法（但并非最优）

那么，如果显而易见的方法都失败了，什么方法才有效呢？作者发现，如果改变你压缩的对象，就能化解危机。

他们不再压缩最终的方向，而是压缩 Muon 进行魔法运算之前的原始数据，并使用一套特殊的“记忆”系统来修正错误。他们创造了两种新方法：EF21-MuonUSign 和 EF21-MuonSign。

这些方法在数学上是可行的。作者证明了它们最终能找到目标，即使是在困难的非线性问题上。它们是“安全”的选择，不会让机器人永远倒着走。

剧情反转：理论 vs. 现实

如果“安全”的方法是唯一在数学上行得通的方法，你会认为它们会在现实世界中成为冠军，对吧？错了。

作者在真实的复杂任务上进行了大规模实验：

教机器人识别猫和狗（CIFAR-10）。
训练机器人像人类一样写作（nanoGPT）。

结果与数学结论完全相反。那些“安全”的方法（具有数学保证的方法）速度更慢，且准确度更低。那个在数学看来是有问题的——即“后置喊话”方法（SignMuon）——实际上才是赢家。

在每一次测试中，SignMuon 的表现都是最好的。它学得更快，得分更高，尽管作者已经证明了它在简单问题上应该失败。

为什么会这样？

论文指出，这种“破碎”的数学只发生在非常特定、奇特的场景下，而这些场景在现实生活中并不常见。这种“后置喊话”方法（SignMuon）似乎拥有一个数学证明未能捕捉到的隐藏超能力。事实证明，在复杂、混乱的真实数据世界中，直接压缩最终方向的效果比复杂的、带有“安全保障”的误差修正系统更好。

作者总结道，虽然我们可以构建一个在数学上保证绝不会掉下悬崖的机器人，但那个敢于进行几次冒险跳跃的机器人，往往能更快地到达终点线。对于任何构建 AI 系统的人来说，教训很明确：依靠数学来保持安全，但要依靠实验来告诉你是谁在真正起作用。

总结

这篇论文讲述了理论与实践之间的张力。

理论说： “不要使用 SignMuon；它会让机器人倒着走。”
实践说： “SignMuon 是最快且最好的。”

作者并没有完全解开“为什么理论在实践中失效”的谜团，但他们清晰地记录了这一现象。他们向我们展示了，虽然我们可以制造出一个在数学上保证永不坠崖的机器人，但那个敢于进行几次冒险跳跃的机器人，可能反而能率先冲过终点线。对于任何构建 AI 系统的人来说，教训很明确：信任数学来保你平安，但要信任实验来告诉你什么是真正有效的。

技术摘要：针对 Muon 的符号压缩（Sign Compression）

问题陈述
在分布式客户端或带宽受限的情况下训练深度神经网络，需要对工作站与服务器之间传输的更新进行压缩。虽然 SignSGD 提供了每个坐标仅 1 比特的极端压缩率，但它将权重矩阵展平为向量，丢弃了像 Muon 这样先进优化器所利用的矩阵结构。Muon 利用基于谱范数的线性最小化算子（LLMO）来使动量矩阵正交化，从而在各种设置中表现出卓越的性能。然而，Muon 传输的是稠密的、全精度的矩阵（每个参数 32 位），这造成了瓶颈。核心问题在于如何将 Muon 的矩阵感知几何特性与 1 比特的通信预算相结合，且不丢失下降性质或收敛保证。

方法论
本文研究了相对于 Muon LMO 的三种自然的符号压缩算子放置位置：

SignMuon：对 LMO 的输出进行取符号处理 ( $\text{sign}(\text{LMO}(\cdot))$ )。这是最直接的方法，产生一个 $\pm 1$ 矩阵。
MuonUSign：对 LMO 的输入进行取符号处理 ( $\text{LMO}(\text{sign}(\cdot))$ )。
MuonSign：对输入和输出同时进行取符号处理 ( $\text{sign}(\text{LMO}(\text{sign}(\cdot)))$ )。

作者在线性目标函数和光滑非凸问题上对这些方法进行了理论分析。他们还引入了误差反馈变体（EF21），以解决符号压缩引入的偏差：

EF21-SignMuon：对 LMO 输出（极分解因子）应用误差反馈。
EF21-MuonUSign：对 LMO 之前的梯度应用误差反馈。
EF21-MuonSign：对梯度（上行）和模型更新（下行）同时应用误差反馈。

一个关键的实现细节是用于逐层步长的“单位增益启发式算法（unit-gain heuristic）”，该算法根据层维度缩放学习率，以确保不同形状的层具有一致的均方根（RMS）增益，这在混合使用 LMO 步长（范数为 $\sqrt{r}$ ）和符号步长（范数为 $\sqrt{mn}$ ）时是必要的。

核心贡献

直接组合的离散性：论文证明了三种直接的符号放置方式（SignMuon、MuonUSign、MuonSign）在一般情况下都不能保证下降。具体而言，作者构建了显式的、小规模的反例（4x4 和 5x5 矩阵），在这些反例中，每种方法对于任何步长和动量系数，在针对线性目标函数时都会呈现上升趋势。研究表明，符号算子与谱范数 LMO 的组合对于任何范数都不构成 LMO，从而破坏了下降保证。
基于算子输出的误差反馈失效：作者证明，将标准误差反馈（EF21）应用于 LMO 输出（EF21-SignMuore）并不能修复发散问题。他们构建了一个光滑且有下界的函数，在该函数上，对于每一个平滑常数、步长和动量设置，EF21-SignMuon 都会发散。极分解因子可以无论步长大小而移动恒定量，导致误差反馈估计器无法追踪它。
基于梯度的误差反馈收敛性：相比之下，对梯度（在 LMO 之前）应用误差反馈可以恢复收敛。
- EF21-MuonUSign 在具有一比特上行链路的平滑非凸问题上，实现了标准的 $O(T^{-1/2})$ 平方梯度范数收敛速率。
- EF21-MuonSign 通过在模型上增加第二个误差反馈循环，将此扩展到了双向一比特（上行和下行）传输，并保持了相同的收敛速率。
理论与实验的反转：尽管 SignMuon 在理论上存在发散性，但实验结果显示，在中央 CIFAR-10、联邦 CIFAR-10 和 nanoGPT 速度测试中，SignMuon（符号后放置）始终是表现最强的压缩方法。它优于具有理论收敛性的变体（EF21-MuonUSign、EF21-MuonSign），并在许多情况下与全精度 Muon 持平。具有理论“安全性”的方法在多个随机种子分布下都落后于 SignMuon。

结果

理论层面：论文确立了“符号后”放置（SignMuon）无法通过应用于算子输出的误差反馈来修复，而带有梯度误差反馈的“符号前”和“双侧”放置方案则是可证明收敛的。
实验层面：
- 在 中央 CIFAR-10 (ResNet-18) 上，SignMuon 达到了 94.60% 的准确率，匹配了全精度 Muon (94.35%)，并显著优于 SignSGD (93.37%)。误差反馈变体 (EF21-SignMuon) 的表现略逊于 SignMuon。
- 在 联邦 CIFAR-10 (N=11) 上，SignMuon 达到 85.72% 的准确率，仅落后 Muon (85.98%) 不到一个标准差，但超过了 SignSGD 4.3 个百分点。排序保持为：SignMuon > MuonUSign > MuonSign。收敛变体 (EF21-MuonUSign/Sign) 表现滞后。
- 在 nanoGPT 上，SignMuon 和 EF21-SignMuon 几乎不可区分，其验证损失与全精度 Muon 的差距在 0.01 以内，优于所有其他压缩方法。
反例：构建的发散实例属于最坏情况场景。在随机二次型问题上，梯度与步长之间的对齐在所有三种放置方式下都保持正相关，这表明普通数据并不会触发理论上的发散。

意义与主张
本文记录了压缩优化中理论保证与实际性能之间的张力。文章声称，虽然“符号后”放置（SignMuon）在理论上是不可修复的，并且可以在特定的线性实例上发散，但在多种架构和规模下，它是最有效的启发式方法。作者并非试图解决这种张力，而是对其进行了刻画：反例排除了涵盖该类问题中“每一个”问题的保证，但并不排除在满足普通数据条件的条件下收敛。

论文得出结论，在当前规模下，在 LMO 之后进行压缩的启发式收益超过了缺乏理论保证带来的风险。作者指出，主要的研究课题在于确定“符号后”放置收敛的具体条件，以及研究压缩下行链路的收敛速率，以及任何一比特压缩器是否在层范数内收缩。此外，该工作也澄清了同时期关于 SignMuon 的一项提议（Mishra et al., 2026）是为一种不同的方法（梯度符号算子）提供保证，而非针对 SignMuon 本身的更新。