🤖 machine learning

Rethinking Muon Beyond Pretraining: Spectral Failures and High-Pass Remedies for VLA and RLVR

本文介绍了 Pion，一种高通谱优化器，它通过抑制噪声梯度分量并保留每头专业化，改进了 Muon，从而在 Muon 和 AdamW 难以胜任的具有可验证奖励的视觉 - 语言 - 动作训练及强化学习中实现了更优越的性能与稳定性。

原作者： Chongyu Fan, Gaowen Liu, Mingyi Hong, Ramana Rao Kompella, Sijia Liu

发布于 2026-05-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Chongyu Fan, Gaowen Liu, Mingyi Hong, Ramana Rao Kompella, Sijia Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗语言和日常类比对论文《Rethinking Muon Beyond Pretraining》（重新思考预训练之外的 Muon）的解释。

全景图：面向机器人与推理的新优化器

想象训练人工智能就像教导一名学生。长期以来，AdamW 一直是大型语言模型（LLM）最好的老师（优化器）。最近，一位更先进的老师Muon出现了。Muon 在“预训练”阶段表现出色——在这个阶段，AI 阅读整个互联网以学习通用知识。Muon 的工作原理是将 AI 的大脑视为一种乐器，确保每一个音符（数学方向）都以相同的音量演奏，从而鼓励大胆的探索。

然而，这篇论文的作者发现，当你尝试将 Muon 用于两项特定的高级任务时，它存在一个重大缺陷：

教导机器人（VLA）： 将智能语言模型转化为能够看、说和移动的机器人。
教导数学/逻辑（RLVR）： 利用奖励机制教导 AI 解决数学谜题等难题。

在这些新场景中，Muon 经常失效，导致机器人动作笨拙，或者数学求解器忘记所学的一切。作者提出了一种名为Pion的新老师来解决这些问题。

问题所在：Muon 为何在新情境中失效

要理解这个问题，不妨将 AI 的学习过程想象成一个拥有许多扬声器（数学方向）的音响系统。

1. 机器人问题（“低秩”问题）

在训练机器人时，控制手臂的大脑部分（“动作模块”）非常简单。它只需要在几个特定的方向上移动。

类比： 想象一个合唱团，只有 3 名歌手唱对了歌词，但其余 97 人只是在哼唱随机噪音。
Muon 的做法： Muon 就像一位音频工程师，将所有歌手的音量都调到完全相同的水平。它让那 3 名好歌手声音洪亮，但同时也将那 97 名嘈杂歌手的音量推到了同样的高度。结果呢？机器人被噪音搞得晕头转向，动作 erratic（ erratic 意为 erratic，此处指 erratic 动作，即 erratic 动作 erratic）。
修正方案： 你需要一个系统，既能保持好歌手的音量洪亮，又能静音那些嘈杂的歌手。

2. 数学问题（“低信噪比”问题）

当使用奖励机制（RLVR）教导 AI 解决数学问题时，反馈非常“嘈杂”。AI 进行猜测，获得奖励，然后再次尝试。信号（实际的数学课程）很微弱，而噪音（随机猜测）却很强烈。

类比： 想象在飓风中试图听清耳语。
Muon 的做法： Muon 试图让耳语和飓风的风声一样响亮。这完全淹没了耳语，导致 AI“崩溃”并停止学习。
修正方案： 你需要一个滤波器，能够放大耳语但阻挡飓风的风声。

解决方案：Pion 登场

作者创建了Pion（Spectral hIgh-pass Optimization on momeNtum，动量谱高通优化）。把 Pion 想象成 Muon 忘记包含的一个智能音频均衡器。

Pion 不是同等地调大所有音量，而是采用两步流程：

提升（Promotion）： 它增强重要、清晰的信号（声音的“头部”）。
抑制（Suppression）： 它主动静音嘈杂、微弱的信号（声音的“尾部”）。

这被称为**“高通”滤波器**。就像音乐中的高通滤波器会切掉低沉、轰鸣的低音噪音，让清晰的人声闪耀一样，Pion 切掉数学噪音，让有用的学习方向闪耀。

Pion 的关键特性：

即插即用（Drop-in Replacement）： 它可以精确地嵌入到 Muon 所在的现有训练代码中。它不需要更多的计算能力或时间；速度一样快。
每头模式（Per-Head Mode）： 对于数学问题，Pion 可以单独处理 AI 大脑的不同部分（称为“注意力头”）。这就像意识到班级里有些学生擅长几何，而另一些擅长代数，从而给他们布置不同的作业，而不是把整个班级当作一个大杂烩来对待。

结果：机器人与数学变得更聪明

论文在两个主要领域测试了 Pion：

1. 真实机器人（VLA）

测试： 他们训练机器人抓取物体（如黄瓜或立方体）并将其放入碗或盘子中。
结果：
- AdamW： 机器人很吃力，经常掉落物体或错过目标。
- Muon： 机器人表现稍好，但仍显得 jittery（抖动），有时会撞上物体，因为它“听”到了太多噪音。
- Pion： 机器人动作流畅且精准。在一次测试中，Pion 在 1,500 步后达到了100% 的成功率，而 Muon 仅为 97%，AdamW 仅为 32%。
- 现实世界： 他们甚至在一台真实的物理机械臂（Franka Research 3）上进行了测试，Pion 依然获胜，成功抓取和放置物体的可靠性远高于其他方法。

2. 数学推理（RLVR）

测试： 他们使用强化学习教导 AI 模型（Qwen3）解决数学问题（MATH 和 GSM8K 数据集）。
结果：
- Muon： 模型崩溃了。由于噪音压倒了学习信号，其准确率降至接近零。
- AdamW： 模型学习缓慢但稳定。
- Pion： 模型学习更快，并取得了比 AdamW 更高的准确率，成功在嘈杂的数学环境中导航。

总结

该论文认为，虽然 Muon 是 AI 训练初始“阅读”阶段的绝佳工具，但对于控制机器人或解决数学问题等精细任务而言，它过于“嘈杂”且不加区分。Pion 是新的工具，它就像 AI 训练的降噪耳机：它在保持重要学习信号清晰洪亮的同时，消除干扰噪音，从而在不减慢任何速度的情况下，造就更聪明的机器人和更优秀的数学求解器。

技术摘要：超越预训练的 Muon 重新思考

问题陈述

本文指出了 Muon（由牛顿 - 舒尔茨法正交化的动量）这一矩阵感知优化器在应用于两种新兴训练范式时存在的根本局限性：视觉 - 语言 - 动作（VLA）训练和具有可验证奖励的强化学习（RLVR）。Muon 已在大型语言模型（LLM）预训练中取得成功。

Muon 通过牛顿 - 舒尔茨（NS）迭代将动量矩阵的所有奇异值驱动至 1，从而有效地执行均匀谱白化。虽然这在预训练中促进了探索，但作者认为它在下游任务中引发了“谱失配”：

在 VLA 训练中：动作模块的梯度本质上是低秩的（低有效秩，或 erank）。Muon 的均匀白化将主导低秩谱的噪声尾部方向放大至与具有信息量的主导奇异值相同的幅度，从而破坏了更新。
在 RLVR 后训练中：由于轨迹级奖励和稳定机制（例如截断、重要性采样），策略梯度表现出低信噪比（SNR）。Muon 的均匀白化放大了这种随机噪声，导致策略崩溃。此外，Muon 将注意力投影视为单一块，忽略了从预训练中继承的每头异质性（专门的更新尺度）。

现有的变体如低秩 Muon（LRMuon）解决了秩的问题，但依赖于计算昂贵的 SVD 或草图法，未能达到 Muon 的可扩展性。

方法论：Pion

作者提出了 Pion（动量上的谱高通优化，sPectral hIgh-pass Optimization on momeNtum），作为 Muon 的即插即用替代品。它保留了 Muon 的计算效率（每步成本与 Muon 相同），但用谱高通滤波器取代了均匀白化。

核心机制：高通 NS 迭代

Pion 将 NS 迭代重新构想为作用于归一化奇异值 $\sigma \in [0, 1]$ 的标量多项式映射 $f(\sigma)$ 。Pion 没有使用单个多项式驱动所有 $\sigma \to 1$ ，而是将 $k=5$ 个 NS 步骤拆分为两阶段的提升 + 抑制序列：

提升阶段（ $f_p$ ）：应用于 $k_p$ 步。该多项式旨在单调放大奇异值，将具有信息量的方向提升至抑制阈值之上，同时保持其相对顺序。系数经过推导以最大化原点处的斜率（ $a_p = 1.875$ ），同时将 $\sigma=1$ 锚定。
抑制阶段（ $f_s$ ）：应用于 $k_s = k - k_p$ 步。该多项式将主导奇异值锚定在 1，同时驱动小的、含噪的奇异值趋向 0。它在原点处强制导数为零（ $f'_s(0)=0$ ），以消除对噪声的线性放大。

由此产生的复合映射创建了一个锐利的高通滤波器：主导奇异值被保留（锚定在 1 附近），而噪声尾部被抑制（收缩至 0）。截止强度由超参数 $k_p$ （提升步数）控制。

每头模式

为了解决关于注意力头特异性的局限性，Pion 引入了每头模式。Pion 不是对整个权重矩阵应用 NS 迭代，而是沿头维度重塑注意力投影，并对每个头独立应用高通 NS 迭代。这保留了各头所需的异质更新尺度，且除简单的重塑外不产生额外的计算成本。

主要贡献

谱失效的识别：本文首次系统性地证明，Muon 的均匀谱白化在 VLA（由于低秩动作梯度）和 RLVR（由于低信噪比梯度）中是有害的，会导致次优性能或模型崩溃。
Pion 优化器：提出了 Pion，将 NS 迭代重新设计为两阶段的“提升 + 抑制”机制。它以与 Muon 相同的计算成本实现了谱高通效果，避免了昂贵的 SVD 运算。
每头适配：引入了每头应用模式，尊重预训练注意力头的异质性，这对于稳定的 RLVR 后训练至关重要。
全面的实证验证：广泛的实验表明，Pion 在各种设置（包括模拟和真实机器人部署）中始终优于 AdamW 和 Muon。

实验结果

VLA 训练（LIBERO & LIBERO-Plus）

设置：在 LIBERO 套件上训练 VLA-Adapter（ $\ell_1$ -回归）和 VLANeXt（流匹配）。
发现：
- Pion 始终优于 Muon 和 AdamW。在 LIBERO 物体任务中，Pion 在 1,500 步后达到100% 的成功率，而 Muon 为 97.0%，AdamW 为 32.2%。
- 在 LIBERO-Plus 基准测试中，Pion 表现出更快的收敛速度，并在分布偏移（例如噪声、机器人扰动）下具有更高的鲁棒性。
- 真实机器人评估：在使用 $\pi0.5$ 骨干网络的 Franka Research 3 机器人上，Pion 在抓取 - 放置任务中实现了**85.6%**的平均成功率，显著优于 Muon（38.9%）和 AdamW（31.1%）。

RLVR 后训练（Qwen3-1.7B/4B）

设置：使用 GRPO 和 GMPO 算法在 MATH 和 GSM8K 上微调 Qwen 模型。
发现：
- Muon 崩溃：Muon 在 RLVR 设置中完全失败，由于噪声放大，准确率降至接近零。
- Pion 成功：Pion 恢复了有意义的训练信号，在所有模型规模和基准测试中均优于 AdamW。例如，在 Qwen3-1.7B 上使用 GRPO 进行 MATH 训练时，Pion 实现了稳定的准确率增长，而 Muon 则发生崩溃。
- 消融实验：一种“低通 Muon"（LPMuon）变体（反向过滤，保留小值，丢弃大值）无法训练，证实了 Pion 的高通性质是成功的关键因素。

意义与主张

本文声称，Pion 提供了一种即插即用且计算高效的解决方案，以解决将 Muon 应用于非预训练范式时固有的谱失配问题。通过将均匀白化替换为可控的高通滤波器，Pion 在 Muon 失效的噪声环境（RLVR）和低秩环境（VLA）中稳定了训练。

作者强调，Pion 的优势不仅仅是架构上的，而是源于对优化器谱归纳偏置的根本性修正。这项工作表明，虽然均匀谱探索对预训练有益，但谱选择性（保留信号，抑制噪声）对于有效的下游适应和推理至关重要。真实机器人硬件上的结果进一步验证了这些算法改进能够转化为物理任务性能上的切实提升。