🤖 machine learning

When Muon Optimizer Meets Adversarial Training: A Theoretical and Empirical Study

本文提出了一项理论与实证研究，证明通过正交化矩阵值更新来施加谱范数稳定性的 Muon 优化器，能够增强跨多种架构和威胁模型的对抗训练鲁棒性，从而将优化器几何结构确立为模型安全的关键因素。

原作者： Jun Yan, Weiquan Huang, Jiankai Zuo, Yujian Mo, Xi Fang, Chengliang Wu, Zeming Wei

发布于 2026-05-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Jun Yan, Weiquan Huang, Jiankai Zuo, Yujian Mo, Xi Fang, Chengliang Wu, Zeming Wei

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《当 Muon 优化器遭遇对抗训练》的通俗解读，辅以生动的类比。

宏观图景：建造一座抵御狡猾攻击者的堡垒

想象你正在训练一个机器人来识别猫和狗。你希望它足够聪明，即使有人在猫的耳朵上偷偷贴上一张微小且隐形的贴纸（即“对抗攻击”），机器人依然能正确识别出它是一只猫。这种训练机器人忽略这些狡猾诡计的过程，被称为对抗训练（Adversarial Training, AT）。

长期以来，建造这座“堡垒”的标准工具是一种名为**SGD（随机梯度下降）**的方法。你可以把 SGD 想象成一位非常稳健、可靠的徒步者，他迈着小心谨慎的小步攀登高山。虽然速度慢，但他很少会从悬崖上摔落。

最近，一种名为AdamW的更快工具变得流行起来。它就像一位背着喷气背包的徒步者，能根据地形调整速度。它在“标准学习”中登顶（即完成常规训练）要快得多，但在“狡猾攻击”的训练场景中，喷气背包有时会导致徒步者摇晃并从悬崖摔落（即安全性差）。

核心问题： 有没有办法既能拥有喷气背包的速度，又避免摇晃？

登场：Muon 优化器——“舞蹈教练”

这篇论文介绍了一种名为Muon的新工具。作者将 Muon 比作一位擅长让舞者保持完美对齐的舞蹈教练。

传统工具的问题： 当 AdamW 尝试学习时，它有时会让机器人内部的“肌肉”（数学权重）变得过强或失衡，就像举重运动员不小心举起了过重的杠铃而弄伤背部。这种不稳定性使机器人容易受到攻击。
Muon 的解决方案： Muon 就像一位严格的舞蹈教练。每当机器人试图迈出一步（更新其学习）时，Muon 都会检查这个动作。如果动作过于狂野或失衡，Muon 就会强制机器人对这一步进行“正交化”。
- 类比： 想象机器人正在推一个沉重的箱子。AdamW 可能会以奇怪、锯齿状的角度推它，导致箱子翻倒。而 Muon 确保机器人以完美笔直、平衡的直线推箱子，就像舞者在舞台上滑行。它保持了动作“形状”的稳定性，防止机器人养成攻击者可利用的“坏习惯”（不稳定的权重）。

论文发现（结果）

研究人员在三种不同场景下，将这位“舞蹈教练”（Muon）与“稳健徒步者”（SGD）和“喷气背包徒步者”（AdamW）进行了测试：

1. 小数据集（如 CIFAR-10）

结果： Muon 取得了巨大成功。它远优于挣扎中的 AdamW，并且与稳健的 SGD 一样好，有时甚至更好。
启示： 在较小、可管理的任务中，Muon 的“舞步”保持了训练的稳定性与安全性，防止机器人被狡猾的攻击搞糊涂。

2. 视觉 Transformer（ViTs）

结果： 这是 AdamW 彻底失败的地方。在尝试训练复杂的“视觉 Transformer"模型时，AdamW 经常完全崩溃，导致机器人基本上是在随机猜测。然而，Muon 保持了训练的稳定性，并产生了一个安全的机器人。
启示： 对于这些复杂、现代的 AI 架构，“舞蹈教练”是至关重要的。没有 Muon，训练过程过于混乱，无法保证安全。

3. 大数据集（如 ImageNet）

结果： 当他们转向包含数百万张图像的巨大数据集时，“稳健徒步者”（SGD）仍然是冠军。Muon 表现不错，但在 sheer 规模面前略显吃力，需要非常具体的调整才能发挥良好作用。
启示： Muon 是一个强大的工具，但对于最大、最繁重的任务，目前旧有的可靠方法（SGD）仍然略胜一筹。

魔法背后的“原因”

这篇论文不仅说“它有效”，还利用数学解释了“为什么”（我们可以将其翻译如下）：

速度限制： Muon 为机器人内部权重在任何一个单一方向上的增长设定了“速度限制”。它防止了 AdamW 中发生的“失控增长”。
安全网： 把 AdamW 想象成一辆没有刹车的汽车，在转弯时会加速。Muon 则像是一辆装有调速器的汽车，限制速度，使其即使在路况颠簸时也绝不会失控旋转。这种数学上的“速度限制”确保了机器人不会变得脆弱。

结论

论文得出结论：你选择如何“驾驶”学习过程，其重要性不亚于汽车本身。

Muon 是一位令人兴奋的新“驾驶员”，它能保持汽车的稳定与安全，特别是在道路棘手（复杂模型）或交通稀疏（小数据集）时。
它并非能解决一切问题的魔杖（在超大数据集上仍需调整），但在安全性方面，它是对当前“喷气背包”方法（AdamW）的重大改进。
作者建议，未来安全专家应更加关注他们选择的“驾驶员”（优化器），而不仅仅是“汽车”（模型架构）。

简而言之： 如果你希望你的 AI 能够抵御狡猾的攻击，使用 Muon 这位“舞蹈教练”是保持训练稳定的绝佳方式，尤其适用于现代、复杂的 AI 模型。

技术摘要：当 Muon 优化器遭遇对抗训练

问题陈述

对抗训练（AT）仍然是抵御对抗攻击最可靠的经验防御手段，但其鲁棒性 critically 依赖于底层极小 - 极大优化问题的求解方式。尽管随机梯度下降（SGD）因其观察到的鲁棒性而成为对抗训练的默认优化器，但像 AdamW 这样的自适应优化器虽然能提升标准训练效果，却往往导致鲁棒性下降。近期，Muon 优化器作为一种适用于大规模训练的高性能替代方案应运而生，它利用近似极分解实现正交化的矩阵值更新。然而，这种特定的优化器几何结构在强且异构的威胁模型下对抗鲁棒性的影响尚未被探索。本文探讨以下问题：正交化优化能否提升对抗训练效果？支配该行为的理论与实证机制是什么？

方法论

本研究采用双重方法，结合对 Muon 更新规则的理论分析与跨多种架构及威胁模型的综合实证评估。

理论分析

作者分析了 Muon 更新规则，其中动量累积的梯度 $M_t$ 在更新权重 $W_{t+1} = (1-\eta\lambda)W_t - \eta U_t$ 之前被转换为近似极因子 $U_t$ （正交化）。

谱范数稳定性上限：本文证明，极分解更新对矩阵更新的谱范数施加了结构性上限。与可能表现出无界谱增长的自适应优化器不同，Muon 的正交化更新确保权重的谱范数被学习率、权重衰减和近似误差的函数所界定（ $\|W_t\|_2 \leq \max(\|W_0\|_2, \frac{1+\bar{\epsilon}}{\lambda})$ ）。
梯度动力学：理论结果表明，Muon 沿核范数方向下降对抗损失。与标准梯度步相比，这提供了结构上更大的单步下降保证，特别是在存在高方差对抗梯度的情况下。
鲁棒性界限：通过对层谱范数进行界定，作者推导出了间隔函数（margin function）Lipschitz 常数的结构性界限，将优化器的更新几何结构与模型对 $\ell_p$ 有界攻击的鲁棒性联系起来。

实证评估

作者使用自动投影梯度下降（APGD）作为内部攻击循环，将 Muon 适配于对抗训练。实验在以下方面展开：

数据集：CIFAR-10 和 ImageNet。
架构：PreActResNet-18、WideResNet（WRN-34-10, WRN-34-20）以及视觉 Transformer（ViT-B, ViT-L）。
威胁模型： $\ell_\infty$ 、 $\ell_1$ 、 $\ell_2$ 及其并集。
对比基线：SGD、AdamW 和锐度感知最小化（SAM）。

主要贡献

重新审视优化器选择作为安全因素：本文将正交化矩阵更新几何识别为对抗训练中一个关键但未被充分探索的因素，超越了传统的 SGD 与 AdamW 的比较。
Muon 的机制分析：作者提供了 Muon 行为的理论解释，证明其极分解更新规则对矩阵值更新施加了算子范数上限。这防止了自适应优化器中常见的不稳定谱增长，为鲁棒性提升提供了诊断性解释。
受控的多范数评估：本研究在不同设置下对 SGD、AdamW 和 Muon 进行了系统性比较。它阐明了正交化更新（Muon）与锐度感知扰动（SAM）之间的权衡，表明 Muon 是作为优化器几何的替代方案而非直接替代品发挥作用的。

主要结果

与 AdamW 的性能对比：Muon 在 CNN 和 ViT 的对抗训练中均显著优于 AdamW。在 ViT 架构上，AdamW 经常遭遇训练不稳定或崩溃至接近随机性能，而 Muon 则保持稳定性并具有竞争力的鲁棒性。
与 SGD 的性能对比：在小型数据集（CIFAR-10）上使用过参数化 CNN（如 WRN-34-10/20）时，Muon 实现的并集鲁棒性与 SGD 相当或更优。然而，在 ImageNet 等大型数据集上，SGD 目前表现更好，这表明 Muon 在大规模场景下对超参数调整（学习率、预热）更为敏感。
与 SAM 的对比：Muon 改进了更新几何结构，而无需 SAM 所需的权重扰动步骤带来的额外计算成本。虽然 SAM 在特定设置下通常能达到略高的鲁棒性，但 Muon 提供了一种更高效的替代方案，且具有相当的稳定性。
鲁棒过拟合：研究观察到，Muon 与 SGD 一样，在训练后期容易受到“鲁棒过拟合”的影响。早停仍然是基于 Muon 的对抗训练的必要策略。
黑盒鲁棒性：Muon 训练的模型表现出强大的迁移性，在面对黑盒迁移攻击时保持高鲁棒性，表明这些增益并非仅仅是白盒优化路径的产物。

意义与主张

本文主张优化器几何结构是对抗训练中与安全相关的因素。通过引入 Muon，作者证明了正交化更新可以提供一种稳定的 SGD 替代方案，特别是在自适应优化器失效的场景（如 Transformer）中，或者与 SAM 相比计算效率更为关键时。

作者谦逊地得出结论：Muon 并非在所有情况下都优于 SGD；相反，它提供了一种“稳定的正交化更新几何结构”，通常能改善早期的鲁棒优化。研究结果强调，虽然 Muon 是 AT 的有力工具，但其在大规模（ImageNet）上的有效性需要进一步的超参数和调度设计。这项工作建立了极分解与谱稳定性之间的理论联系，表明控制更新几何结构对于实现鲁棒性而言，与损失景观本身同样重要。