To Use or not to Use Muon: How Simplicity Bias in Optimizers Matters

本文指出，尽管 Muon 优化器能显著提升训练速度，但其机制消除了 SGD 等经典方法所具备的“简单性偏差”，可能导致模型更难捕捉跨任务的通用结构并更容易拟合虚假特征，从而强调了在开发新优化器时考量其引入偏差的重要性。

要点

这篇论文探讨了一个在深度学习领域非常热门的话题：我们是否应该为了“快”而放弃“稳”？

简单来说，过去大家训练 AI 模型时，最常用的工具是叫 Adam 或 SGD 的“优化器”（可以理解为教 AI 学习的“老师”）。最近，出现了一个新老师叫 Muon，它教得特别快，让 AI 学东西的速度突飞猛进，因此非常受欢迎。

但这篇论文的作者（来自纽约大学）提出了一個警告：Muon 虽然快，但它可能“走捷径”，导致 AI 学到的东西虽然快，却不够聪明，甚至容易“死记硬背”。

为了让你更容易理解，我们可以用几个生活中的比喻来拆解这篇论文的核心观点：

1. 两个不同的学习策略：循序渐进 vs. 暴饮暴食

想象一下，你要教一个学生（AI 模型）学习一门复杂的语言。

• 旧老师（SGD/梯度下降）：
  这位老师非常耐心。他先教学生最基础、最重要的单词（比如“猫”、“狗”），等学生完全掌握了，再教稍微难一点的词，最后才教那些生僻的词汇。

  • 比喻： 就像盖房子，先打地基，再砌墙，最后装修。
  • 优点： 学生理解得很透彻，学会了“举一反三”的能力（泛化能力）。即使遇到没见过的句子，也能靠逻辑猜出来。
  • 缺点： 慢。因为要一步步来，中间还要停下来消化（论文里叫“鞍点”），所以总耗时很长。

• 新老师（Muon）：
  这位老师是个“效率狂魔”。他不管基础还是难点，把所有单词（数据特征）一股脑儿全塞给学生，并且要求所有单词同时掌握，速度要一样快。

  • 比喻： 就像吃自助餐，把所有菜都堆在盘子里，一口吞下去，追求最快速度吃饱。
  • 优点： 极快！学生能迅速把训练数据背下来，考试（在已知数据上）分数很高。
  • 缺点： 学生没有理解单词之间的逻辑关系，只是死记硬背。一旦遇到稍微变通一下的题目，或者题目里混入了一些“干扰项”，学生就懵了。

2. 核心发现：Muon 失去了“简单性偏见”

论文里有一个很学术的词叫“简单性偏见”（Simplicity Bias）。用大白话解释就是：AI 倾向于先学会最简单、最核心的规律，而不是去记那些复杂的巧合。

• SGD 老师会保留这种“偏见”。它会强迫 AI 先找到事物背后的通用结构（比如：鸟都有翅膀，会飞）。
• Muon 老师把这个偏见给“优化”掉了。它让 AI 觉得：既然要快，那就别挑肥拣瘦了，翅膀、羽毛、甚至鸟叫声，所有特征一起学，一起记。

后果是什么？
当 AI 需要处理新任务（比如从未见过的图片）时，SGD 训练出来的 AI 能认出“这是一只鸟”，因为它学会了“鸟”的本质。而 Muon 训练出来的 AI 可能会因为图片里多了一个它没见过的奇怪斑点（干扰项），就误以为“这不是鸟”。

3. 两个生动的实验案例

论文通过两个实验证明了 Muon 的“副作用”：

案例一：迷路的学生（共享结构问题）

• 场景： 想象有 7 个不同的教室（输入源），每个教室的学生都用不同的方言说话，但都要回答同一个问题（比如"1+1 等于几”）。
• SGD 的表现： 它发现虽然方言不同，但核心逻辑（1+1=2）是通用的。它学会了这个通用规则。所以，即使它没听过某个教室的某种方言，它也能猜出答案。
• Muon 的表现： 它太急了，它把每个教室的每种方言都单独背下来了。它没发现背后的通用规则。结果，一旦遇到它没背过的“方言组合”，它就彻底不会了。
• 结论： Muon 擅长记忆，SGD 擅长理解。

案例二：被误导的侦探（虚假特征问题）

• 场景： 让 AI 识别图片里的数字（比如 1, 2, 3...）。但是，训练数据里有个坏毛病：所有的"1"旁边都恰好有一个红色的像素点（这是巧合，不是规律）。
• SGD 的表现： 它先学怎么认数字（这是核心），学得很慢。等到它把数字认熟了，才慢慢注意到那个红点。如果测试时把红点去掉，它依然能认出"1"。
• Muon 的表现： 它学得太快了，红点和数字一起学。因为它觉得红点出现得那么频繁，肯定很重要！结果，当测试时把红点去掉，它就认不出"1"了。
• 结论： Muon 容易被表面现象（虚假特征） 欺骗，因为它没有“先抓重点，再抓细节”的耐心。

4. 这篇论文想告诉我们什么？

作者并不是要完全否定 Muon。Muon 确实很快，在数据不平衡（比如有的类别很少见）的情况下表现很好。

但是，作者想提醒工程师和研究人员：
不要只盯着“训练速度”看。

• 如果你只是想让模型在已知数据上跑得快，Muon 很棒。
• 但如果你希望模型真正理解世界，能处理没见过的新情况，或者在充满干扰的真实环境中工作，那么SGD 那种“慢工出细活”的简单性偏见可能才是更宝贵的财富。

总结

这就好比选交通工具：

• Muon 是一辆F1 赛车，在赛道（已知数据）上快得飞起，但如果你把它开上泥泞的乡间小路（复杂多变的现实世界），它可能会陷进去。
• SGD 是一辆越野车，起步慢，爬坡累，但它底盘稳，能适应各种路况，不容易翻车。

这篇论文的核心思想就是：在开发新的 AI 工具时，我们不能只追求“快”，还要问问自己：这个工具会让 AI 变聪明，还是只会让它变“记性好”？ 我们需要在速度和智慧之间找到平衡。

技术摘要

论文标题

使用还是不使用 Muon：优化器中的简单性偏差（Simplicity Bias）为何重要

1. 研究背景与问题 (Problem)

• 背景：长期以来，Adam 是训练深度神经网络的默认优化器。近期，Muon（MomentUm Orthogonalized by Newton-Schulz）因其显著的训练速度优势而迅速流行，甚至被视为训练语言模型的新默认选择。
• 核心问题：尽管 Muon 在收敛速度上表现优异，但其背后的机制引入了何种偏差（Bias）尚不明确。现有的研究多关注其“贪婪”的速度提升，而忽视了优化轨迹（Learning Trajectory）对最终模型功能属性的影响。
• 核心假设：传统的优化器（如 SGD）具有一种自然的简单性偏差（Simplicity Bias），即倾向于按顺序学习简单的特征，逐步增加解的复杂度。而 Muon 可能通过消除这种偏差来加速，但这可能导致模型无法发现任务背后的共享结构，甚至更容易拟合虚假特征（Spurious Features）。

2. 方法论 (Methodology)

为了理论化地分析 Muon 的偏差，作者采用了以下方法：

2.1 理论模型：谱梯度下降 (Spectral GD)

• 简化 Muon：作者将 Muon 的核心机制抽象为谱梯度下降（Spectral GD）。
  • Muons 机制：对梯度矩阵进行奇异值分解（SVD），并将所有非零奇异值归一化为 1（正交化），然后更新权重。
  • Spectral GD：为了理论分析的可行性，假设使用精确的 SVD 且不使用动量（Momentum），直接对梯度进行正交化更新。
• 分析框架：在**深度线性网络（Deep Linear Networks）**的框架下进行分析。这是一个经典的理论工具，用于理解深度模型的非线性学习动力学。
• 对比对象：将 Spectral GD 与标准的**梯度流（Gradient Flow, GD）**进行对比。

2.2 实验设置

为了验证理论并观察 Muon 在实际任务中的表现，作者设计了两个主要实验：

1. 路由任务（Routing Task）：基于 Saxe et al. (2022) 的多模态简化任务。
   • 目标：学习输入到输出的映射，其中存在多个输入/输出域，但共享一个潜在的底层结构（共享表示）。
   • 设置：训练数据仅覆盖部分输入 - 输出对，测试模型是否能泛化到未见过的组合（即是否学到了共享结构，还是仅仅记忆了训练数据）。
2. 虚假特征任务（Spurious Features）：基于 MNIST 数据集。
   • 目标：分类数字，但每个类别的图像中包含一个人为添加的“虚假像素”（Spurious Pixel）。
   • 设置：所有训练样本都包含该虚假特征。观察优化器是优先学习真实的数字形状（泛化性强），还是优先学习虚假像素（过拟合/捷径学习）。

3. 关键贡献与理论发现 (Key Contributions & Theoretical Findings)

3.1 学习动力学的根本差异

• 梯度流 (GD) 的“鞍点到鞍点”动力学：
  • GD 在损失景观中通过一系列鞍点移动。
  • 顺序学习：GD 会按顺序学习奇异值。它先学习最大的奇异值（主导模式），完全收敛后再学习下一个。
  • 简单性偏差：这种机制充当了隐式正则化，使模型逐步增加复杂度（秩），优先学习简单、主导的结构。
• 谱梯度下降 (Spectral GD/Muon) 的并行学习：
  • Spectral GD 同时学习所有奇异值，且速度相同，直到它们达到饱和。
  • 失去简单性偏差：它不再按顺序增加秩，而是“贪婪”地同时学习所有模式。
  • 速度来源：这种并行学习解释了 Muon 为何比 GD 快得多（无需等待主导模式收敛后再处理次要模式）。

3.2 理论后果

• 速度 vs. 质量：虽然 Spectral GD 收敛更快，但它失去了 GD 的简单性偏差。这导致模型倾向于记忆（Memorization）而非发现结构（Structure Discovery）。
• 泛化风险：在需要归纳共享规则的任务中，Muon 可能表现不佳，因为它试图同时拟合所有数据模式，包括噪声和虚假特征。

4. 实验结果 (Results)

4.1 路由任务结果（共享表示）

• SGD 表现：成功学到了共享表示。即使在训练集中未见过某些输入 - 输出对，SGD 也能正确泛化。其隐藏层权重收敛到低秩结构（秩=4，对应底层任务维度）。
• Spectral GD 表现：未能学到共享结构，而是记忆了训练数据中见过的特定输入 - 输出对。对于未见过的组合，泛化失败。其隐藏层权重表现出高有效秩和重尾谱，这是记忆而非结构学习的特征。
• 结论：在需要发现底层通用结构的任务中，Muon 不如 SGD。

4.2 虚假特征结果（MNIST）

• SGD 表现：在训练初期，SGD 主要依赖真实的数字形状（主导特征），对虚假像素的依赖较少。因此，在去除虚假特征的验证集上，SGD 的峰值准确率更高。
• Muon/Adam 表现：由于并行学习，Muon 同时学习真实形状和虚假像素。这导致它更早地开始依赖虚假特征。
• 虚假特征强度实验：
  • 当虚假特征强度较低时，SGD 表现更好（因为它先学真实特征）。
  • 当虚假特征强度极高（成为主导特征）时，SGD 性能急剧下降（因为它必须先学完主导的虚假特征才能学真实特征），而 Muon 由于并行学习，受影响较小。
• 结论：Muon 是“双刃剑”。在特征主导性明确且需要泛化时，SGD 的简单性偏差更有利；而在特征极其不平衡或需要快速拟合所有模态时，Muon 可能更优。

5. 意义与启示 (Significance)

1. 重新审视优化器选择：论文指出，选择优化器不能仅看训练速度（Wall-clock time）。不同的优化器引入了不同的归纳偏差（Inductive Biases），这会根本性地改变模型的最终行为。
2. 简单性偏差的价值：传统的 SGD 的“慢”并非全是缺点，其“顺序学习”和“简单性偏差”充当了隐式课程（Implicit Curriculum），有助于模型发现任务背后的因果结构和共享表示，从而获得更好的泛化能力。
3. 对 Muon 的批判性评估：Muon 虽然快，但在需要结构归纳的任务中可能表现较差，且更容易过拟合虚假特征。
4. 未来方向：
   • 开发新的优化器时，必须考虑其引入的偏差。
   • 理想的优化器可能需要在“保持 GD 的简单性偏差轨迹”和“加速突破鞍点”之间取得平衡。
   • 在数据分布复杂或存在虚假相关性的场景下，盲目使用 Muon 可能存在风险。

总结

这篇论文通过理论分析和实验验证，揭示了 Muon 优化器通过消除 SGD 固有的“简单性偏差”来换取速度。虽然这带来了训练效率的提升，但也导致了模型倾向于记忆而非泛化，特别是在需要发现共享底层结构或避免虚假特征的任务中。作者呼吁研究界在追求更快的优化器时，必须深入分析其潜在的归纳偏差及其对模型泛化能力的长期影响。