🤖 machine learning

When to use what Schatten- $p$ norm in deep learning?

本文通过证明虽然像 Muon 这样具有 Schatten- $\infty$ 特性的方法在高维设置下表现出色，但在如 Chinchilla 缩放等低维机制中，较小的 Schatten- $p$ 几何结构实际上才是最优的，从而解决了关于 Schatten- $p$ 范数优化器的矛盾观察结果，这一发现得到了针对 $p>2$ 的新型噪声鲁棒加速结果的支持，该结果同时也解释了 Muon 对预热阶段的需求缺失及其对大批次的偏好。

原作者： Thomas Pethick

发布于 2026-06-16

📖 2 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Thomas Pethick

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心问题：我们应该使用哪把“尺子”？

想象你正在试图寻找一个广阔、多雾的山谷中的最低点（这代表着正在学习的 AI 模型）。为了做到这一点，你需要一把“尺子”来测量地面的陡峭程度，并决定下一步往哪个方向走。

在深度学习的世界里，有不同类型的尺子，被称为 Schatten-p 范数 (Schatten-p norms)。

Schatten-2 (欧几里得/Euclidean)： 这是我们通常使用的标准直线尺（例如名为 Adam 的优化器）。
Schatten-∞ (即 “Muon” 尺)： 这是一把特殊的、刚性的尺子，它只关心景观中最陡峭的那一个悬崖。最近，一种使用这种尺子的名为 Muon 的方法变得非常流行，因为它在某些测试中表现得极其迅速。
Schatten-p (“金发姑娘/适中” 尺)： 这些是介于两者之间的尺子，它们测量坡度的方式既不会太软，也不会太硬。

争议点：
人们一直在争论哪把尺子最好。

有人说：“Muon (Schatten-∞) 太棒了！它是最快的！”
也有人说：“不，Muon 被高估了。当我们使用海量数据进行训练时，标准方法效果更好。”

论文的答案：
作者 Thomas Pethick 表示：“你们都对，但你们观察的是不同规模的山谷。”

最好的尺子完全取决于问题的规模相对于你拥有的数据量的大小。

两个阶段：小水池 vs 大海洋

论文将世界分为两个主要场景：

1. “低维”阶段 (The Low-Dimensional Regime，即“小水池”)

定义： 当你的模型相对较小，或者训练过程较短时（例如论文中提到的小型游戏“速通”测试），这种情况就会发生。你进行的步数（数据）远大于模型的复杂度。
类比： 想象你正走在一个光线充足的小花园里。你可以看到整条路径。
最佳尺子： 在这种情况下，Schatten-∞ 尺 (Muon) 其实并不是最好的。令人惊讶的是，使用一个更小的 p 尺（更接近标准的欧几里得尺）速度会更快。
原因： 因为在小花园里，你不需要过度专注于那一个最陡峭的悬崖。你需要一种更平滑、更平衡的方法来快速加速。论文证明，在这里使用“更软”的尺子可以为你带来加速效果。

2. “高维”阶段 (The High-Dimensional Regime，即“大海洋”)

定义： 这是用于大型 AI 模型（如 LLM）的大规模训练过程，此时模型极其复杂，数据也极其庞大。
类比： 想象你在一个拥有数千个岛屿的巨大、黑暗的海洋中航行。你无法看到完整的地图。
最佳尺子： 在这里，Schatten-∞ 尺 (Muon) 表现出色。它旨在处理这些大规模、复杂景观中特有的“粗糙感”。
关键点： 要让 Muon 在这个大海洋中发挥作用，你需要一个巨大的 Batch Size（批大小）（即同时观察海洋中非常宽阔的一片区域）。如果你尝试在这一阶段使用较小的 Batch Size 来使用 Muon，它就会失效。

“Batch Size” 的秘密

论文的一个核心发现是关于 Batch Size（AI 在采取下一步之前观察了多少个样本）的问题。

规则： 论文推导出了一个数学规则，表明当你改变尺子（从 $p=2$ 到 $p=\infty$ ）时，理想的 Batch Size 也必须随之改变。
隐喻： 把尺子想象成一艘船。
- 小船 (标准尺) 可以由较少的船员（小 Batch Size）来驾驶。
- 巨型豪华邮轮 (Muon/Schatten-∞) 需要庞大的船员团队（巨大的 Batch Size）才能保持稳定并快速移动。如果你试图仅用两个人来驾驶一艘豪华邮轮，它只会原地打转。
洞察： 这解释了为什么 Muon 在“速通”（人们在小模型上使用大规模 Batch）中表现出色，但在某些大规模基准测试中却表现挣扎（因为 Batch Size 没有针对特定的几何结构进行足够的规模化提升）。

为什么我们需要“预热 (Warmups)”？

你可能听说过某些 AI 训练器需要“预热”（即先慢后快地开始）。

论文的发现： Schatten-∞ 尺 (Muon) 非常鲁棒，以至于它不需要预热。它可以立即以全速启动。
对比： 如果你在低维阶段使用较小的 $p$ 尺，你确实会从预热阶段中受益，以带动加速过程。

与 “Chinchilla” 的联系

论文将此与 AI 领域著名的 Chinchilla 缩放法则 (Chinchilla scaling) 联系起来，该法则指出：“随着数据的增加，你应该让模型变得更大。”

转折点： 论文认为，即使遵循 Chinchilla 缩放法则，我们往往仍然处于**“低维阶段”**（即那个“小花园”）。
结果： 因为我们经常处于这个“小花园”阶段，使用标准的 Muon (Schatten-∞) 实际上可能不如使用有限 $p$ 范数优化器（如 HTMuon 或 Soft-Muon）高效。这解释了为什么使用更“软”尺子的新方法在一些大规模测试中开始超越 Muon。

总结：如何选择你的尺子

论文最后给出了一个简单的指南：

如果你处于“低维”阶段（模型较小，或者数据量相对于模型大小非常巨大）：
- 不要自动使用极端的 Schatten-∞ (Muon)。
- 应该考虑使用有限的 Schatten- $p$ 范数（一种“更软”的尺子）。它加速更快，且能更好地处理噪声。
- 注意： 你甚至可以在训练过程中更换尺子！可以先用“硬”尺子开始，稍后再切换到“更软”的尺子。
如果你处于“高维”阶段（复杂度极高）：
- Schatten-∞ (Muon) 很可能是正确的选择，但是你必须使用非常大的 Batch Size 才能让它奏效。

底线： 没有单一的“最佳”优化器。最好的工具取决于问题的规模以及你拥有的数据量。社区中的困惑在于，人们在没有意识到自己在处于不同“阶段”的情况下，就在不同的阶段测试这些工具。

技术摘要：“在深度学习中何时使用何种 Schatten- $p$ 范数？”

问题陈述

基于 Schatten- $\infty$ 范数的优化器（如 Muon）在特定的深度学习设置中（特别是涉及短训练运行或大批量大小的情况）展现出了极具前景的经验性能。然而，关于其通用性的观察存在冲突。虽然它们在某些机制下表现出色（例如 CIFAR-10 快速训练），但在大规模训练场景（具有广泛的 token 预算）中，它们并不总能超越 Adam 或 SGD 等标准方法。此外，最近利用有限 Schatten- $p$ 范数的变体（例如 HTMuon、Soft-Muon）也显示出了竞争性或更优的结果，这挑战了排他性使用 Schatten- $\infty$ 范数的必要性。

核心问题在于：一个优化器应该使用哪种 Schatten- $p$ 范数，以及在何种训练机制下它是最优的？ 现有的理论框架，特别是 SODA（无调度乐观对偶平均，Schedule-free Optimistic Dual Averaging）框架，缺乏在随机噪声下分析 $p > 2$ 的 $p$ -范数几何的能力，这使得 Muon 成功的机制及其局限性在理论上无法得到解释。

方法论

本文扩展了 SODA 框架（Pethick et al., 2026），该框架统一了现代优化器的组件，如乐观对偶平均、Nesterov 动量和权重衰减。作者将 SODA 的分析推广到了 $p$ -一致凸参考函数（ $p \ge 2$ ），涵盖了向量 $\ell_p$ 和矩阵 Schatten- $p$ 几何。

关键方法论组件包括：

算法模板： 分析利用了一个原对偶更新规则，其中对偶映射由参考函数 $h(x) = \frac{1}{p}\|x - z_0\|_p^p$ $h (x) = \frac{1}{p} ∥ x - z_{0} ∥_{p}^{p}$ 的 Fenchel 共轭梯度的梯度定义。
- 当 $p=2$ 时，它恢复了欧几里得几何。
- 当 $p \to \infty$ 时，它恢复了 Muon 中使用的线性最小化算子（LMO, $UV^\top$ ）。
- 对于有限的 $p > 2$ ，它对应于 HTMuon 和 Soft-Muon 等方法。
噪声假设： 分析纳入了重尾噪声假设，具体假设梯度满足 $r$ -阶矩条件（ $r \in (1, 2]$ ）。这使得推导出的收敛速率依赖于对偶指数 $q = p/(p-1)$ 。
机制分析： 作者在两种不同的机制下推导了 Oracle 复杂度界限：
- 确定性机制： 噪声可以忽略不计。
- 随机性机制： 存在噪声，且通过缩放批量大小来管理方差。
缩放法则： 将理论界限应用于现代深度学习缩放规则（如 Chinchilla），将总 token 预算 $N$ 与模型矩阵的有效维度 $d$ 联系起来。

核心贡献

1. 任意 $p$ 的噪声鲁棒加速

作者证明了 SODA 在 $p$ -范数几何上实现了加速收敛速率，同时对随机噪声保持鲁棒。他们建立了一个与维度无关的速率：
$O\left( \frac{L_p R_p^2}{n^{1+2/p}} + \frac{\sigma_q R_p}{n^{1/p}} \right)$
这一结果揭示了所选几何 $p$ 与噪声尾部厚度（通过对偶指数 $q$ ）之间的基本联系。这是首次针对任意 $p$ -范数几何提出的噪声鲁棒加速结果。

2. 批量大小缩放规则

通过分析在有界方差（ $r=2$ ）下的 Oracle 复杂度，论文推导出了一个依赖于范数的批量大小缩放规则。对于固定的总 Oracle 预算 $N$ ，最优批量大小 $B_p$ 缩放如下：
$B_p \asymp N^{2(p-1)/(3p-2)}$

对于 $p=2$ （欧几里得）， $B_2 \asymp N^{1/2}$ 。
对于 $p \to \infty$ （Schatten- $\infty$ ）， $B_\infty \asymp N^{2/3}$ 。
这解释了为什么 Schatten- $\infty$ 方法（如 Muon）在经验上需要更大的批量大小才能实现其优势。

3. 机制依赖的最优性

论文通过展示最优 $p$ 的选择是机制依赖的（取决于有效维度 $d$ 与 Oracle 预算 $N$ 之间的关系），解决了关于 Muon 效用的争议：

高维机制 ( $N \lesssim d$ )： 使几何匹配问题的平滑度是有利的。如果目标函数在 Schatten- $\infty$ 范数下是平滑的，那么使用 $p \to \infty$ 是最优的。
低维机制 ( $N \gtrsim d$ )： 较小的 $p$ $p$ 值更受青睐。
- 在确定性设置中， $p=2$ （欧几里得）提供了更强的加速。
- 在具有重尾噪声的随机性设置中，由于更好地契合噪声假设，最小的可容许几何 $p = r/(r-1)$ 是最优的。

4. 对缩放法则的影响

作者将这些理论机制与现代缩放法则（如 Chinchilla）联系起来。在模型规模随 token 数线性缩放（ $N$ ）的典型缩放配方下，权重矩阵的有效秩随之增长为 $d \propto N^{1/3}$ 。因此， $N \gg d$ ，使标准的大规模训练牢牢处于低维机制中。

结论： 在此机制下，较小的 $p$ （有限 Schatten- $p$ ）在理论上比 Schatten- $\infty$ 更优。这为观察到的“Muon 的优势随规模扩大而减弱”以及“有限 $p$ 优化器（HTMuon, Soft-Muon）成为强力竞争者”提供了理论解释。

结果与意义

该论文声称解决了关于 Schatten- $\infty$ 优化器经验性能的表观矛盾。这项工作的意义在于：

理论统一： 提供了一个统一的框架（SODA），通过 $p$ -范数几何的角度解释了 Muon、Soft-Muon 和欧几里得优化器的行为。
解释经验现象：
- 预热（Warmup）： 分析解释了为什么 Schatten- $\infty$ 方法不需要步长预热（有效步长随 $k^{-1}$ 衰减），而较小的 $p$ 几何会表现出类似预热的阶段。
- 批量大小： 它量化了 Schatten- $\infty$ 方法对大批量的需求，并提供了任意 $p$ 的缩放规则。
- 缩放： 它为观察到的“Schatten- $\infty$ 方法在 Chinchilla 式配方下可能无法如预期般缩放”提供了理论基础，表明“低维”特性更利于有限 $p$ 。
实践指导： 结果建议了一种潜在的切换策略，即可以在训练期间调整 $p$ （从接近 $\infty$ 开始，随着预算 $N$ 超过维度 $d$ ，切换到有限的 $p$ ），这与最近的经验调度（如 Soft-Muon）相一致。

作者保持了谦逊的语气，指出其分析依赖于最坏情况下的范数转换，且更精确的、依赖于问题的关系可能会细化这些边界。他们将动态 $p$ 切换的实际探索留作未来的工作。