📊 statistics

On the Optimizer Dependence of Neural Scaling Laws

本文表明，神经缩放定律中的缩放指数并非固定常数，而是系统性地依赖于优化器，其中预条件方法相较于标准梯度下降能带来显著更陡峭的性能提升，尤其是在具有自然语言特征谱的条件下。

原作者： Vansh Ramani, Shourya Vir Jain

发布于 2026-05-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Vansh Ramani, Shourya Vir Jain

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗语言和日常类比对论文《论神经缩放定律对优化器的依赖性》的解释。

核心理念：不仅关乎规模，更关乎“如何”学习

想象你试图学习海量的信息（比如读完图书馆里的每一本书）。在人工智能（AI）领域，我们有一条称为**缩放定律（Scaling Law）**的规则。这条规则指出：“如果你让你的 AI‘大脑’变得更大（增加更多神经元），它会变得更聪明，但其提升幅度遵循一条特定且可预测的曲线。”

长期以来，科学家们认为这条曲线是固定的。他们相信，如果你将 AI 的规模翻倍，无论使用什么工具来教导它，你都会获得一个特定且不可改变的提升量。

这篇论文指出：“实际上，你用来教导 AI 的工具会改变这条曲线。”

这里的“工具”被称为优化器（optimizer）。你可以把优化器想象成老师或学习方法。论文认为，有些老师如此擅长组织学习过程，以至于它们不仅让 AI 学得更快；它们实际上改变了 AI 随着规模增大而获得提升幅度的根本数学规律。

类比：图书馆与图书管理员

为了理解论文的发现，让我们使用图书馆和图书管理员的类比。

1. 图书馆（数据）

想象 AI 需要学习的数据是一座图书馆。

“陡峭”的图书馆：大多数书籍都关于一个热门话题（比如“如何烤面包”），而关于冷门话题（比如"18 世纪的苔藓种植”）的书籍极少。在现实世界中，这就像语言：少数词汇被频繁使用，而数百万词汇很少被使用。这被称为陡峭谱（steep spectrum）。
“平坦”的图书馆：每个话题的书籍数量完全相同。这在自然界中很罕见，但很容易想象。

2. 学生（AI 模型）

AI 是一个试图阅读这些书籍以通过考试的学生。学生拥有有限的时间（计算能力）和有限的记忆（模型规模）。

3. 老师（优化器）

这是论文变得有趣的地方。作者测试了不同的“老师”（优化器），以观察它们如何帮助学生进行学习。

老师 A（标准梯度下降 / GD）：这位老师就像是一个按顺序阅读图书馆的学生。他们先阅读热门的“面包”书籍，因为它们最容易找到。等他们读到“苔藓种植”书籍时，时间已经不够了。
- 结果：他们擅长烤面包，但在苔藓种植方面表现极差。随着图书馆变大，他们被困在热门内容上，忽略了其余部分。他们的提升曲线很快趋于平缓。
老师 B（预条件优化器，如 Muon/Full NG）：这位老师是一位天才组织者。他们意识到，尽管“苔藓”书籍很稀有，但它们仍然很重要。他们使用一张特殊的地图（称为预条件器），让“苔藓”书籍变得和“面包”书籍一样容易获取。他们强迫学生均匀地学习所有内容。
- 结果：学生学到了每一方面的少量知识。因为他们没有把时间浪费在热门内容上，随着图书馆的扩大，他们变得聪明得多。

关键发现：“魔法乘数”

论文进行了计算机实验（使用一种称为“随机特征回归”的简化数学模型），以精确测量学生变得有多聪明。

他们发现，当图书馆具有陡峭谱（像真实的人类语言，少数事物非常常见，而许多事物很稀有）时：

老师 A（标准）撞到了墙。学生在达到一定规模后，提升幅度几乎停止。
老师 B（高级）继续攀升。随着规模的每一步提升，学生都会变得显著更聪明。

“魔法”数字：
论文测量了一个称为 $\alpha$ （阿尔法）的数字。这个数字代表了“提升速率”。

对于标准老师， $\alpha$ 较低（约为 0.12）。
对于高级老师， $\alpha$ 要高得多（约为 0.31）。

这为什么重要？
因为这些数字是指数，微小的差异会随着时间产生巨大的差距。

如果你用标准老师将 AI 规模翻倍，你会获得小幅提升。
如果你用高级老师将规模翻倍，你会获得2.6 倍大的提升。
如果你继续翻倍规模，高级老师会越拉越远。这就像复利：优势随着每一步而增长。

限制条件：这取决于图书馆

论文还发现了一个关键条件：这种优势仅当图书馆是“陡峭”时才会发生。

如果图书馆是陡峭的（像真实语言）：高级老师是游戏规则的改变者。他们解决了不平衡问题，让 AI 能够高效学习。
如果图书馆是平坦的（一切均等）：标准老师已经做得很好了，因为没有什么不平衡需要解决。在这里，高级老师不会提供太多额外帮助。

关于真实 AI 的情况（“未解之谜”）

作者谨慎地表示，他们的结果来自一个简化的数学模型，而非像当今 Google 或 OpenAI 使用的真实巨型 AI。

他们承认现实世界中存在一种冲突：

一些近期研究表明，高级老师（如 Muon）在小型规模上表现优异，但随着 AI 变得巨大，其优势会减弱。
这篇论文表明，在他们的简化模型中，这种优势应该持续增长。

结论：
论文提出，现实中观察到的“优势减弱”可能是因为真实 AI 会自行学习特征（从而改变图书馆结构），而他们的模型假设图书馆保持不变。

面向大众读者的总结

神话："AI 越大，总是以固定速率变得更聪明。”
现实：AI 变聪明的速率很大程度上取决于用于训练它的数学工具（优化器）。
发现：高级工具可以充当“频谱均衡器”。它们阻止 AI 忽略稀有但重要的信息，使其在成长过程中能够更高效地学习。
条件：这种超能力在数据“不平衡”（如人类语言）时效果最好。如果数据完全平衡，这些花哨的工具帮助不大。
未来：我们需要在真实的巨型 AI 模型上测试这一点，以观察“魔法乘数”是否成立，或者是否会随着模型变得巨大而减弱。

简而言之：选择正确的老师不仅让学生学得更快；它改变了学生能变得多聪明的上限。

技术摘要：关于神经缩放定律对优化器的依赖性

问题陈述
神经缩放定律认为，测试损失 $L$ 随模型规模 $N$ 呈幂律下降（ $L(N) \propto N^{-\alpha}$ ），其中指数 $\alpha$ 传统上被视为由架构和数据分布决定的固定常数。这一假设是前沿模型计算分配策略的基础。然而，关于二阶优化器（如 Muon、SOAP、Shampoo）的最新实证结果提出了相互矛盾的证据：一些研究指出其相比 AdamW 具有显著的计算加速，而另一些则表明这些增益随模型规模增大而减弱。本文探讨了一个根本性问题：先进优化器仅仅是改善了缩放定律的常数因子，还是从根本上改变了缩放指数 $\alpha$ 本身？如果 $\alpha$ 发生偏移，其对缩放预测的影响将是深远的，因为指数变化会随着每次模型规模翻倍而累积，而常数因子的改进则不会。

方法论
作者在随机特征回归框架（Maloney 等人，2022；Bordelon 等人，2024）内研究了这一问题。该理论设定通过固定特征权重并仅训练顶层线性权重，隔离了数据谱结构、优化器预条件与模型容量之间的相互作用。

实验设置：研究模拟了回归任务，输入数据服从具有幂律特征值 $\lambda_i \propto i^{-(1+s)}$ 的高斯分布，其中 $s$ 为谱指数。自然语言数据的特征为 $s \approx 0.8\text{--}1.2$ 。
优化器变体：实现了五种优化器作为梯度预条件器：
1. GD：基线（单位预条件器）。
2. Diagonal：AdamW 的代理（ $P = \text{diag}(F^\top F)^{-1/2}$ ）。
3. Full NG：Shampoo/K-FAC 的代理（ $P = (F^\top F)^{-1}$ ）。
4. Sign-GD：使用符号更新的负对照。
5. Matrix-Sign：Muon 的代理（ $P = (F^\top F)^{-1/2}$ ），其作用是均衡奇异值。
协议：实验遍历了六种谱条件（ $s \in [0.25, 2.0]$ ）和八种模型规模（ $N \in [25, 5000]$ ）。缩放指数 $\alpha$ 通过对 $N \ge 200$ 的损失与模型规模的对数 - 对数图进行普通最小二乘法（OLS）拟合得出。

主要贡献

系统性测量：本文首次系统地测量了 $\alpha$ 作为优化器类型和数据谱衰减的联合函数，涵盖了五种预条件器变体。
机制解释：文章提出了一个谱启发式规则（命题 1），解释预条件优化器如何均衡各模式的学习率。虽然梯度下降（GD）在高方差模式上“过度支出”而在低方差模式上“支出不足”，但预条件器挽救了服务不足的模式，从而增加了在给定 $N$ 下被利用的有效容量。
谱诊断：作者提出了一条诊断规则：预条件的收益取决于谱陡峭度 $s$ 。对于平坦谱（ $s < 0.3$ ），优势微乎其微；但随着 $s$ 增加，优势显著增长。
可证伪预测：本文预测，在人工平坦化谱的数据上进行训练（例如通过白化），应会导致 Muon 等先进优化器的优势缩小甚至消失。

结果

$\alpha$ 的优化器依赖性：预条件优化器始终比 GD 产生更陡峭的缩放（更大的 $\alpha$ ）。排序通常为 $\alpha_{\text{Full NG}} \approx \alpha_{\text{Matrix-Sign}} > \alpha_{\text{Diagonal}} > \alpha_{\text{Sign-GD}} \approx \alpha_{\text{GD}}$ 。
谱依赖性：差距 $\Delta \alpha = \alpha_{\text{precond}} - \alpha_{\text{GD}}$ $Δ α = α_{precond} - α_{GD}$ 随谱指数 $s$ $s$ 的增加而增大。
- 在 $s \approx 1.0$ （自然语言的典型特征）时，全自然梯度（Full Natural Gradient）的 $\alpha \approx 0.31$ ，而 GD 的 $\alpha \approx 0.12$ ，拟合指数大了 $2.6$ 倍。
- 在 $s \approx 0.5$ 时，曲线几乎平行，优势减弱。
- 在 $s \approx 2.0$ 时，GD 的指数崩溃至接近零（ $\alpha \approx 0.01$ ），而预条件优化器则表现出良好的退化特性（ $\alpha \approx 0.20$ ）。
计算乘数：将 $\alpha$ 的偏移转化为有效计算乘数，随机特征模型预测在 $s \approx 1.0$ 时，强预条件器具有显著的参数等效优势。这与近期关于 Muon 在中等规模下相比 AdamW 实现约 $1.4$ 倍计算加速的实证报告（Chen 等人，2025）在方向上是一致的。

意义与主张
本文认为，缩放定律预测必须考虑优化器的选择。如果预条件优化器改变了指数 $\alpha$ ，那么在 AdamW 下校准的预测可能会严重低估使用先进优化器训练的模型的缩放回报。

然而，作者对这些发现向大规模大语言模型（LLM）迁移持谨慎态度：

局限性：随机特征模型运行在“懒惰”（lazy）机制下（特征固定），且忽略了深度、注意力和分词。
规模衰减：本文承认存在相互矛盾的证据（Wen 等人，2025），表明 Muon/SOAP 的优势在极大规模下（例如 12 亿参数）可能会减弱。作者提出，这种衰减可能是由于有限 $N$ 效应、特征学习自然缓解了谱不平衡，或大规模下有效数据谱发生变化所致。
结论：主要贡献在于确立了缩放指数并非架构/数据对的固定常数，而是系统性地依赖于优化器与数据谱的相互作用。本文呼吁进行真实模型验证，以确定这种指数偏移在特征学习的“丰富”（rich）机制下是持续存在还是减弱。