💻 computer science

Same Architecture, Different Capacity: Optimizer-Induced Spectral Scaling Laws

本文表明，优化器的选择从根本上改变了 Transformer 模型的谱缩放定律，揭示出如 Muon 之类的优化器在难以学习的场景中相比 AdamW 能显著更有效地利用谱容量，从而确立了优化作为与架构设计相抗衡的关键且独立的表征缩放维度。

原作者： Nandan Kumar Jha, Brandon Reagen

发布于 2026-05-22

📖 1 分钟阅读☕ 轻松阅读

原作者： Nandan Kumar Jha, Brandon Reagen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在建造一座庞大的图书馆（大型语言模型）来存储和检索人类知识。你拥有图书馆书架的蓝图（架构），还有一位负责整理书籍的图书管理员（优化器）。

多年来，研究人员一直认为，只要把图书馆建得更大（增加更多书架/参数），并喂给它更多的书籍（数据），图书管理员的工作就会以可预测的方式自动变得更好。他们假设，只要图书管理员在履行职责，其类型并不重要。

本文论证道：图书管理员是谁，与图书馆有多大同样重要。 事实上，图书管理员决定了新书架究竟如何被使用。

以下是利用简单类比对本文研究发现的拆解：

1. 两种“图书馆容量”

研究人员考察了模型如何使用其内部的“大脑空间”（具体指前馈网络，即 FFNs）。他们通过两种方式进行了测量：

软秩（Soft Rank，即“扩散”）： 想象一个图书馆，书籍均匀地散落在每一个书架上。空间被广泛利用，但可能不够深入。这是一种“弥散式”容量。
硬秩（Hard Rank，即“聚焦”）： 想象一个图书馆，最重要、最稀有和最复杂的书籍被紧密地打包在特定的、高质量的书架上，而其他书架则是空的。这是一种“主导式”容量。它关乎拥有少数几种非常强大的方式来表征复杂概念。

2. “标准图书管理员”（AdamW）的问题

最常见的图书管理员 AdamW 擅长将书籍分散开来。当你给它一个更大的图书馆（更宽的宽度）时，它会广泛地填满书架（软秩上升）。

然而，当面对稀有且困难的书籍（即“长尾”token——如冷僻事实或复杂概念）时，AdamW 难以将它们组织成强大且聚焦的书架。

结果： 即使你将图书馆的规模扩大一倍，AdamW 处理难题的能力也不会翻倍。它只是将困惑分散到了更大的空间里。本文称此为“弱硬秩缩放”。

3. “超级图书管理员”（Muon）

研究人员测试了另一位名为 Muon 的图书管理员。

结果： 当 Muon 获得更大的图书馆时，它不仅仅是分散事物。它会主动为那些稀有且困难的书籍构建强大、聚焦的书架。
神奇之处： Muon 将新增空间转化为可用能力的速度要快得多。如果 AdamW 处理复杂概念的能力增长缓慢（像慢走），那么 Muon 的能力增长则是直线的（像冲刺）。用本文的术语来说，Muon 实现了线性缩放，而 AdamW 则陷入了“弱”增长模式。

4. “困惑度陷阱”（我们之前为何忽略了这一点）

你可能会问：“如果 Muon 在组织方面如此出色，为什么我们以前没注意到？难道它不会只是获得更低的误差分数吗？”

本文揭示了一个陷阱：你可以拥有完全相同的最终得分，但内部结构却截然不同。

如果你让“标准图书管理员”（AdamW）训练非常长的时间，它最终可以匹配“超级图书管理员”（Muon）的最终测试分数（困惑度）。
然而： 在内部，它们完全不同。标准图书管理员拥有混乱、弥散的结构。超级图书管理员拥有锐利、有序的结构。
结论： 仅仅因为两个模型获得了相同的测试分数，并不意味着它们“思考”的方式相同。超级图书管理员实际上正在构建一个更好的内部世界地图，即使最终的成绩看起来相似。

5. “稀有书籍”问题

语言就像齐普夫定律（Zipf's Law）分布：少数词汇被频繁使用（如"the"或"is"），但大多数词汇是稀有的。

AdamW 对常见词汇尚可应付，但在面对稀有词汇时会迷失方向。
Muon 在稀有、长尾知识方面表现卓越。随着模型变大，它处理这些稀有 token 的能力几乎完美地随之扩展。

6. 图书管理员与蓝图（架构）

研究人员问道：“图书管理员比图书馆设计更重要吗？”
他们测试了改变图书馆设计（例如改变注意力头的数量或移除位置信号）。

发现： 改变图书管理员（优化器）对模型学习的影响，比改变蓝图（架构）更大。
事实上，一位“超级图书管理员”可以让一个标准的图书馆设计，比“标准图书管理员”让一个花哨的新设计运作得更好。图书管理员和蓝图是一个团队；你不能只挑选一个蓝图，就假设任何图书管理员都能胜任。

总结

本文得出结论：优化在 AI 设计中是“一等公民”。

旧观点： “把模型做大，它就会变得更聪明。”
新观点： “把模型做大，但选择正确的优化器，以确保额外的规模真正转化为有用、聚焦的智能，特别是针对那些困难、稀有的事物。”

如果你想要一个真正理解人类知识“长尾”的模型，就不能仅仅依赖标准工具。你需要一个懂得如何为困难书籍构建强大、聚焦书架的优化器，而不仅仅是填满空白空间。

技术摘要：优化器诱导的谱缩放定律

问题陈述

大型语言模型（LLM）的经典缩放定律已在验证损失与模型规模、数据量和计算量等资源之间建立了可预测的幂律关系。然而，这些框架通常将优化器视为固定的训练细节，假设其仅影响收敛速度或充当乘性效率因子。本文挑战了这一假设，提出优化器是表示缩放的基本维度。具体而言，作者研究了不同优化器如何有效地将前馈网络（FFN）宽度的增加转化为被利用的谱容量（即潜在空间的有效维度）。他们探讨的是：匹配的验证损失是否意味着匹配的内部表示几何结构，或者不同的优化器是否通过根本不同的谱结构来实现相同的架构容量。

方法论

该研究采用了一个以 Transformer 架构内 FFN 表示的特征谱（eigenspectra）为中心的谱分析框架。

谱指标：作者利用Rényi 有效秩族来量化谱分布。他们的分析基于两个主要指标：
- 软秩（ $R_1$ ）：对应 $\alpha=1$ （香农熵），衡量熵加权的谱分布，捕捉弥散容量。
- 硬秩（ $R_2$ ）：对应 $\alpha=2$ （参与比），衡量对集中性敏感的有效维度，捕捉主导模式容量。
- 硬 - 软不对称性（ $\Delta_{1,2}$ ）：定义为 $\log R_1 - \log R_2$ ，该指标量化了弥散容量与主导容量之间的差距。
实验设置：实验在 FineWeb-Edu 数据集上训练了 GPT 风格的仅解码器 Transformer（1.6 亿和 3.5 亿参数）。通过改变 FFN 隐藏维度（ $D$ ）来建立缩放定律（ $R(D) \propto D^\beta$ ）。
优化器比较：研究将标准AdamW与矩阵感知优化器（Muon、NorMuon）以及秩约束变体（具有不同秩分数 $r$ 的Dion）进行了比较。
分层：为了解决语言数据的齐普夫分布（Zipfian distribution）问题，FFN 表示按 Token 频率分层为HEAD（高频）、MID（中频）和TAIL（低频）区域。
架构控制：作者将优化器诱导的偏移与架构干预进行了比较，具体包括增加每头注意力秩（通过减少头数）以及移除旋转位置编码（RoPE）。

主要结果

1. 优化器依赖的谱缩放定律

相同的 Transformer 架构表现出截然不同的谱缩放定律，这取决于所使用的优化器。

硬秩缩放：AdamW 表现出较弱的硬秩缩放（ $\beta_{hard} \approx 0.29$ 至 $0.44$），特别是在罕见（TAIL）Token 的情况下。相比之下，Muon 在相同区域实现了近乎线性的缩放（ $\beta_{hard} \approx 1.02$ ）。这代表了缩放指数2.3 倍的提升。
硬 - 软不对称性：AdamW 显示出较大的正不对称性（ $\Delta_{1,2} \approx 0.37$ ），表明增加的 FFN 宽度扩展了弥散的谱质量，而非主导表示方向。Muon 和 NorMuon 将这种不对称性降低至接近零（ $\Delta_{1,2} \approx 0.14$ ），意味着增加的宽度被有效地转化为主导模式容量。

2. 匹配的损失 $\neq$ 匹配的几何结构

本文证明，验证损失不足以作为表示结构的代理指标。

延长训练：将 AdamW 训练更长的步数（12K 对比 6K）使其能够匹配 Dion（1/16）变体的困惑度。然而，谱几何结构仍然不同：AdamW 的硬秩缩放几乎消失（ $\beta_{hard} \to 0.03$ ），而 Dion 保持了稳健的幂律缩放。
学习率：对学习率进行扫描确认，AdamW 与 Muon 之间的谱差距并非超参数伪影；在整个扫描范围内，Muon 的最低硬秩指数始终高于 AdamW 的最高值。

3. 频率与秩依赖性

Token 频率：优化器的效应在MID和TAILToken 区域最为显著。AdamW 难以扩展罕见 Token 的硬容量，而 Muon 则呈线性扩展。
更新秩：使用 Dion，作者隔离了更新秩的影响。将秩分数（ $r$ ）从 $1/2$ 降低到 $1/16$ 导致硬秩缩放从 $\beta \approx 0.88$ 下降到 $\beta \approx 0.40$ （接近 AdamW 水平），而软秩缩放的退化则更为平缓。这表明更新秩充当了将宽度转化为主导模式容量的控制旋钮。

4. 对架构干预的主导性

优化器诱导的谱偏移往往超过或重塑架构变化的影响：

注意力秩：在 30 个频率/指标区域中，有 28 个区域显示，增加每头注意力秩（通过减少头数）所产生的谱缩放偏移小于切换优化器所产生的偏移。
位置编码：移除 RoPE 引发了优化器依赖的重新分布。对于 Muon，NoPE 增加了 HEAD 的硬秩缩放，但降低了 MID/TAIL 的缩放；对于 NorMuon，它在所有区域都降低了缩放。这表明架构信号是通过优化器几何结构来表达的。

意义与主张

本文主张优化应被视为表示缩放的一等维度，与模型规模、数据和计算量并列。

架构 - 优化器协同设计：实现的谱容量是架构 - 优化器对的属性，而非架构本身的属性。架构干预（如改变注意力秩或位置编码）不会引发固定的、与优化器无关的偏移；其效果由优化器的几何结构所中介。
表示结构：优化器的选择决定了模型容量如何在特征模式间结构化，以及如何在 Token 频率区域间分配。它不仅仅是收敛速度的效率旋钮。
局限性：作者指出，这些发现是在受控的经验范围内建立的（GPT 风格模型，最大 3.5 亿参数）。虽然 3.5 亿参数的结果复现了 1.6 亿参数的模式，但在前沿规模（10 亿+）上仍需进一步验证。此外，虽然谱秩量化了容量利用率，但它们并未完全表征下游任务的行为。

总之，该研究推动了向优化器 - 架构协同设计的转变，表明未来的缩放定律必须将优化器的隐式归纳偏置作为模型容量如何实现的主要决定因素加以考虑。