🤖 AI

Optimizer-Induced Mode Connectivity: From AdamW to Muon

本文表明，像 AdamW 和 Muon 这样的优化器会在神经网络中诱导出不同且通常互不连通的零损失解流形，从而揭示出模式连通性根本上取决于特定的优化器及其隐式正则化，而非损失景观的普遍属性。

原作者： Fangzhao Zhang, Sungyoon Kim, Erica Zhang, Yiqi Jiang, Mert Pilanci

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Fangzhao Zhang, Sungyoon Kim, Erica Zhang, Yiqi Jiang, Mert Pilanci

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图在一片广阔的山地景观中找到最低点。这片景观代表了神经网络的“损失函数”：你所在的位置越高，模型的表现就越差；位置越低，表现就越好。

长期以来，研究人员认为，如果你训练两个不同的模型到达这片山谷的最底部（即“零损失”状态），你可以在它们之间画出一条简单、平滑的路径，而无需重新爬上山坡。这个概念被称为模式连通性（Mode Connectivity）。这就像在说：“如果两名徒步者找到了同一个山谷的底部，那么一定有一条平坦的小径将他们连接起来。”

然而，这篇论文提出了一个新问题：路径是否取决于徒步者“如何”行走？

作者引入了两种不同的“徒步风格”（优化器）：

AdamW：经典且可靠的徒步者。
Muon：一种更新、更专业的徒步者，其移动方式不同。

以下是论文通过简单类比所揭示的发现：

1. “谱指纹”

每个模型都有一个由数字构成的独特“指纹”，称为奇异值（可以将这些值视为模型内部的“肌肉张力”或“形状”）。

AdamW 模型往往拥有少数非常强劲的“肌肉”和许多较弱的“肌肉”（谱中的离群值）。
Muon 模型则倾向于拥有大小大致相同的“肌肉”（更平衡、各向同性的谱）。

论文发现，如果你取两个用AdamW训练的模型，你可以在它们之间行走，且它们的“肌肉张力”保持一致。如果你取两个Muon模型，情况也是如此。它们始终停留在各自的“邻域”内。

2. 同优化器高速公路（优化器内部连通性）

论文从数学上证明，如果神经网络足够宽（拥有足够多的神经元），那么所有由AdamW找到的解都由一条平滑、低损失的路径连接。对于Muon也是如此。

类比：想象一片广阔平坦的草地。如果你和你的朋友都穿着同样的徒步靴（AdamW），你就可以从你的位置走到朋友的位置，而无需踩到岩石或上坡。你们始终停留在同一个“靴印”区域内。

3. 跨优化器障碍（优化器间不连通性）

这是最令人惊讶的部分。如果你试图从AdamW模型走到Muon模型，会发生什么？

理论：在小型、简单的网络中，作者证明了"AdamW 山谷”和"Muon 山谷”可能被一座高山脊隔开。你无法在不攀登并损失性能的情况下从一处走到另一处。它们位于解空间的不同“岛屿”上。
现实（大型模型）：在他们的大规模实验（使用语言模型 GPT-2）中，他们发现虽然你可以将它们连接起来，但这条路径是特殊的。当你从 AdamW 走向 Muon 时，模型的“肌肉张力”（谱）并不会保持不变，而是平滑地转变。
- 类比：想象从一片松树林（AdamW）走向一片橡树林（Muon）。你不是直接瞬移，而是穿过一个过渡地带，那里的树木逐渐从松树变为橡树。路径确实存在，但它穿过了一种独特的“混合”景观，这是任何单一优化器单独都无法自然创造的。

4. “冰沙”效应（泛化能力）

论文测试了如果取一个位于 AdamW 解和 Muon 解中间位置的模型会发生什么。

结果：这些“混合”模型在未见过的数据（分布外泛化）上的表现往往优于原始模型。
类比：如果你将咖啡（AdamW）和茶（Muon）混合，你会得到一种新饮料，对某些人来说，其口感可能比单独的咖啡或茶更好。这种“混合”探索了单个优化器所忽略的景观部分。

主张总结

相同优化器：如果你两次使用相同的优化器，所得解由一条平滑路径连接，该路径保持模型内部结构的一致性。
不同优化器：如果你使用不同的优化器，在小型网络中，解可能被障碍隔开；而在大型网络中，它们则由一条平滑转变模型内部结构的路径连接。
益处：在这些不同优化器解之间行走，会创造出“混合”模型，使其能更好地泛化到新的、未见过的数据。

本文并未声称这适用于医疗诊断、自动驾驶或特定的未来 AI 应用。它严格聚焦于这些模型如何连接的数学几何结构，以及混合它们能改善语言模型训练中泛化能力的实证观察。

技术摘要：优化器诱导的模式连通性：从 AdamW 到 Muon

问题陈述

模式连通性（即独立训练的神经网络模型可以通过低损失路径相互连接的现象）已得到广泛研究。然而，现有文献大多将解集视为一个单一实体，通常假设连通性与达到这些解所使用的具体优化动力学无关。本文提出，不同的优化器施加了独特的隐式偏差（正则化），有效地将解约束在损失景观的不同区域。本文探讨的核心问题是：当限制在符合特定优化器隐式偏差的解时，模式连通性如何表现？ 具体而言，作者研究了由同一优化器找到的解是否形成连通集（优化器内连通性），以及由不同优化器找到的解是否可以在不产生损失屏障的情况下相互连接（优化器间连通性）。

方法论

理论框架

作者形式化了优化器正则化解集的概念。借鉴对自适应优化器（如 AdamW 和 Lion-K 系列）的最新理论刻画，他们将这些优化器的极限点定义为约束优化问题的解：

AdamW： 收敛于满足 $\ell_\infty$ -范数约束的解（ $\|\theta\|_{\max} \leq 1/\lambda$ ）。
Muon（以及具有核范数的 Lion-K）： 收敛于满足算子范数约束的解（ $\|\theta\|_{\text{op}} \leq 1/\lambda$ ）。

本文引入了两个定义：

优化器内连通性： 特定优化器 $A$ 的解集 $O_A(\lambda)$ 是连通的。
优化器间连通性： 解集的并集 $O_{A_1}(\lambda_1) \cup O_{A_2}(\lambda_2)$ 是连通的。

理论分析在两层 ReLU 网络的插值区域（即训练损失可达零）中进行。作者分析了这些正则化集在不同网络宽度（ $m$ ）下的几何结构。

实验设置

实证验证在GPT-2 预训练任务上进行，涉及五个数据集（enwik8, WikiText-103, Stories, BookCorpus, One Billion Word），使用了两种模型规模（约 3000 万和约 5000 万参数）。

优化器： AdamW 和 Muon。
路径构建： 作者采用改进的多链插值（polychain interpolation）算法，结合对称对齐（注意力头和 MLP 神经元的排列及正交对齐）。该方法构建了一条带有可学习弯折点的分段线性路径，以最小化模型间的损失屏障。
指标： 研究跟踪了验证损失屏障以及插值路径上奇异值谱（特别是稳定秩）的演变。

主要贡献

1. 优化器内连通性的理论证明

本文证明，对于足够宽的两层 ReLU 网络，由特定优化器诱导的解集是连通的：

定理 3.1： 当网络宽度 $m \geq 4P$ 时（其中 $P$ 是不同超平面排列模式的数量），Muon（以及带动量的归一化梯度下降）的优化器内连通性成立。
定理 3.2： 当 $m \geq m^*$ 时，AdamW（以及 Signum）的优化器内连通性成立，其中 $m^*$ 是由数据和正则化参数决定的临界宽度。
机制： 证明涉及将任意解在正则化集内归约到“稀疏”或“均衡”的规范形式，并证明这些形式可以通过保持隐式范数约束的连续路径相互连接。

2. 优化器间连通性的表征

作者确立了不同优化器诱导区域之间的连通性取决于网络宽度和正则化强度：

大宽度区域： 两个正则化集的并集是连通的，当且仅当这些集重叠（即零损失集穿过其各自范数球的交集）。随着正则化强度的增加，连通分量的数量可能从一转变为二。
有限宽度构造： 本文构建了一个特定的数据集和宽度（ $m=2$ ），其中零损失解集分解为多个不连通的分量。关键的是，他们证明了通过选择适当的正则化参数，可以迫使 AdamW 和 Muon 进入不同的分量。在这种情况下，AdamW 解和 Muon 解之间不存在零损失路径；任何连接路径都必须产生可证明的损失屏障（对于平方损失至少为 $1/2$ ）。

3. 实证谱转变

GPT-2 的实验揭示了不同的谱行为：

同优化器路径： 在两个由同一优化器训练（例如 AdamW-AdamW）的模型之间进行插值，会保持奇异值谱（例如 AdamW 保留离群值，Muon 保持各向同性）并保持低损失。
跨优化器路径： 在不同优化器（例如 AdamW-Muon）之间进行插值会导致平滑的谱相变。谱沿着路径从 AdamW 特征演变为 Muon 特征。虽然损失保持相对较低，但中间模型表现出与任一端点都不同的谱特征。

4. 分布外（OOD）泛化

本文证明，跨优化器插值路径可以改善分布外泛化。在 AdamW-Muon 路径上采样的模型在分布外数据集上表现出负损失屏障（表现优于端点的线性插值），这表明 traversing 不同优化器偏差之间的空间会产生具有更优越泛化特性的结构多样化模型。

结果与意义

研究发现总结

依赖优化器的结构： 损失景观并非单一的低损失解连通块；相反，它包含由隐式正则化定义的特定于优化器的“盆地”或区域。
连通性的条件性： 虽然在宽网络中同优化器解是连通的，但在有限宽度设置中，不同优化器可能收敛到被损失屏障分隔的不连通分量。
谱指纹识别： 奇异值谱作为优化器诱导区域的稳健代理。同优化器路径保持此指纹；跨优化器路径穿越一个过渡区。

声称的意义

本文声称揭示了经典模式连通性文献中不可见的依赖优化器的结构。通过细化模式连通性的定义以考虑隐式偏差，作者表明：

优化器的选择从根本上塑造了可达解空间的拓扑结构。
跨优化器插值是一种可行的模型合并机制，可访问解空间的不同区域，从而潜在地改善量化和泛化等下游属性。
连通性的理论保证现在必须考虑优化器诱导的特定正则化器，而不仅仅是网络架构。

这项工作 bridged 了理论隐式偏差分析与实际模型融合之间的差距，表明模型之间的“最佳”路径可能取决于穿越不同优化器诱导的正则化边界。