🤖 machine learning

The Loss Does Not See the Basis, but Adam Does

本文表明，Adam 在分解模型中无法恢复低秩解的原因在于其缺乏规范等变性（gauge equivariance），而梯度下降及其他共享标量优化器则具备该属性，从而能够保持对低秩插值器的隐式偏置。

原作者： Devender Singh

发布于 2026-08-06

📖 1 分钟阅读☕ 轻松阅读

原作者： Devender Singh

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在试图解决一个巨大的、杂乱无章的拼图，拼图的碎片是排列在网格中的数字。在人工智能的世界里，这被称为“矩阵分解”。你有一个巨大且复杂的图像（数据），你想将其分解成两叠更小、更简单的卡片，当它们相乘时，能够重新还原出原始图像。目标是找到最简单的卡片堆，同时仍能完美契合这张图像。这很重要，因为更简单的解决方案通常在现实世界中表现更好，能够避免陷入仅仅记住噪声而非学习模式的陷阱。

为了解决这个拼图，计算机使用一种叫做“梯度下降”的方法，这就像一名徒步旅行者试图通过始终向下的步伐，寻找山谷的底部。长期以来，科学家们注意到，如果你从非常小的卡片开始，这位徒步旅行者会自然而然地找到最简单的解。然而，一个更新、更快的徒步旅行者——“Adam”（一种流行的 AI 工具）——却经常迷失方向，即使存在简单的解，它也会找到一个复杂且混乱的解。核心问题一直是：为什么这个快速的徒步旅行者无法找到简单的路径？我们能否在不降低速度的情况下修复这个问题？

这篇题为《损失函数看不见基底，但 Adam 能看见》的论文研究了为什么会发生这种情况。作者发现，问题不仅仅在于速度，而在于徒步旅行者如何看待世界。这个拼图具有一种隐藏的对称性：你可以以许多不同的方式旋转你的卡片堆，而最终的图像保持不变。这就像旋转地球仪：大陆的位置移动了，但地图本身仍然是相同的。传统的徒步旅行者（梯度下降）忽略了特定的旋转，只观察山谷的形状，从而自然地找到最简单的解。但快速的徒步旅行者（Adam）会被卡片的特定旋转所分心。它将一个方向视为“特殊的”，而将另一个方向视为“不同的”，尽管在数学上它们是完全等同的。这种分心导致它选择了一个复杂的、高秩的解，而不是简单的、低秩的解。

作者证明了任何尊重这种旋转对称性的优化器（解决拼图的工具）都会自然地找到简单的解，而那些破坏对称性的优化器则会陷入复杂的解中。他们测试了九种不同的优化器，并发现了一个明显的划分：那些“尊重对称性”的优化器（如梯度下降、Muon 和修改版的 Adam）找到的误差低至 0.000006，而那些“破坏对称性”的优化器（如标准 Adam 和 RMSProp）的误差则超过了 0.42——这是一个巨大的差异。

为了证明这并非偶然，他们构建了一个“旋钮”，可以平滑地将 Adam 从其混乱的、厌恶旋转的模式转变为旋转友好的模式。随着他们转动旋钮，解变得越来越简单且准确，这表明 Adam 观察数据的方式正是问题的根源。他们甚至在真实世界的数据（如地球的高光谱图像）上进行了测试，发现旋转友好的方法比标准 Adam 减少了约 44% 的误差。

有趣的是，论文还发现，“旋转友好”并不总是灵丹妙药。如果拼图本身很杂乱，含有大量的随机噪声（“谱尾”），那么超级快速、旋转友好的徒步旅行者 Muon 有时会过于急躁并拟合噪声，而缓慢、稳健的徒步旅行者（梯度下降）表现得更好。因此，最好的工具取决于拼图的具体性质。

最后，作者研究了这对被称为 Transformer（聊天机器人的大脑）的现代 AI 模型有何影响。他们发现，如果你让两个完全相同的 AI 模型在起始阶段拥有相同的数学逻辑，但只是旋转了它们的内部卡片方式不同，标准 Adam 优化器会在仅仅一步之后就让它们的行为变得完全不同。它们的内部结构会变得截然不同，尽管它们最初代表的是同一个函数。这意味着优化器的选择不仅仅是一个微调细节；它从根本上决定了 AI 学习到的是哪一个版本的解。论文得出结论：为了获得最佳、最简单的结果，我们需要尊重数学中隐藏对称性的优化器，而不是被数字排列的具体方式所分心。

技术摘要：“损失函数看不见基底，但 Adam 能看见”

问题陈述
在分解模型（ $W = UV^\top$ ）上进行梯度下降（GD）时，已知其具有向低秩解收敛的隐式偏置，在欠定矩阵感知任务中通常收敛至最小核范数插值。然而，尽管自适应优化器（如 Adam）能达到相似的训练损失，却经常无法恢复这些低秩结构，导致生成的解具有更高的有效秩和更差的泛化性能。虽然近期的研究已经发现自适应方法是依赖于基底的（对坐标旋转敏感），但这种依赖性究竟是如何破坏分解模型中低秩归纳偏置的具体机制，目前尚未得到表征。本文旨在回答：是否存在一个准则来确定一个优化器是保留还是破坏了低秩偏置，且该准则能否根据恢复性能对部署的方法进行排序？

方法论与理论框架
作者引入了**规范等变性（gauge equivariance）**作为分类优化器的核心准则。损失函数 $L(U,V) = f(UV^\top)$ 具有规范对称性：它在变换 $(U,V) \mapsto (UQ, VQ)$ 下是不变的，其中 $Q \in O(k)$ 为任何正交矩阵。这种对称性意味着旋转潜在因子基底不会改变模型的预测。

更新规则分类：
- 等变优化器： 如果一个优化器的更新规则与规范变换对易，则称其为规范等变的。论文证明，无记忆更新规则是规范等变的，当且仅当它们采取如下形式的由 Gram 矩阵决定的左预处理器： $\Delta = H(GG^\top)G$ ，其中 $H$ 仅取决于 Gram 矩阵 $GG^\top$ 。
- 非等变优化器： 在初始化时对梯度或优化器状态应用固定逐元素非线性（例如标准 Adam、RMSProp、Lion、SignSGD）的优化器会破坏这种对称性。具体而言，Adam 的逐坐标二阶矩自适应无法与正交旋转对易，导致产生“第一步缺陷”，即乘积矩阵 $W$ 在旋转初始化后会立即发生变化。
转移定理：
作者建立了一个转移定理，表明具有共享标量预处理器（所有坐标共用一个标量分母）的优化器对应于在重缩放时间参数化下的梯度流。因此，关于梯度流低秩偏置的理论结果（例如 Gunasekar 等人，2017；Li 等人，2021）可以直接应用于这些等变方法。
谱调度（Spectral Schedule）：
虽然等变性是进入低秩流形的必要条件，但对于低秩恢复而言并非充分条件。等变类内部的具体行为由谱调度（奇异值如何增长）决定。激进的等速率调度（如 Muon）可以恢复精确的低秩目标，但如果目标具有显著的“谱尾”（低秩部分之外的能量），则可能失败；而贪婪调度（如 GD）则会抑制这些尾部。

核心贡献与实验

优化器动物园对比： 作者在一个欠定矩阵感知任务（ $40 \times 40$ ，秩为 3， $m = 2 \times \text{dof}$ ）上评估了九种优化器，直至实现完全插值。
- 结果： 出现了一个清晰的分离。等变方法（GD、Scalar-Adam、Muon、Shampoo）实现的恢复误差 $\le 0.286$ 。而逐坐标方法（Adam、RMSProp、Lion、SignSGD、Adafactor）未能到达低秩吸引子，误差 $\ge 0.42$ 。
- Muon 的表现： 对于纯低秩目标，Muon 实现了近乎精确的恢复（误差为 $6.8 \times 10^{-6}$ ），但随着目标谱尾增加，其性能迅速退化，在大约 4% 的尾部能量处交叉至 GD 的性能水平。
“旋钮”实验： 为了隔离 Adam 失败的原因，作者构建了一个一参数族优化器 Adam- $p$ ，它在标准 Adam（ $p=1$ ，逐坐标）和 Scalar-Adam（ $p=0$ ，共享标量）之间进行插值。
- 结果： 随着 $p$ 从 1 减小到 0，恢复误差和有效秩单调改善。这证实了预处理器中的逐坐标各向异性是破坏低秩偏置的具体机制，且该现象与动量或自适应性无关。
注意力头分析： 论文展示了 Transformer 中的单个注意力头共享相同的规范对称性（ $W_Q^\top W_K$ ）。
- 结果： 使用 Adam 训练两个规范等价的 Transformer 副本（功能相同，基底不同）会导致它们在单步之后发生结构性分歧，导致其头不变性（head invariants, $W_Q^\top W_K$ ）出现 56% 的相对 Frobenius 距离。等变优化器（SGD、Scalar-Adam）则保持在机器精度水平下不可区分。作者指出，虽然对齐技术（如排列重基底/permutation re-basin）可以调和规范，但如果不变性本身已产生差异，它们无法调和这些不变性；因此，基于基底的训练消除了模型合并所需的共识，因为没有任何单头旋转可以弥合这些分歧不变性之间的差距。
现实世界验证： 在高光谱图像补全任务（Indian Pines, Pavia University）中，在匹配的训练损失下：
- 在低采样密度下，GD 的持有样本误差比 Adam 低 43–44%，这对应于显著更低的有效秩。
- 当 Adam 拟合得更深（过拟合谱尾）时，其测试误差增加，而 GD 的误差则在下降。
算法修复： 作者将该准则应用于其之前的工作 FlowAdam。他们发现逐坐标的速度裁剪破坏了等变性。通过将其替换为全局范数裁剪，恢复了偏置，使恢复误差提升了 37%，并使其性能更接近 GD。

意义与主张
论文声称，基底选择不是一个微调细节，而是关于优化器选择哪种插值函数的根本决策。

机制解释： 它提供了一个可测试的、建设性的准则（规范等变性），用于预测优化器是否能保留分解模型的低秩归纳偏置。
局限性： 作者对研究范围持谦逊态度。这种偏置是轻微的，且主要在最优正则化较低且与低秩结构一致时才是有益的。在需要强正则化或逐坐标自适应有利的场景下（例如 PINNs 中的刚性问题），逐坐标方法可能仍然优于等变方法。
非基准测试主张： 该工作并非旨在提倡一种新的最先进（SOTA）优化器，而是提供了一种对观察到的现象的机制解释，阐明了为什么某些方法（如 GD 或 Muon）在特定设置下能成功恢复低秩结构，而其他方法（如 Adam）却会失败。

总而言之，论文认为“损失函数看不见基底”（它是规范不变的），但“Adam 能看见”（它的更新是依赖于基底的），而这种依赖性正是其在分解模型中无法选择低秩插值方案的根源。

技术摘要：“损失函数看不见基底，但 Adam 能看见”

类似论文