🤖 machine learning

Beyond a Single Explanation of the Adam--SGD Gap

通过在不同领域进行的受控实证研究，本文证明了 Adam 与 SGD 之间的性能差距源于复杂的数据-架构交互作用，而非单一因素，但其特征一致地表现为一个理论上的“交叉批次大小（crossover batch size）”，即随着批次大小的扩展，优势关系从 SGD 转向 Adam。

原作者： Chenxiang Zhang, Rustem Islamov, Enea Monzio Compagnoni, Jun Pang, Aurelien Lucchi, Antonio Orvieto

发布于 2026-06-15

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Chenxiang Zhang, Rustem Islamov, Enea Monzio Compagnoni, Jun Pang, Aurelien Lucchi, Antonio Orvieto

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一个机器人学习一项新技能，比如写故事或在照片中识别出一只猫。为了做到这一点，你需要一个“老师”（优化器）来引导机器人的学习过程。长期以来，一直有两个主要的老师：SGD（一个稳健、传统的老师）和 Adam（一个现代、自适应的老师）。

多年来，研究人员一直在争论哪个老师更好。有人说 Adam 胜在数据（比如语言中单词的使用方式）；有人说 Adam 胜在架构（机器人大脑的具体设计）；还有人说这取决于批大小（Batch Size，即机器人一次能看到的例子数量）。

这篇论文就像是一个大规模的受控实验，研究人员通过不同的世界——语言、视觉、基因组学（DNA）和图结构——对这些理论进行了测试。以下是他们发现的研究结果，用通俗易懂的方式解释如下：

1. 没有单一的“灵丹妙药”

最核心的结论是：没有任何单一因素可以解释为什么 Adam 通常表现更好。 它不仅仅是数据的问题，也不仅仅是机器人设计的问题。

数据的迷思： 人们曾认为 Adam 之所以获胜，是因为语言数据具有“重尾特性”（即少数词汇被频繁使用，而大多数词汇则很罕见，类似于齐普夫分布/Zipf distribution）。研究人员在 DNA 数据上测试了这一点，在 DNA 中，“词汇量”极小（只有 A, C, G, T 四个字母）且使用非常均匀。令人惊讶的是，Adam 依然胜出了。因此，奇特的数据并不是唯一的理由。
设计的迷思： 人们曾认为 Adam 之所以获胜，是因为复杂的“Transformer”设计（如现代 AI 中的注意力机制）。研究人员剥离了这些复杂部分，使用了更简单、更古老的设计。结果 Adam 依然胜出。
“一刀切”的迷思： 他们还发现，有时传统的老师（SGD）实际上更好！如果你稍微改变机器人的设计（比如更换一种激活函数），优势就会发生反转，SGD 变成赢家。

2. “交叉点”：关键在于班级规模

如果既不是数据也不是设计在起作用，那么答案是什么？论文指出，答案在于机器人一次看到的例子数量（即“批大小”）。

想象一个教室：

小班级（小批大小）： 当机器人一次只从几个例子中学习时，噪声很高。在这种混乱的环境中，传统的老师（SGD）往往表现得和自适应老师（Adam）一样好，甚至更好。
大班级（大批大小）： 随着机器人一次看到的例子数量增加，“噪声”变得平滑了。在某个点——被称为交叉批大小的点——自适应老师（Adam）会突然发力并开始领先。

论文显示，这个“交叉点”会根据数据和设计而变化。

对于语言任务，交叉点发生得相对较早（即使在适中的班级规模下，Adam 也会胜出）。
对于视觉任务（如识别图像），交叉点发生得要晚得多。你需要极大的班级规模，Adam 才会开始超越 SGD。这解释了为什么 SGD 在图像任务领域仍然非常受欢迎。

3. 理论：地形图

研究人员建立了一个数学模型来解释为什么会发生这种交叉。他们对比了机器人需要攀爬的“地形”。

有时地形是崎岖不平的（高噪声）。
有时地形是平坦的。

他们的模型预测，如果地形足够“粗糙”，且你拥有足够大的班级规模，自适应老师（Adam）就能更快地导航。但如果地形较平滑或者班级规模较小，稳健的老师（SGD）就足够好了。该模型证实了“赢家”取决于数据形状、机器人设计和班级规模之间的相互作用。

4. “单轮训练（One-Epoch）”的现实

论文还强调了传统训练与现代训练之间的区别：

传统模式（过度参数化）： 如果你在一个小数据集上让机器人训练很长时间，它最终能完美掌握一切。在这种情况下，两个老师之间的差距会缩小，因为两者最终都能到达山谷底部。
现代模式（欠参数化）： 在现代的大型语言模型中，我们通常在海量数据集上只进行一次遍历（一个 Epoch）。在这种情况下，机器人没有时间完美掌握所有内容。在这场竞赛中，自适应老师（Adam）始终能以更低的误差率完成比赛。

总结

论文的结论是，关于“Adam vs. SGD”的争论并不是要基于某一个规则来挑选赢家。相反，它是关于寻找那个交叉点。

把它想象成开车：

在一条狭窄、颠簸的土路上（小批大小、特定数据），一辆坚固、简单的卡车（SGD）可能应对得更好。
在一条宽阔、平坦的高速公路上（大批大小、不同数据），一辆高性能跑车（Adam）会疾驰而过。

“赢家”完全取决于路况（数据）、汽车设计（架构）以及你的行驶速度（批大小）。没有一辆车能在所有的比赛中都夺冠。

技术总结：超越对 Adam–SGD 差异的单一解释

问题陈述

十多年来，自适应优化器 Adam 与随机梯度下降（SGD）之间的性能差异一直是深度学习领域的一个核心问题，特别是在基于 Transformer 的大语言模型（LLM）背景下。虽然 Adam 是现代基础模型的标准选择，但现有文献对这一“Adam–SGD 差距”提供的解释是碎片化的。这些解释通常被孤立地研究，并将差距归因于特定因素：

数据属性： 文本数据中重尾的词表分布（齐夫分布/Zipfian）导致了各向异性的优化景观。
架构： Transformer 中的组件异质性（例如 softmax-attention、嵌入层、归一化层）。
优化动力学： Batch size 效应和梯度噪声特性（例如重尾噪声）。

本研究旨在解决的核心问题是缺乏一个统一的理解来阐明这些因素是如何相互作用的。目前尚不清楚是否由单一因素驱动了普遍存在的差距，或者该现象是否源于数据、架构和训练超参数在不同领域之间的复杂相互作用。

研究方法

作者进行了一项受控的大规模实证研究，涵盖了四个不同的领域：语言、视觉、基因组学和图学习。该研究同时使用了现代 Transformer 架构和经典的非 Transformer 模型（如 ResNet、GCNN、GAT）。

实验设计：

统一调优协议： 为了控制混淆变量，作者针对两种优化器共同对学习率 ( $\eta$ ) 和动量参数 ( $\beta$ ) 进行搜索。对于 Adam，他们使用了绑定参数化（ $\beta_1 = \beta_2 = \beta$ ）以符合 SignSGD 理论，同时也在消融实验中测试了独立调优的情况。
全局约束： 实验采用了全局梯度范数裁剪（设为 1）以及一致的预热（warmup）和余弦退火调度。
差距度量： 性能差距定义为 $\Delta^* = L^*_{Adam} - L^*_{SGD}$ ，其中 $L^*$ 是最佳超参数配置下的最终训练损失。负的 $\Delta^*$ 表示 Adam 优于 SGD。
理论建模： 作者利用基于非欧几里得收敛界限（Kovalev, 2025）的理论差距模型来补充实证发现。他们将带有动量的归一化 SGD (NSGD) 与作为 Adam 近似值的 SignSGD 进行比较，分析了差距如何取决于平滑常数之比 ( $r = L_\infty / L_2$ ) 和 Batch size ( $B$ )。

核心贡献与结果

1. 没有单一因素能解释该差距

研究系统地反驳了以下假设：即任何单一因素（词表分布、注意力机制或架构类型）都是解释 Adam–SGD 差距的必要或充分条件。

词表分布： 即使在具有近乎均匀词表分布（ $v=5$ ）且词表规模较小的基因组数据（HG38）上，该差距依然存在，这反驳了重尾类别不平衡的假设。
Softmax-Attention： 将 GPT 中的 softmax-attention 层替换为门控卷积（GCNN）并不能消除差距；Adam 仍然优于 SGD，这表明注意力机制并非唯一的驱动因素。
架构异质性： 虽然组件异质性（例如嵌入层与头部层）会影响差距，但它并非决定性的。在 ImageNet21K 上训练的 Vision Transformer (ViT) 可能表现出相反的趋势，即 SGD 优于 Adam，尽管其架构复杂度与 Adam 占优的模型相似。

2. 交叉 Batch Size 现象

主要的实证发现是存在一个交叉 Batch size。随着 Batch size ( $B$ ) 的扩大，相对优势从 SGD 转向 Adam。

数据与架构的交互： 交叉点的具体位置和转换斜率取决于数据模态和架构的共同作用。例如，与语言或基因组数据相比，图像数据（I21K）需要显著更大的 Batch size 才能将优势转移给 Adam，这与 SGD 在视觉任务中的历史成功是一致的。
架构敏感性： 微小的架构变化，例如将 ReLU 替换为 GeLU，或将 BatchNorm 替换为 LayerNorm，可以在同一数据集上将优化器偏好从 SGD 切换到 Adam。

3. 对训练方案的依赖性

差距在不同的优化方案下表现不同：

过参数化（多轮训练/Multi-epoch）： 在模型可以达到接近零训练损失的设置中（例如在小数据集上训练许多轮），随着训练的进行，差距会缩小，SGD 最终可以达到与 Adam 相当的性能。
欠参数化（单轮训练/One-epoch）： 在现代 LLM 设置下（大规模数据集，单轮训练），差距在整个训练过程中持续存在，Adam 始终保持相对于 SGD 的优势。

4. 理论差距模型

作者提出了一个预测两个阶段的理论模型，其依据是几何平滑度比率 $r = L_\infty / L_2$ ：

阶段 I ( $1 < r < d^{1/3}$ ): 存在一个交叉点，在较小的 Batch size 下 SGD 更受青睐，而随着 $B$ 的增加，Adam 变得更受青睐。这符合大多数实验设置。
阶段 II ( $d^{1/3} < r < d$ ): 在所有 Batch size 下，SGD (NSGD) 都更受青睐。这一阶段对应于在 ImageNet21K 上使用 ResNet 的实验，其中即使在较大的 Batch size 下，SGD 仍然优于 Adam。
该模型表明，差距是由优化几何、数据集属性和梯度噪声方差之间的相互作用决定的。

意义

本文声称提供了一个统一的视角，调和了此前相互矛盾的假设。作者并未将 Adam–SGD 差距归因于单一原因（例如“文本数据是齐夫分布的”或“Transformer 很复杂”），而是证明了该差距是数据分布、架构设计和 Batch size 之间相互作用产生的涌现属性。

交叉 Batch size 的识别提供了一个实用的启发式方法：在 Adam 和 SGD 之间的选择不应是绝对的，而应考虑特定的 Batch size 范围以及“数据-架构”对。理论模型进一步验证了这些实证观察，预测相对性能取决于损失景观的平滑度比率和噪声特性。

研究结论认为，虽然 Adam 在现代、大规模、欠参数化设置中（尤其是具有大 Batch size 时）提供了持续的实际优势，但 SGD 在特定阶段（例如具有大 Batch size 的视觉任务或过参数化设置）仍然具有竞争力或更优，这挑战了“存在通用优化器胜者”的观点。