📊 statistics

The Effect of Mini-Batch Noise on the Implicit Bias of Adam

本文介绍了一个理论框架，证明小批量噪声从根本上改变了 Adam 动量超参数的隐式偏差，揭示出虽然标准的 $(\beta_1, 0.999)$ 配置对小批量是最优的，但大批量需要调整 $\beta_1$ 使其更接近 $\beta_2$ ，以避免反正则化并提升泛化能力。

原作者： Matias D. Cattaneo, Boris Shigida

发布于 2026-05-11

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Matias D. Cattaneo, Boris Shigida

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一名学生（一个 AI 模型）解决一个复杂的谜题。你有两个主要工具来帮助他们学习：

“记忆”工具（动量）： 这就像一名会记住过去错误并平滑其学习路径的学生。如果他们昨天绊倒了，他们今天就会调整步伐以避免再次绊倒。在论文中，这由一个称为 $\beta_1$ 的设置控制。
“噪声”工具（小批量大小）： 这就像学生一次看到多少道练习题。
- 小批量（高噪声）： 他们一次只看到几道题。反馈是“嘈杂”或跳跃的，因为它是基于一个微小且缺乏代表性的样本。
- 大批量（低噪声）： 他们一次看到成千上万道题。反馈是平滑、清晰且非常准确的。

这篇论文研究了第三种工具 $\beta_2$ ，它控制学生在多大程度上信任他们近期的错误历史，而非久远的历史。

重大发现：“金发姑娘”开关

多年来，训练 AI 的标准建议是将“记忆”（ $\beta_1$ ）设置为 0.9，将“近期历史”（ $\beta_2$ ）设置为 0.999。这意味着：“信任你的近期历史远多于你的旧历史。”

这篇论文的作者发现，这个标准建议只对了一半。 它完全取决于你使用了多少“噪声”（即你的批量大小有多小）。

这就是他们发现的转折：

1. “小批量”场景（高噪声）

情况： 你一次给学生非常少的练习题。反馈是跳跃且混乱的。
问题： 学生的“记忆”工具（默认设置）实际上让情况变得更糟。它紧抓着旧的、嘈杂的信息不放，这让学生感到困惑，使他们陷入解空间的“尖锐”角落（那些答案脆弱且容易改变的地方）。
解决方法： 在这种嘈杂的环境中，你需要增加 $\beta_2$ （更多地信任近期历史）。
类比： 想象在雾蒙蒙的森林中行走，手里拿着一张摇晃的地图。如果你太依赖 10 分钟前你在哪里的记忆（那可能是一个错误的转弯），你就会迷路。你需要* heavily* 依赖你此刻脚下看到的东西。论文表明，在高噪声设置下，标准设置（ $\beta_1 \ll \beta_2$ ）实际上是正确的，因为“噪声”有助于抵消记忆带来的不良影响。

2. “大批量”场景（低噪声）

情况： 你一次给学生成千上万道练习题。反馈清晰平滑。
问题： 现在，“记忆”工具表现得像一种顽固的习惯。因为反馈如此清晰，学生对过去步骤的记忆开始再次将他们推向“尖锐”角落，但这一次，增加 $\beta_2$ 会让情况更糟。
解决方法： 在这种清晰的环境中，你应该使 $\beta_1$ 和 $\beta_2$ 相等（例如，都设为 0.9）。
类比： 现在想象在阳光明媚、开阔的田野中行走，手里拿着一张完美的地图。如果你过于依赖你最近的步骤（高 $\beta_2$ ）而忽视较旧的步骤，你就会开始不必要的之字形行走。相反，你需要一种平衡的记忆，让你的近期步骤和旧步骤和谐地协同工作。论文预测，当数据量大且干净时，设置 $\beta_1 \approx \beta_2$ 会导致更“平坦”、更稳定的解，从而具有更好的泛化能力。

“切换点”

这篇论文根据数据批量大小计算了一个具体的“临界点”。

低于临界点（小批量）： 适用“嘈杂”规则。保持 $\beta_1$ 较低， $\beta_2$ 较高（即默认设置）。
高于临界点（大批量）： 适用“清晰”规则。让 $\beta_1$ 和 $\beta_2$ 更接近。

这为何重要？“尖锐”与“平坦”

作者使用了一个地形的隐喻：

尖锐极小值： 想象一根针立在尖端上。这是一个对你所见的特定练习题完美有效的解，但如果你稍微改变问题（比如一道新的测试题），针就会倒下。这对泛化是不利的。
平坦极小值： 想象一个宽阔平坦的山谷。你可以四处走动，但仍留在山谷中。这种解具有鲁棒性，即使问题发生轻微变化也能很好地工作。

论文认为，“记忆”设置与“批量大小”之间的相互作用，会秘密地将学生推向针（尖锐）或山谷（平坦）。

在小批量中，噪声自然会将你推向山谷，但前提是你使用标准设置。
在大批量中，缺乏噪声意味着记忆设置占据主导。如果你不调整它们（通过使 $\beta_1$ 和 $\beta_2$ 相似），记忆会将你推回针尖。

论文主张的总结

默认设置并非通用： 著名的设置 $\beta_1=0.9$ 和 $\beta_2=0.999$ 对小批量很好，但对非常大的批量来说并非最优。
反转： 随着你增加批量大小， $\beta_1$ $β_{1}$ 和 $\beta_2$ $β_{2}$ 之间“最佳”的关系会发生翻转。
- 小批量： 保持 $\beta_1$ 远小于 $\beta_2$ 。
- 大批量： 使 $\beta_1$ 和 $\beta_2$ 大致相等。
证据： 他们通过分析数据中的“噪声”如何与优化器的“记忆”相互作用，从数学上证明了这一点。他们还在语言模型（如 Llama 3）上进行了测试，发现验证性能（模型在新数据上的表现）符合他们的预测：随着批量大小的增长，“最佳”设置也随之改变。

简而言之：如果你使用小块数据进行训练，请坚持默认设置。如果你使用巨大的数据块进行训练，你应该调整设置以更均衡地平衡你的记忆。

问题陈述
Adam 和 AdamW 是深度学习中的标准优化器，然而其动量超参数 $\beta_1$ 和 $\beta_2$ 的选择往往缺乏原则性依据，仅遵循惯例（通常为 $\beta_1=0.9, \beta_2=0.999$ ）。尽管近期的大规模训练实践有时会降低 $\beta_2$ （例如降至 0.95）以提高稳定性，但这些超参数、批量大小（ $b$ ）与由此产生的对损失景观尖锐度的隐式偏差之间的相互作用仍鲜为人知。这一点至关重要，因为损失尖锐度是多轮次训练中泛化能力的机制性代理指标，并且即使在单轮预训练中，它也会影响训练后的性能（例如量化退化灾难性遗忘）。核心问题在于： $\beta_1$ 、 $\beta_2$ 与批量大小之间的优选关系是否会在不同的噪声机制下发生变化。

方法论
作者构建了一个理论框架，通过隔离小批量噪声和记忆效应来分析 Adam 的隐式偏差。该方法分三步进行：

移除记忆： 利用 Cattaneo 和 Shigida [10] 的一项技术，作者将依赖记忆的 Adam 迭代转换为带有显式校正项的无记忆迭代。这使得动力学过程可以近似为仅当前状态的函数，其全局误差界为 $O(\eta^2)$ 。
噪声展开与平均： 他们将此框架应用于小批量 Adam，将校正项展开至噪声导数的二阶单项式。通过对所有样本排列进行平均（无放回采样），他们推导出了一个显式校正项，将全批量效应与小批量噪声效应分离开来。
尖锐度代理解释： 结果校正项的主导项通过尖锐度代理进行解释。具体而言，分析聚焦于这些项的系数如何依赖于 $\beta_1$ 、 $\beta_2$ 以及“简单噪声尺度” $B_{simple}$ （与临界批量大小相关）。作者在两种机制下分析了尖锐度偏差系数 $C_{total}$ 随 $\beta$ 变化的单调性：固定 $\beta_1$ 变化 $\beta_2$ ，以及固定 $\beta_2$ 变化 $\beta_1$ 。

主要贡献与结果
本文提供了首个基于隐式尖锐度偏差机制的理论解释，阐明了 Adam 的 $\beta$ 值优选选择随批量大小发生反转的原因：

单调性反转： $\beta_2$ $β_{2}$ 与尖锐度惩罚之间的关系并非在所有批量大小下都是单调的。
- 高噪声、小批量机制（ $b \ll 2B_{simple}$ ）： 小批量噪声反转了单调性。在此机制下，较大的 $\beta_2$ 可以补偿具有反正则化作用的记忆项。因此，默认顺序 $\beta_1 \ll \beta_2$ （例如 0.9 对比 0.999）在理论上具有充分动机，能够改善泛化能力并降低模型敏感性。
- 低噪声、大批量机制（ $b \gg 2B_{simple}$ ）： 增加 $\beta_2$ 会增强由记忆引起的反正则化效应。在此情况下，选择 $\beta_1$ 接近 $\beta_2$ （例如 $\beta_1 = \beta_2 = 0.9$ ）被预测对泛化更为优越。
$\beta_1$ 的对称效应： 当固定 $\beta_2$ 为 0.999 并扫描 $\beta_1$ 时，也会出现类似的反转。对于大批量，较大的 $\beta_1$ 更受青睐；对于小批量，较小的 $\beta_1$ 更受青睐，以维持 $\beta_1 \ll \beta_2$ 的结构。
过渡尺度： 这些机制之间的过渡发生在由 $2B_{simple}$ 控制的批量大小尺度上，这与临界批量大小密切相关。
实证验证： 在 WikiText-2 上过拟合的小型 Transformer 实验，以及在 DCLM 上进行的 2.8 亿参数 Llama3 预训练实验，支持了这些定性预测。结果表明，在小批量设置中，增加 $\beta_2$ 会降低验证损失和尖锐度；而在大批量设置中，这一趋势发生反转，较低的 $\beta_2$ （或 $\beta_1 \approx \beta_2$ ）能带来更好的性能。

意义
本文声称提供了首个基于泛化能力的理论论证，解释了为何 Adam 动量参数的最优关系取决于批量大小。它挑战了默认超参数普遍最优的观念，转而表明 $\beta_1$ 和 $\beta_2$ 的“最佳点”是由记忆引起的反正则化与小批量噪声之间的相互作用决定的。研究结果为从业者提供了一条经验法则：在小批量情况下使用默认的 $\beta_1 \ll \beta_2$ ，而在极大批量情况下考虑 $\beta_1 \approx \beta_2$ ，以优化泛化能力和模型敏感性。该理论与大量实证工作一致，但提供了基于隐式偏差和损失景观尖锐度的机制性推导。