🤖 machine learning

Scaling the Memory of Balanced Adam

本文提出，平衡型 Adam 中的动量参数 $\beta$ 应被视为记忆尺度变量而非固定常数，并引入了一种刷新规则（ $R_\beta \approx 1000$ ），通过将优化器的统计记忆视界与有效学习视界对齐，在 11 项视觉与语言实验中显著提升了训练鲁棒性。

原作者： Alberto Fernández-Hernández, Cristian Pérez-Corral, Jose I. Mestre, Manuel F. Dolz, Enrique S. Quintana-Ortí

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Alberto Fernández-Hernández, Cristian Pérez-Corral, Jose I. Mestre, Manuel F. Dolz, Enrique S. Quintana-Ortí

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《平衡 Adam 的记忆扩展》的通俗解读，辅以日常类比。

宏观图景：调校“学习机器人”的“记忆”

想象你正在教一个机器人识别猫、写诗或解决数学问题。为此，机器人使用一种名为Adam（一种“优化器”）的工具。把 Adam 想象成机器人的内部教练。每当机器人犯错时，教练就会回顾过去的错误历史，决定如何调整机器人的“大脑”以进行下一次尝试。

长期以来，这位教练拥有两个不同的“记忆设置”（称为 $\beta_1$ 和 $\beta_2$ ）。一个设置用于记住错误的方向，另一个用于记住错误的幅度。

这一发现：
近期研究（包括本文）表明，你实际上并不需要两个不同的设置。如果将这两个设置设为完全相同（ $\beta_1 = \beta_2$ ），机器人依然能同样高效地学习，但系统会变得更加简单。现在，教练只需要一个记忆旋钮来调节。

问题所在：
关键问题是：我们应该把这个旋钮调到什么数值？
大多数人只是选择一个标准数值（例如 0.9）并坚持使用，无论情况如何。本文作者认为，这就像用同一双鞋去走 5 英里和跑 100 英里马拉松。这是不合理的，因为训练的“距离”发生了变化。

核心思想：“刷新次数”

作者提出了一种思考该记忆旋钮的新方式。与其将其视为一个固定数值，不如将其视为一个记忆视界。

类比： 想象机器人正在通过阅读一本书来学习一门语言。
- 如果机器人拥有短记忆，它只记得最后几句话。
- 如果机器人拥有长记忆，它记得整整一章的内容。

本文引入了一个名为**刷新次数（ $R_\beta$ ）**的概念。它回答了这样一个问题：“在整个训练过程中，机器人将其对过去的记忆完全刷新了多少次？”

作者发现，无论训练过程长短，只要这个“刷新次数”保持大致不变，机器人的学习效果最佳。

短训练过程： 机器人需要短记忆（较低的数值），以便其记忆能刷新约 1,000 次。
长训练过程： 机器人需要长记忆（较高的数值），以便其记忆仍然能刷新约 1,000 次。

解决方案：一条简单规则

本文在 11 项不同的任务上测试了这一想法，范围从教机器人识别图像（如猫和汽车）到教其撰写文本（如大型语言模型 LLM）。

他们发现了一条简单的“黄金法则”：
将记忆旋钮设定为：在训练的有效部分，让机器人恰好刷新其记忆 1,000 次。

如果训练较短（例如 6,000 步），该规则会选择较低的数值（如 0.82）。
如果训练较长（例如 40,000 步），该规则会选择较高的数值（如 0.97）。

这为何重要？（结果）

作者将他们的“刷新规则”与标准的“固定规则”（即大家都使用 0.944）进行了比较。

平均表现： 两种方法在平均成功率上非常接近。标准的固定数值实际上相当不错。
“安全网”（鲁棒性）： 这正是新规则大放异彩的地方。
- 想象你在开车。“固定规则”就像是在大多数道路上都能胜任的速度，但有时你可能会撞上坑洼而发生事故。
- “刷新规则”则像是一套智能悬挂系统。它能根据道路长度进行调整。
- 结果： 新规则将“最坏情况”下的失败率降低了33%。换句话说，它使训练变得更加可靠。它确保了每一次实验（全部 11 次）的表现都近乎完美，而旧方法中则有几次实验表现挣扎明显。

结语

本文主张，我们不应将 AI 训练中的记忆设置视为静态不变的常数。相反，我们应该将其视为一种尺度。

正如你不会用同一张地图比例尺来绘制城市和整个国家一样，你也不应为短训练过程和长训练过程使用相同的记忆设置。通过根据训练时长调整记忆（将“刷新次数”保持在 1,000），我们使 AI 训练过程更加稳健，减少了意外失败的可能性。

简而言之： 不要只是随机选个数字并寄希望于好运。根据旅程的长短调整机器人的记忆，你将获得更加平稳的旅程。

技术摘要：平衡 Adam 的内存扩展

问题陈述

尽管近期证据表明，当 Adam 优化器的动量参数被绑定（ $\beta_1 = \beta_2 = \beta$ ）从而简化为单参数优化器时，其表现稳健，但该剩余参数的最优值仍知之甚少。将 $\beta$ 视为固定的无量纲常数（例如标准的 0.9 或 0.99）是不够的，因为相同的数值会根据训练总时长的不同而代表截然不同的动态机制。适用于短期训练运行的 $\beta$ 值，在长期训练中可能无效。本文解决的核心问题是如何以一种感知训练规模的方式，选择平衡 Adam 的单一内存尺度。

方法论

作者提出将 $\beta$ 重新框架化，不再将其视为静态常数，而是作为控制“统计记忆视界”的变量。

定义：
- 记忆视界（ $H_\beta$ ）： 定义为 $H_\beta = (1-\beta)^{-1}$ ，代表主导优化器内部估计的大致近期优化步数。
- 有效学习视界（ $T_{ES}$ ）： 基于验证轨迹上的早停时间得出的训练有用时长估计。
- 刷新次数（ $R_\beta$ ）： 一个无量纲量，定义为 $R_\beta = T_{ES} / H_\beta = (1-\beta)T_{ES}$ 。该指标衡量 Adam 在训练的有用阶段内“刷新”其内部统计信息的次数。
刷新规则：
核心假设是，无论训练规模如何，只要保持刷新次数大致恒定，平衡 Adam 的表现就会稳健。提出的规则如下：
$R_\beta \approx R_0 \implies \beta = 1 - \frac{R_0}{T_{ES}}$
其中 $R_0$ 为目标常数。
实验设置：
- 范围： 11 项实验，涵盖视觉模型（ResNet50、ViT-B/16、EfficientNet-B0、Swin-T）和语言模型（Llama60M、NanoGPT、T5-small），在多样化数据集（如 ImageNet、CIFAR-100、C4、BookCorpus）上进行训练。
- 协议： 所有运行均强制对角约束 $\beta_1 = \beta_2 = \beta$ 。对 13 个 $\beta$ 值（范围从 0 到 0.999）进行了网格搜索。
- 校准： 8 项实验作为开发集用于校准 $R_0$ ，另外 3 项保留实验用于验证。
- 指标： 性能通过相对于“神谕” $\beta^*$ （该特定实验中网格内找到的最佳 $\beta$ ）的相对验证损失差距来衡量。指标包括平均差距、最大差距以及最坏 25% 情况下的条件风险价值（CVaR）。

关键结果

研究发现，选择 $\beta$ 以维持恒定的刷新次数，相比固定基线显著提高了稳健性。

最优目标： 开发集校准确定 $R_0 = 1000$ 为最小化最大差距的目标。该规则根据 $T_{ES}$ 选择不同的 $\beta$ 值（在各实验中范围从 0.822 到 0.968）。
稳健性与平均性能：
- 固定基线 $\beta = 0.944$ （网格中最强的固定选择）实现了最佳的平均全局差距（0.290%）。
- 然而，刷新规则（ $R_0 = 1000$ ）显著改善了最坏情况下的稳健性。它将全局最大验证差距降低了33.4%（从 1.328% 降至 0.885%），并将全局 CVaR 降低了32.7%（从 1.059% 降至 0.713%）。
- 至关重要的是，刷新规则使所有 11 项实验均落在其各自验证神谕的 1% 以内，而固定基线仅在 11 项中的 9 项达到了这一水平。
稳定性： 该方法对 $T_{ES}$ 估计中的中等误差表现出稳健性。即使在视界估计中存在高达 $\sigma=0.20$ 的乘性噪声，刷新规则仍保持了比固定基线更低的全局 CVaR。

意义与主张

本文认为，平衡 Adam 的剩余超参数应被更好地理解为内存尺度变量，而非固定常数。

感知规模的视角： 这项工作提供了“优化器扩展的预算感知视角”。它提出， $\beta$ 应被视为优化器统计记忆时钟的控制变量，该变量必须与有效学习视界相匹配。
动态优于默认： 结果表明，将 Adam 的动量视为学习动态的一部分（具体而言，即统计刷新的次数），优于将其视为静态默认值。
实际意义： 虽然固定的 $\beta$ （如 0.944）是一个强有力的实践默认值，但刷新规则提供了一种原则性机制，可根据训练视界的变化调整 $\beta$ ，确保优化器的内部内存相对于训练时长既不过短（导致不稳定），也不过长（导致适应缓慢）。

作者承认了局限性，指出 $T_{ES}$ 必须被估计（使得该规则是尺度校准的而非零样本的），且特定值 $R_0=1000$ 是针对测试套件的经验发现，未必是通用常数。未来的工作建议解耦特定架构的影响，并研究记忆时钟与学习率调度之间的相互作用。