🤖 machine learning

Understanding Dynamics of Adam in Zero-Sum Games: An ODE Approach

本文建立了一个连续时间常微分方程框架来分析零和博弈中的 Adam-DA 算法，揭示了其动量参数的作用与在最小化问题中的角色截然相反，并通过生成对抗网络实验验证了这些理论见解。

原作者： Yi Feng, Weiming Ou, Xiao Wang

发布于 2026-05-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Yi Feng, Weiming Ou, Xiao Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试训练两个 AI 智能体互相进行国际象棋对弈。一方玩家（“生成器”）希望创造出看起来逼真的虚假棋局，而另一方玩家（“判别器”）则希望识破这些赝品。这是一场零和博弈：一方获胜，另一方必败。

为了训练它们，我们使用一位名为Adam的聪明教练。在常规训练（即 AI 试图最小化单一误差，例如预测天气）中，Adam 是一位超级明星。它利用“动量”保持向前滚动，忽略微小的颠簸，并在下坡时加速。

然而，当这位同样的教练试图训练两个互相对抗的玩家时，情况变得奇怪起来。你提供的论文《Understanding Dynamics of Adam in Zero-Sum Games》发现，在这些博弈中，Adam 的表现与常规训练中的表现截然相反。

以下是他们研究发现的分解，使用了简单的类比：

1. 问题所在：教练感到困惑

在常规训练中，教练利用动量帮助 AI 滑过小颠簸，快速到达山谷底部。论文发现，在零和博弈（如生成对抗网络 GANs）中，如果教练使用同样的“滑行”动量，两名玩家会开始原地打转或互相远离，而不是进行学习。

作者意识到，要理解为什么会发生这种情况，他们不能仅仅观察一步步的移动。相反，他们构建了一个连续时间模型（常微分方程，ODE）。

类比：想象观看一部玩家移动的电影。离散的步骤就像电影的单个帧。作者创建了一部平滑的高清视频（即 ODE），它能完美预测电影的运动。这部平滑的视频揭示了那些被单个帧所隐藏的博弈规则。

2. 发现一：“动量”开关被反转了

论文聚焦于 Adam 教练中的两个设置：

一阶动量（ $\beta$ ）：教练记住上一次移动方向的程度。
二阶动量（ $\rho$ ）：教练记住上一次移动速度的程度。

在常规训练（最小化）中：

为了快速且稳定地行进，你需要高动量。这就像一辆重型卡车；一旦它开始移动，就很难停下，这有助于它冲破崎岖的地形。

在零和博弈中（论文的发现）：

作者发现，低动量实际上更好。
类比：想象两名舞者试图同步。如果他们都有“重型卡车”般的动量，他们会互相冲过头，失控旋转并最终相撞。但如果他们以轻盈、敏捷的步伐（低动量）移动，他们就能迅速调整以适应对方的动作，找到稳定的节奏。
结果：论文从数学上证明，在这些博弈中，使用较小的一阶动量允许玩家在更广泛的步长范围内收敛（学习）。如果你使用“标准”的高动量，他们往往会发散（失败）。

3. 发现二：寻找“平坦”的地面

在机器学习中，我们通常希望 AI 找到景观中的“平坦”区域，而不是尖锐的“尖峰”。

尖锐尖峰：AI 完美地记住了训练数据，但在新数据上表现不佳（过拟合）。
平坦山谷：AI 学习了通用模式，并在新数据上表现良好。

在常规训练中：

为了找到这些平坦山谷，你通常需要高动量和低速度动量。

在零和博弈中：

论文发现情况恰恰相反。为了找到博弈稳定的“平坦”区域，你需要低一阶动量和高二阶动量。
类比：将损失景观想象成一片凹凸不平的田野。在常规博弈中，一辆重型卡车（高动量）能帮助你滚过颠簸找到平坦之处。而在零和博弈中，“卡车”太重了，会卡在深坑里。相反，你需要一个轻量级、有弹性的球（低动量），它可以在边缘弹跳，并自然地落入宽阔平坦的区域。

4. “双线性”陷阱

论文还考察了一种特定类型的博弈，称为“双线性博弈”（冲突的一种非常简单、线性的版本）。

发现：无论你为 Adam 教练选择什么设置，它在这类特定博弈中总是失败（发散）。
类比：这就像试图将铅笔立在笔尖上。无论你多么轻柔地试图稳住它，物理规律使得它不可能保持平衡。这与常规训练形成了根本性的差异，在常规训练中，Adam 几乎总能找到解决方案。

5. 实锤（实验）

作者不仅做了数学推导，还在真实的 AI 图像生成器（GANs）上进行了测试，使用了 CIFAR-10 和 STL-10 等数据集。

实验：他们使用不同的动量设置训练了 AI 模型。
结果：使用“反转”设置（低一阶动量，高二阶动量）的模型产生了：
1. 更小的梯度范数（意味着它们正在探索那些更“平坦”、更稳定的区域）。
2. 更好的图像质量（更高的 Inception 分数）。
3. 更稳定的训练过程。

总结

这篇论文告诉我们，适合单人跑步者（最小化）的方法并不适用于拔河（零和博弈）。

单人跑步者：需要一辆沉重、快速移动的卡车（高动量）来抵达终点。
拔河：需要两名轻盈、敏捷的舞者（低动量）来保持同步。

作者使用数学上的“平滑视频”（ODE）证明，Adam 的标准设置实际上正在损害像 GANs 这类博弈的性能，而翻转动量设置可以解决这个问题。这解释了为什么经验丰富的从业者在 GANs 中多年来一直使用“负动量”（一种低动量的形式），尽管直到现在理论才解释了为什么它有效。

技术摘要：理解零和博弈中 Adam 的动态：一种常微分方程方法

问题陈述

尽管 Adam 优化器在训练神经网络解决最小化问题方面取得了显著成功，但其下降 - 上升（descent-ascent）对应版本 Adam-DA 已成为解决零和博弈（特别是生成对抗网络 GAN）的事实标准。尽管在实践中被广泛采用，但 Adam-DA 在零和设置下的理论理解远远滞后于其最小化对应版本。现有的理论框架通常假设从最小化中推导出的原则（例如正动量的益处）可直接应用于博弈。然而，GAN 训练中的实证证据表明，负动量往往能提高稳定性，从而造成了理论与实践之间的差距。本文旨在建立一个严格的理论框架以理解 Adam-DA 的动态，具体研究其参数如何影响零和博弈中的局部收敛性和隐式梯度正则化。

方法论

作者采用常微分方程（ODE）方法来分析离散时间 Adam-DA 算法的连续时间极限。该方法根植于 Polyak 关于动量方法的开创性工作，为研究复杂动态提供了一个易于处理的分析框架。

连续时间模型的推导：本文推导了一组特定的 ODE，称为“连续 Adam-DA"，作为 Adam-DA 算法的连续时间极限。作者证明，这些 ODE 以 $O(h^3)$ 的局部误差近似离散时间轨迹，这比之前的 min-max 适应方法（如 SignGDA-flow，其误差为 $O(h^2)$ ）有了显著改进。
局部收敛性分析：利用动力系统理论，作者在局部纳什均衡点分析了连续 Adam-DA 的雅可比矩阵。他们推导出了 Adam-DA 的雅可比矩阵与标准梯度下降 - 上升（GDA）方法的雅可比矩阵之间的二次多项式关系。基于这种关系，可以根据底层博弈动态的特征值推导出收敛条件。
隐式梯度正则化（IGR）分析：作者分析了推导出的 ODE 中的高阶项，以理解算法如何与损失景观的几何结构相互作用。具体而言，他们考察了动量参数如何影响算法探索“更平坦”区域（即梯度范数较低的区域）的倾向。
实证验证：通过在多种架构（ResNet、CNN、Self-Attention）和数据集（CIFAR-10、STL-10、CelebA）上的 GAN 训练进行广泛实验，验证了理论预测。实验测量了累积平均梯度范数和 Inception 分数（IS），以将参数选择与景观平坦度及训练性能相关联。

主要贡献

1. 局部收敛动态

本文提供了连续 Adam-DA ODE 和离散 Adam-DA 算法的定量局部收敛结果。一个核心发现是动量参数作用相对于最小化问题的反转：

一阶动量（ $\beta$ ）：在最小化中，较大的 $\beta$ 通常允许更宽范围的步长以实现收敛。相反，作者证明在零和博弈中，较小的 $\beta$ （包括负值）能在更宽的步长范围内实现局部收敛。
双线性博弈：分析表明，Adam-DA 在双线性目标函数（ $f(x,y) = x^\top Ay$ ）上总是发散，无论参数如何选择。这与最小化情况形成对比，在最小化中，Adam 在合适的参数下可以收敛到局部最小值的邻域。

2. 隐式梯度正则化（IGR）

本文刻画了 Adam-DA 的参数如何影响对损失景观几何结构的探索：

反转的 IGR 效应：在最小化中，较大的 $\beta$ 和较小的二阶动量 $\rho$ 引导轨迹趋向更平坦的极小值。作者证明，在零和博弈中，效果恰好相反：较小的 $\beta$ 和较大的 $\rho$ 引导轨迹趋向 min-max 损失景观中更平坦的区域（由较低的梯度 $\ell_1$ 范数定义）。
理论依据：这种行为源于 ODE 分析，表明相互作用项 $K(\beta, \rho) = \frac{1+\beta}{1-\beta} - \frac{1+\rho}{1-\rho}$ 决定了正则化的强度。在相互作用主导的博弈中，通过减小 $\beta$ 和增大 $\rho$ 来减小该项，可以最小化梯度范数的上升，从而促进稳定性。

3. 连续时间近似

作者提供了一个严格的误差界，表明其提出的连续 Adam-DA ODE 以 $O(h^3)$ 的局部误差近似离散算法。这种高阶近似被证明优于现有的连续时间模型（如 SignGDA-flow），能够更准确地捕捉 Adam-DA 的真实动态，特别是在简单模型发散或收敛到错误均衡的场景中。

结果

理论预测：推导出的收敛界限证实，随着 $\beta$ 的减小，Adam-DA 的稳定性区域会扩大。对双线性博弈的分析证实了此类问题在 Adam-DA 下存在固有的发散性。
实验验证：
- 梯度范数：GAN 实验表明，较小的 $\beta$ 和较大的 $\rho$ 始终导致较低的累积平均梯度范数，表明轨迹停留在损失景观中更平坦的区域。
- 性能：使用产生较低梯度范数的参数设置（较小的 $\beta$ ，较大的 $\rho$ ）训练模型，获得了更高的 Inception 分数，表明泛化能力和训练稳定性更好。
- 负动量：实验支持了负动量（负 $\beta$ ）可以提高 GAN 训练稳定性的实证观察，这一现象此前缺乏理论解释。

意义与主张

本文声称提供了 Adam 在零和博弈中与最小化表现不同的首个严格理论解释。通过推导连续时间极限并分析其雅可比结构，作者证明了在博弈论设置中，动量参数的作用发生了根本性反转。

这项工作的意义在于：

弥合理论与实践：它解释了 GAN 训练中的实证做法（如使用负动量或特定的动量比率）为何成功，而标准最小化理论在此失效。
扩展分离结果：它将先前建立的关于博弈动态与最小化动态之间的理论分离（此前仅针对无自适应或无动量的简单方法）扩展到了复杂、自适应且基于动量的 Adam 算法。
基础性步骤：作者将这种确定性分析定位为通向零和博弈中 Adam 完整理论的必要第一步，指出尽管分析是确定性的，但其发现与 GAN 训练中的随机实验结果相一致。

本文得出结论，理解这些反转的动态对于设计更好的零和博弈优化器至关重要，并建议未来在更复杂的设置（如多玩家非零和博弈）中进行研究。