🤖 machine learning

Modeling AdaGrad, RMSProp, and Adam with Integro-Differential Equations

本文将 AdaGrad、RMSProp 和 Adam 优化算法提出了连续时间形式的一阶积分微分方程，并通过数值模拟、稳定性分析和收敛性研究验证了其准确性。

原作者： Carlos Heredia

发布于 2026-06-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Carlos Heredia

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心理念：将“步进式”游戏转化为“平滑流”

想象你正试图在一个多雾且崎岖的山谷中寻找最低点（这代表了机器学习中的优化问题）。你看不见整个山谷的全貌，因此必须根据脚下当下的坡度，迈出小小的一步步。

通常，计算机科学家将这个过程描述为一系列离散的步骤：第1步、第2步、第3步…… 这就像是定格动画。Carlos Heredia 的这篇论文提出了一个不同的问题：如果我们不把这段旅程看作是一连串的跳跃，而是一条向低处流动的平滑、连续的河流，情况会怎样？

作者提出了一种新的数学方法，利用**积分微分方程（Integro-Differential Equations）**来描述三种著名的“聪明”行走策略（AdaGrad、RMSProp 和 Adam）。

三位“聪明行者”

要理解这篇论文，我们首先需要了解这三位行者是谁：

AdaGrad（“记忆囤积者”）： 这位行者记得他们曾经走过的每一步。如果他们之前在某个方向迈了大步，他们就会对那个方向感到厌倦，下次就会迈小步。他们积累了一个“过去的足迹包”，这个包会变得越来越重。
RMSProp（“健忘行者”）： 这位行者也记得过去的步伐，但他们的记忆很短。他们主要关注最近发生了什么。他们会让旧的记忆随风而去（就像被潮汐冲走的沙堡），这样就不会被历史所累。
Adam（“平衡导航员”）： 这位行者是一个混合体。他们既记得过去步伐的方向（动量），也记得过去步伐的大小（方差）。他们试图在速度与稳定性之间取得平衡。

论文的创新点：“时空穿越”方程

论文认为，用于描述这些行者的标准数学方法（离散方程）有些笨拙。相反，作者将他们建模为积分微分方程。

“记忆袋”的比喻：

标准数学 (ODEs)： 想象一辆汽车，其速度仅取决于你此时此刻踩下的油门。
本论文的数学 (积分微分方程)： 想象一辆汽车，其速度取决于你现在踩下的油门，加上自驾驶开始以来你踩下的所有油门的加权平均值。

方程中的“积分（Integral）”部分就是这个记忆袋。它汇总了直到此时此刻为止整个旅程的历史。而“微分（Differential）”部分则是当前的运动。

作者证明，如果使用这种“记忆袋”数学来编写 AdaGrad、RMSProp 和 Adam 的规则，你就能得到一个平滑流动的方程，它能完美地模拟原始计算机算法中的定格动画步骤。

他们证明了什么？（稳定性检查）

仅仅能写出一个平滑方程并不意味着它一定有效。作者花费了大量时间来证明这些平滑的河流确实会流向山谷底部。

对于凸景观（完美的碗状）：
- AdaGrad： 论文证明，尽管行者不断向记忆袋中添加内容，他们最终仍会到达底部。然而，由于袋子变得越来越重，他们在接近目标时会显著减速。
- RMSProp： 由于这位行者会遗忘过去的步骤，他们的记忆袋保持较轻。论文证明他们比 AdaGrad 更快、更平滑地到达底部。
- Adam： 作者发明了一个特殊的“安全检查”（数学条件），以证明 Adam 不会被自身的动量所迷惑。如果通过了这项安全检查，行者就能保证找到底部。
对于非凸景观（充满山谷的山脉）：
- 在这里，目标不一定是绝对最低点，而仅仅是一个低点（局部最小值）。
- 论文证明，这三位行者最终都会停止移动（速度降为零）并停留在某个山谷中。他们可能找不到世界上最深的谷底，但他们一定会停止游荡并在某个谷底安顿下来。

“时间偏移”的奇特性

论文中一个聪明的观察是关于时间的。
在计算机代码中，你使用当前时刻的记忆来计算下一秒的步长。
在平滑数学中，这产生了一个微小的“时空穿越”效应。行者在时间 $t$ 的速度方程实际上取决于在 $t + \text{一小会儿}$ 时刻计算出的记忆。
作者称之为“偏移参数（shifted argument）”。这就像是在说：“为了知道我现在走得有多快，我需要看一眼我在下一瞬间才会画出的地图。” 论文证明，这种微小的时间偏移是让数学逻辑正确运作的关键。

模拟实验：是否符合现实？

作者不仅在纸上进行数学推导，还运行了计算机模拟。

他们采用了连续的平滑方程。
他们将这些方程与原始的、步进式的计算机算法进行了对比。
结果： 两者几乎完美匹配。随着“步长”（学习率）变小，平滑的河流变得与定格动画无异。

一句话总结

这篇论文将三种流行的计算机学习策略（AdaGrad、RMSProp 和 Adam）——它们通常通过离散步骤进行工作——重新改写为携带“记忆袋”的平滑连续流，并在数学上证明了这些流能够像原始算法一样可靠地找到最优解。

技术摘要：利用积分微分方程对 AdaGrad、RMSProp 和 Adam 进行建模

问题陈述

诸如 AdaGrad、RMSProp 和 Adam 之类的优化算法是机器学习的基础，然而其固有的离散性质往往使关于收敛性和稳定性的理论分析变得复杂。虽然针对标准梯度下降法和基于动量的优化方法，已有研究提出了使用常微分方程（ODE）的连续时间近似方法，但这些方法通常无法捕捉定义自适应优化方法的记忆效应（memory effects）和累积梯度累积（cumulative gradient accumulation）。AdaGrad（累积和）以及 RMSProp/Adam（指数移动平均）中过去梯度的离散累积表明，简单的 ODE 公式形式是不够的。本文旨在解决需要一个能够显式建模这些非局部依赖关系的连续时间框架，以提供对自适应方法更准确的理论理解。

研究方法

作者提出将 AdaGrad、RMSProp 和 Adam 建模为一阶积分微分方程（IDEs）。该方法论依赖于以下核心步骤：

连续化表述： 通过假设离散迭代 $k$ 与连续时间 $t$ 之间存在通过学习率 $\alpha$ 的关系（即 $t = \alpha k$ ），将离散更新规则转化为连续动力学。
- AdaGrad： 被建模为一个 IDE，其中学习率与累积平方梯度的平方根成反比，表现为一个非局部积分项 $G(t, \theta) = \frac{1}{\alpha} \int_0^t \|\nabla f(\theta(\tau))\|^2 d\tau$ 。
- RMSProp： 建模方式类似，但在积分中使用指数核来表示移动平均： $v(t, \theta) = \frac{1-\beta}{\alpha} \int_0^t e^{-\frac{1-\beta}{\alpha}(t-\tau)} \|\nabla f(\theta(\tau))\|^2 d\tau$ 。
- Adam： 使用两个耦合的矩（一阶和二阶）以及带有指数核的模型，并结合了在连续极限下表现为随时间变化的增益的偏差修正项。
理论分析： 本文采用动力系统理论中的工具，特别是李雅普诺夫稳定性分析（Lyapunov stability analysis），来研究所提出的 IDEs。
- 凸情况： 利用 $L$ -光滑性和 $m$ -强凸性假设来推导收敛速率。分析区分了“累积型”记忆（AdaGrad， $\xi=0$ ）和“遗忘型”记忆（RMSProp， $\xi=\lambda$ ）。
- 非凸情况： 利用目标函数有下界和紧致子水平集的假设。分析依赖于 Polyak–Łojasiewicz (PL) 不等式和 Kurdyka–Łojasiewicz (KL) 不等式来建立向临界点的收敛性。
- 稳定性条件： 针对 Adam，推导了一个涉及衰减率 $\beta_1$ 和 $\beta_2$ 的特定“标量李雅普诺夫条件”，以确保有效增益相对于一阶矩的松弛不会增长过快。
数值模拟： 作者在 JAX 框架内实现了一个自定义的迭代修正 IDE 求解器（Iterative Modified IDESolver）（利用 GPU 加速）来求解导出的方程。该方法结合了不动点迭代方案和高斯求积法，以处理积分项。结果通过两个玩具模型（一个凸二次函数和一个非凸四次函数）与原始离散算法进行了对比。

核心贡献

本文主要有三个贡献：

连续时间模型： 提出了首个将 AdaGrad、RMSProp 和 Adam 建模为一阶积分微分方程的连续化表述（命题 1–3）。这些模型通过非局部积分算子显式地封装了记忆效应，从而将其与标准的 ODE 近似区分开来。
稳定性与收敛定理：
- 凸设置： 定理 1 和 2 建立了收敛界限。对于 AdaGrad，证明了初始阶段满足 $\|\theta(t) - \theta^*\| \leq C e^{-c\sqrt{t}}$ 的亚指数界限，随后在证明累积记忆是有界的情况下实现指数收敛。对于 RMSProp，由于遗忘机制的存在，证明了目标差距和记忆变量均呈指数衰减。
- Adam 稳定性： 定理 3 提供了 Adam 的条件稳定性结果，该结果要求参数 $\beta_1, \beta_2$ 满足标量李雅普诺夫条件以及一个单侧偏移缺陷估计。
- 非凸设置： 定理 4、5 和 6 将这些结果扩展到非凸函数。它们在 PL 或 KL 条件下建立了渐近平稳性（ $\|\nabla f(\theta(t))\| \to 0$ ）以及向临界点收敛的结论。至关重要的是，它区分了记忆项的长期行为：在 AdaGrad 中，记忆项收敛到一个有限的非零极限；而在 RMSProp 中，则衰减至零。
数值验证： 本文提供了广泛的数值模拟（图 1–15），证明了连续 IDE 模型能够精确复制离散算法的动力学特性。模拟确认，随着学习率 $\alpha$ 的减小，连续模型与离散轨迹变得几乎不可区分。

结果

准确性： 数值模拟显示，对于凸和非凸目标函数，连续 IDE 模型与离散实现之间存在高度一致性。连续模型正确捕捉到了诸如 AdaGrad 中的学习率饱和现象以及 Adam 中的振荡行为。
收敛速率：
- 在强凸情况下，RMSProp 在参数和记忆方面均表现出指数收敛。AdaGrad 在参数方面表现出指数收敛，但其记忆项会饱和在一个非零值。
- 在非凸情况下，模型收敛至临界点。在 PL 不等式下，目标差距呈指数级衰减。在 KL 不等式下，收敛速率取决于指数 $\sigma$ （当 $\sigma=1/2$ 时为指数级，当 $1/2 < \sigma < 1$ 时为多项式级，当 $0 \leq \sigma < 1/2$ 时为有限时间收敛）。
记忆动力学： 分析证实，RMSProp 中的“遗忘”机制（ $\xi = \lambda$ ）允许记忆变量衰减至零，而 AdaGrad 的“累积”性质（ $\xi = 0$ ）则导致一个持久的、非零的记忆极限。

意义与主张

本文声称，将自适应优化器建模为积分微分方程为理解其理论提供了新颖的视角。通过利用积分算子显式表示记忆效应，该框架比基于 ODE 的方法更准确地弥合了离散算法与连续动力系统之间的鸿沟。

作者强调，这种方法允许：

准确表示： 直接建模过去梯度如何影响当前更新，这是自适应方法的定义特征。
理论分析： 能够应用来自 IDE 理论的高级数学工具（例如稳定性分析、收敛证明）进行研究。
桥接动力学： 通过将这些算法视为非局部动力系统，为理解其行为及潜在改进提供见解。

本文结论较为谦逊，指出虽然模型是基于确定性设置和简化函数，但它们是进行理论分析的有效且强大的工具。作者建议未来的工作可以将其扩展到随机设置、高维空间和复杂的神经网络架构，从而可能启发涉及非局部拉格朗日和哈密顿形式主义的新方法。