💻 computer science

Modeling AdaGrad, RMSProp, and Adam with Integro-Differential Equations

本文将 AdaGrad、RMSProp 和 Adam 提出为一阶积分微分方程的连续时间形式，并通过数值模拟、稳定性分析和收敛性研究验证了其准确性，为自适应优化方法提供了一个新的理论视角。

原作者： Carlos Heredia Pimienta

发布于 2026-10-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Carlos Heredia Pimienta

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在现代人工智能的广阔版图中，从数据中学习的能力取决于一个基本的数学挑战：在复杂的多维地形中寻找最低点。想象一位徒步旅行者试图到达一个被浓雾笼罩的山谷底部。徒步者可以感觉到脚下的坡度，并朝着下降的方向迈出一步。这种被称为梯度下降的基本策略，是计算机学习如何识别面部、翻译语言或玩游戏的引擎。然而，地形很少是一个简单的碗状；它通常是一个充满许多小凹陷和陡峭悬崖的崎岖不平、凹凸不平的表面。如果徒步者迈出固定大小的步伐，可能会陷入浅洼，或者在陡峭的墙壁上剧烈弹跳。为了有效地导航，徒步者需要根据其旅程的历史来调整步幅，记住哪里地面陡峭，哪里地面平坦。

多年来，计算机科学家开发了复杂的工具来帮助这些数字徒步者自动调整步伐。像 AdaGrad、RMSProp 和 Adam 这样的算法是这一过程中使用的标准指南。它们通过记录过去的移动来工作，利用这段历史来决定下一步应该走多大。如果过去的路径陡峭且艰难，算法会采取更小、更谨慎的步伐。如果路径平坦，它会采取更大、更果敢的跨步。虽然这些方法在实践中效果极佳，但它们是建立在一系列离散的、逐步的计算之上的。这使得它们难以使用科学家用来理解系统随时间演变的平滑、连续的数学工具进行分析。直到现在，这些算法跳跃式的、逐步的现实与数学理论平滑流动之间的差距一直难以弥合。

巴塞罗那 IAMM 研究院的一位研究人员现在提出了一种看待这些算法的新方法，将它们的逐步性质转化为一种连续的流动。作者并没有将优化过程视为一系列离散的跳跃，而是将其建模为一种受特定方程支配的平滑、不间断运动，该方程包含对过去的记忆。在这个新的框架中，算法当前的移动不仅由它现在看到的坡度决定，还由自旅程开始以来所遇到的所有坡度的积分决定。这种方法将算法的“记忆”视为一种连续的权重，而非简单的过去数字列表，这种权重会影响当下时刻。通过这样做，研究人员创建了一个数学模型，用单一的、流动的描述捕捉了这些工具的累积性和适应性。

这项工作的核心在于将 AdaGrad、RMSProp 和 Adam 的规则改写为连续方程。在传统观点中，这些算法在每一步都累积关于梯度（即地形陡峭程度）的信息，以更新其参数。新模型用一条平滑曲线取代了这些步骤，其中过去的影向被编码在一个积分项中。对于 AdaGrad 算法，这意味着当前的移动速度会被所有过去陡峭度的总和所减慢。对于 RMSProp，模型引入了一种机制，使旧的记忆呈指数级衰减，从而允许算法更多地关注最近的地形。对于 Adam（这三者中最复杂的一个），模型同时追踪两种不同类型的记忆：一种记录坡度的方向，另一种记录坡度的陡峭程度。作者证明了这些连续方程不仅仅是抽象的概念，而且是实际使用的计算机代码的精确近似。

为了测试这一理论，研究人员运行了详细的计算机模拟，将新的连续模型与原始的离散算法进行了对比。测试是在两种不同类型的数学景观上进行的。第一种是具有单一最低点的简单平滑山谷，代表一个直接的问题。第二种是具有多个山谷和一个中间顶峰的更崎岖的地形，代表了现实世界人工智能中发现的复杂非凸问题。在每种场景下，连续模型都以惊人的精度追踪了离散算法的行为。当学习率（即步长的大小）较小时，连续曲线和离散步骤变得几乎无法区分。模拟显示，连续模型能够正确预测算法如何收敛到解、如何在稳定前发生振荡，以及它们的内部记忆变量如何随时间演变。

研究还深入探讨了这些连续模型的稳定性和收敛性，在特定条件下从数学上证明了它们的行为符合预期。对于较简单的平滑景观，作者展示了连续模型保证了向最低点的稳步接近。对于更崎岖、更复杂的景观，分析确认了即使该点不是绝对最低的山谷，算法最终也会停止移动并稳定在一个临界点。研究强调了算法之间的关键区别：那些记住一切的算法（如 AdaGrad）会积累永久性的记忆，从而可能随着时间的推移减慢速度；而那些会遗忘的算法（如 RMSProp）则允许记忆衰减，从而保持更高的灵活性。数学证明确认，这些行为是方程结构的内在属性，而不仅仅是计算机模拟的产物。

这项工作为我们理解驱动现代机器学习的工具提供了全新的视角。通过将这些算法构架为具有记忆的连续流，研究人员提供了一种统一的语言来描述它们的行为。这使得应用强大的数学技术成为可能，而这些技术此前很难应用于逐步法。研究结果表明，这些算法复杂的、适应性的行为可以被理解为它们连续动力学的自然结果。虽然目前的模型是基于确定性设置和简化函数的，但它们为未来的研究提供了坚实的基础。作者建议，这种方法最终可能导致设计优化方法的新策略，潜在地借鉴物理学和控制论的思想，来创造更高效的机器学习方式。模拟证实，这种连续的视角不仅仅是一个理论上的好奇心，更是算法所穿越地形的一张可靠地图。

技术摘要：利用积分-微分方程对 AdaGrad、RMSProp 和 Adam 进行建模

问题陈述
自适应优化算法（如 AdaGrad、RMSProp 和 Adam）是现代机器学习的基础，然而其内在的离散特性阻碍了对其进行理论分析。虽然常微分方程（ODE）在标准梯度下降法和基于动量的优化方法中已得到成功的连续时间近似应用，但这些方法通常无法捕捉到定义自适应方法的显式记忆效应和累积梯度历史。过去平方梯度的离散累积（在 AdaGrad 中）或指数加权移动平均（在 RMSProp 和 Adam 中）引入了非局部依赖关系，这是标准 ODE 无法自然表示的。本文旨在解决构建一个能够准确模拟这些依赖记忆动力学的连续时间框架的挑战，以促进严格的稳定性与收敛性分析。

方法论
作者提出将 AdaGrad、RMSProp 和 Adam 建模为一阶积分-微分方程（IDE）。核心方法包括：

连续化表述： 通过假设离散时间步 $k$ $k$ 与连续时间 $t$ $t$ 通过学习率 $\alpha$ $α$ 存在关系（即 $t = \alpha k$ $t = α k$ ），利用泰勒展开对离散更新规则进行近似。作者推导出，过去梯度的累积对应于具有特定核函数的积分算子。
- AdaGrad： 使用均匀核进行建模，产生过去平方梯度的累性积分。
- RMSProp： 使用指数衰减核进行建模，代表平方梯度的移动平均。
- Adam： 为一阶矩和二阶矩分别引入两个不同的指数核，并将偏差修正项作为随时间变化的增益因子纳入其中。
理论分析： 本文采用李雅普诺夫（Lyapunov）稳定性分析来研究这些 IDE 的收敛性质。分析分为两个阶段：
- 凸设置： 在假设 $L$ -光滑性和 $m$ -强凸性的条件下，作者推导出了收敛速率和稳定性界限。
- 非凸设置： 在假设目标函数有下界且具有紧致次水平集的条件下，分析利用 Polyak–Łojasiewicz (PL) 和 Kurdyka–Łojasiewicz (KL) 不等式来建立向临界点收敛的证明。
数值模拟： 为了验证连续模型，作者在 JAX 框架内实现了一个自定义的 IDESolver。该求解器使用迭代修正方法（结合了 ODE 求解与高斯求积法处理积分项）来近似求解推导出的 IDE。这些结果在凸和非凸的玩具模型上，通过与原始离散算法进行对比得到了验证。

核心贡献
本文做出了三个主要贡献：

连续化表述： 作者提供了 AdaGrad、RMSProp 和 Adam 作为积分-微分方程的首次连续时间表示（命题 1–3）。这些表述通过非局部积分项显式地封装了记忆效应，使其区别于以往基于 ODE 的模型。
稳定性与收敛定理：
- 对于强凸情况下的 AdaGrad 和 RMSProp，本文证明了一旦累积记忆被证明是有界的，距离极小值的距离就会呈指数级衰减。文中区分了 AdaGrad 的累积特性（记忆趋向于一个非零极限）与 RMSProp 的遗忘机制（记忆趋向于零），从而导致了扩展记忆泛函的不同收敛动力学。
- 对于 Adam，本文引入了一个标量李雅普诺夫条件（ $H_{\beta_1, \beta_2} < 2(1-\beta_1)$ ）和偏移缺陷估计，以证明其条件稳定性和向极小值的收敛性。
- 在非凸情况下，作者证明了所有三种算法都具有渐近平稳性（ $\|\nabla f(\theta(t))\| \to 0$ ）。在 PL 或 KL 假设下，作者推导出了特定的收敛速率（指数级、多项式级或有限时间收敛），并证明了其收敛至单个临界点或极小值。
数值验证： 研究通过广泛的数值对比（图 1–15）表明，连续 IDE 模型能够紧密复制离散算法的动力学行为。模拟确认，随着学习率 $\alpha$ 的减小，连续模型与离散模型之间的吻合度不断提高，从而验证了一阶近似的准确性。

结果

凸收敛： 分析表明，尽管 AdaGrad 和 RMSProp 具有相似的结构形式，但它们的记忆核决定了不同的长期行为。RMSProp 的遗忘项允许目标间隙（objective gap）和记忆变量实现闭合的指数衰减。相比之下，AdaGrad 的累积记忆导致了一个有界但不消失的记忆项，尽管参数轨迹仍呈指数级收敛至极小值。
非凸平稳性： 连续模型成功展示了轨迹保持在紧致次水平集中并收敛至临界集。本文表明，在 PL 不等式下，保证收敛至极小值；而在 KL 不等式下，收敛速率取决于指数 $\sigma$ 。
模拟精度： 数值结果显示，在各种学习率和参数配置（ $\beta_1, \beta_2$ ）下，连续 IDE 能够准确捕捉离散算法中的振荡行为、瞬态峰值和稳定阶段。

意义与主张
本文声称，将自适应优化器建模为积分-微分方程提供了一个“新颖的视角”，能够捕捉到 ODE 无法表示的这些方法中固有的非局部动力学。通过在离散算法与连续动力系统之间架起桥梁，这种方法允许应用先进的数学工具（如李雅普诺夫分析和 IDE 理论）来理解自适应方法的稳定性与收敛性。

作者强调，其工作为理论理解提供了一个统一的框架，通过显式建模过去梯度对积分算子的影响，使其区别于以往基于 ODE 的研究。虽然目前的工作局限于确定性设置和简化的目标函数，但作者认为该框架为未来研究机器学习中的非局部拉格朗日量和哈密顿量形式奠定了基础。本文最后指出，积分-微分方法是推进自适应优化理论分析的一个有效且强大的工具，同时也承认未来仍需向随机设置和高维神经网络架构进行扩展。

类似论文