🤖 machine learning

Adynamical systems view of training generativemodels and the memorization phenomenon

本文采用动力系统视角，利用随机梯度下降中的双时标动力学以及关于模型崩溃的最新成果，为生成模型中输出在训练期间长时间保持静态的记忆现象提供一种系统理论解释。

原作者： Siva Athreya, Chiranjib Bhattacharya, Vivek S. Borkar

发布于 2026-05-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Siva Athreya, Chiranjib Bhattacharya, Vivek S. Borkar

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用简单语言和创意类比对这篇论文的解读。

宏观图景：为何 AI 会“卡”在相同的想法上

想象你在教一个机器人画画。你希望它学会风景画的通用风格，从而创作出新的美丽风景。然而，你发现了一个奇怪的故障：过了一段时间，机器人不再创作新作品，而是连续数小时反复画同一棵树，或同一朵云。它“死记硬背”了某个特定输出，而不是学会了通用概念。

这篇论文解释了为什么会发生这种情况。作者认为，这不仅仅是代码中的漏洞，而是机器人学习方式的自然结果，特别是因为它学习时的步长速度。

他们将训练过程视为一个动态系统，而不是静态的数学问题——就像一颗球在崎岖的山坡上滚动。

核心概念：两种学习速度

作者提出，机器人的大脑（模型）包含两个以截然不同速度学习的部分。这就像一个背着沉重背包的徒步者：

快徒步者（“快”变量）： 这部分大脑学习迅速。就像徒步者的双腿，不断根据地形进行调整。
慢徒步者（“慢”变量）： 这部分学习非常缓慢。就像徒步者的背包，仅偶尔才会发生重量转移。

在现实世界中，“损失函数”（衡量机器人画作糟糕程度的指标）主要取决于快变量，而仅轻微依赖于慢变量。因此，快变量为了寻找好位置而飞速穿梭，而慢变量几乎纹丝不动。

“崩溃”现象：被困在坑里

首先，作者解释了一个更简单的问题，称为**“崩溃”**。

想象机器人试图找到山谷的最低点（最佳解决方案）。

理想情况： 如果机器人采取微小且不断缩小的步长（像一个谨慎的探险家），它最终会 settle 在山谷的最底部并停留在那里。
“崩溃”情况： 如果机器人采取恒定、稳定的步长（像一个以固定速度行走的人），它可能会冲过谷底，反弹回来，然后被困在一个小的局部凹陷中。

用论文的语言来说，如果机器人只是试图生成数据而没有“噪声”将其震松，它最终会崩溃成一个单一的、固定的输出。它不再是一个生成器，而变成了一个特定图像的记录仪。从数学上讲，这就像一颗球滚进一个坑里并永远停留在那里。

“死记硬背”现象：懒惰的振荡器

现在，这里有一个转折。作者解释说，死记硬背是“崩溃”与“漂移”的混合体。

因为机器人拥有两种不同的速度（快变量和慢变量）并且采取恒定步长，会发生一些有趣的事情：

快部分崩溃： 快变量迅速 settle 在一个局部凹陷中（一种特定的图像风格）。机器人开始反复输出该图像。这看起来像是“死记硬背”。
慢部分漂移： 然而，慢变量仍在移动，只是非常缓慢。它们正在缓慢地推动问题的“景观”。
跳跃： 最终，慢漂移将快变量推出当前的凹陷。机器人突然跳跃到另一个凹陷（另一张图像）并在那里停留很长时间。

类比： 想象一个弛豫振荡器（像萤火虫闪烁或心跳）。

机器人长时间在一个地方“睡觉”（死记硬背一张图像）。
然后，压力缓慢积累，直到它“跳跃”到一个新位置。
它停留在那里，再次睡觉，然后重复。

这就是死记硬背：机器人并非永远卡在一张图像上；它会在很长一段时间内卡在一张图像上，然后切换到另一张，再切换到下一张。这是一个间歇性的循环：陷入困境，然后缓慢漂移离开。

为什么步长很重要？

论文强调，这种情况之所以发生， specifically 是因为学习算法使用了恒定步长（固定速度）。

小步长： 如果机器人采取微小步长，它会平稳地 settle 下来，学会通用形状而不会陷入循环。
恒定步长： 如果机器人持续采取相同大小的步长，就会产生一场“拔河”。快变量想要 settle，但恒定的动量不断推动它们。
大步长（噪声）： 作者指出，如果你将步长变得非常大，就会引入过多的“噪声”（震动），导致机器人根本无法 settle 进死记硬背的循环中。它跳动得太频繁，无法被困住。这解释了为什么某些使用大步长的训练方法能避免死记硬背。

作者论点总结

高维产生两种速度： 由于 AI 模型拥有大量参数，有些学习快，有些学习慢。
恒定步长产生循环： 使用固定的学习率会阻止系统完美 settle。
崩溃是基础： 如果没有噪声，系统只会冻结在一个输出上。
死记硬背是“漂移式崩溃”： 因为慢变量持续移动，系统会在某个输出上卡住一段时间，然后缓慢漂移到新的输出，从而形成重复循环。

这篇论文并未立即提供一种修复此问题的新工具，但它提供了一张数学地图，解释了为什么会发生这种情况。它告诉我们，死记硬背并非随机错误；它是一个以固定速度在两种不同速度下移动的系统所表现出的可预测行为。

技术摘要：生成模型训练与记忆现象的动力系统视角

问题陈述
本文探讨了生成模型（特别是扩散模型）中的“记忆”现象。经验表明，在训练过程中，这些模型偶尔会进入持续较长时间的阶段，反复生成相同或高度相似的样本，而非产生多样化的输出。虽然现有文献常通过静态统计力学或损失景观热力学来分析这一现象，但本研究提出了一个动力系统视角。作者认为，记忆不仅仅是损失景观的静态属性，而是训练算法时间演化的涌现行为，具体由随机梯度下降（SGD）中恒定步长的使用以及马尔可夫噪声的存在所驱动。

方法论与框架
作者构建了一个基于三个核心组件的理论框架：

基于 Austin 定理的双时标动力学：
借鉴 Austin [2016] 的工作，作者指出，在具有 Lipschitz 约束的高维参数空间中，损失函数对一部分参数表现出强依赖性，而对其余参数表现出弱依赖性。这促使作者建立了一个风格化的模型，其中目标函数 $F(z)$ （ $z=(x,y)$ ）的形式为 $F(z) = f(x, \epsilon y)$ ，其中 $0 < \epsilon \ll 1$ 。这种结构在 SGD 更新中自然地诱导出两个截然不同的时间尺度： $x$ 的快速尺度和 $y$ 的慢速尺度。
带有马尔可夫噪声的 SGD：
训练算法被建模为带有马尔可夫噪声的随机逼近方案。噪声 $\{Z_n\}$ 源于生成模型本身（例如扩散过程），而该模型正由参数进行调节。该噪声的转移概率受当前参数的调制。作者利用带有马尔可夫噪声的随机逼近理论（Benveniste 等人 [1990]；Borkar [2025c]）来分析该系统，指出噪声在比参数的“算法”时间尺度快得多的“自然”时间尺度上演化。
作为吸收马尔可夫链的坍塌：
本文利用 Borkar [2025a] 的结果正式定义了“坍塌”。在生成模型设定中，模型生成的概率测度序列构成一个时间齐次马尔可夫链。在某些条件下（特别是当混合参数 $a=0$ 时），该链几乎必然收敛到集中在某个随机点上的狄拉克测度。这种渐近坍塌到单一输出的现象，即为坍塌现象的数学定义。

主要贡献与结果

步长的区分：
本文对比了导致收敛的递减步长 SGD 与本文重点关注的恒定步长 SGD。在递减步长机制下，系统收敛到全局最小值，导致纯粹的坍塌（定理 7）。然而，作者认为，实际中的记忆现象特定于恒定步长 SGD。
恒定步长 SGD 的渐近行为：
利用 Azizian 等人 [2024] 和 Hwang [1981] 的最新成果，作者分析了恒定步长 SGD 的极限分布。他们确立：
- 迭代点集中在“大偏差率函数”（一种能量泛函）的极小值上，这不一定与损失函数的全局最小值重合。
- 平稳分布倾向于“更平坦”的极小值（即率函数 Hessian 矩阵行列式更小的极小值），这解释了 SGD 对更简单极小值的经验偏好。
- 系统的行为类似于扩散过程，其中步长充当温度参数。
记忆机制（定理 11）：
核心结果是将记忆解释为一种间歇性坍塌。
- 系统运行在两个时间尺度上：快变量 $x$ 跟踪快动力学的局部极小值 $\lambda(y)$ ，而慢变量 $y$ 发生漂移。
- 由于步长是恒定的，系统不会收敛到单一点。相反，慢变量 $y$ 发生漂移，导致快变量 $x$ 跟踪一个移动的极小值。
- 当慢变量 $y$ 停留在快动力学具有稳定吸引子的区域时，系统表现出“记忆”（重复输出）。
- 然而，由于 $y$ 持续漂移（在噪声和慢时间尺度的辅助下），系统最终会离开该区域，导致向不同吸引子的转变。
- 这产生了“弛豫振荡”行为：长时间的重复（记忆）被相对快速的向新状态的转变所打断。这将记忆与标准 Freidlin-Wentzell 理论中均衡态之间罕见的、由噪声驱动的跳跃区分开来；在此，转变是由慢变量的确定性漂移驱动的。
噪声与步长的作用：
作者解释说，较大的步长会增加迭代中的噪声水平，从而破坏记忆所需的稳定跟踪，进而抑制该现象。这与经验观察（例如 Wu 等人 [2025]）一致，即大步长可以缓解记忆现象。

意义与主张
本文声称提供了记忆现象的“系统理论解释”，将焦点从静态损失景观分析转移到学习算法的时间动力学上。

统一视角： 它统一了“坍塌”和“记忆”现象，认为记忆本质上是一种受分数学习方案和参数慢漂移调制的坍塌现象，使其表现为间歇性而非永久性。
涌现的时间尺度： 它强调高维生成模型训练中的双时间尺度是问题结构（通过 Austin 定理）和恒定步长的涌现属性，而非人为强加的。
适度的范围： 作者承认其模型涉及理想化假设，例如假设生成的测度构成条件重心，并使用风格化的双尺度损失函数。他们指出，在现实中，近似误差充当持续的外部噪声，这意味着记忆通常是坍塌的“扭曲”，而非纯粹的狄拉克 $\delta$ 集中。因此，记忆表现为对过去输出噪声版本的偏差，而非精确复制。

这项工作并未提出新的实验算法或具体的工程修复方案，而是提供了一个理论透镜，以理解为何记忆会在恒定步长 SGD 中发生，以及它如何与高维随机逼近的更广泛动力学相关联。