🤖 machine learning

Optimization as a Dynamical System: Generative Schedules from Latent ODEs

本文介绍了一种将训练动态建模为潜在常微分方程（latent ODE）的元学习方法，旨在生成最优且具有泛化能力的学习率调度策略，该方法不仅优于现有基准方法，而且能使模型在各种架构上都表现出更卓越的泛化性能。

原作者： Matt L. Sampson, Peter Melchior

发布于 2026-08-10

📖 1 分钟阅读☕ 轻松阅读

原作者： Matt L. Sampson, Peter Melchior

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图通过向一个机器人展示数千张照片来教它识别猫、狗和汽车。为了实现这一点，机器人使用了一种被称为“梯度下降”的数学过程，这就像一名登山者试图在雾气缭绕的山谷中寻找最低点。登山者向下迈步，其步伐受到脚下地面坡度感官的引导。控制每一步大小的设置被称为“学习率”。如果步子太小，登山者需要花很长时间才能到达谷底；如果步子太大，登山者可能会越过谷底并产生剧烈的震荡，永远无法稳定下来。

多年来，科学家们一直试图找出改变步长大小的最佳方式。他们通常会选择一个固定的计划，比如“从大步开始并逐渐减小步幅”，或者“先迈大步，然后小步，再变大步”。但这些计划就像是根据另一座山绘制的地图；它们无法对机器人当前正在行走的实际地形做出反应。这个领域的核心问题是：我们能否教会计算机实时观察机器人的进度，并立即决定下一刻的最佳步长，从而确保它能找到最深、最稳定的谷底？这就是寻找“最优学习率调度方案”的挑战。

这时，一种名为“基于潜在常微分方程（Latent ODEs）的生成式调度方案”的新方法出现了，它不将训练过程视为一个静态的清单，而是将其视为一个活生生的、呼吸着的动力系统。你可以把它想象成一位经验丰富的教练，观察着成千上ạch名运动员的训练。教练不会给每位运动员都制定通用的训练计划，而是观察运动员当前的步速和疲劳程度，然后预测如果现在改变节奏，他们在未来会如何表现。研究人员 Matt L. Wiemann 和 Peter Melchior 来自普林斯顿大学，他们构建了一个能够从过去的训练运行中学习，从而创造出“时间机器”式学习率的系统。

以下是他们的系统是如何运作的：首先，他们让计算机使用几种不同的标准步长计划进行模型训练。他们记录下一切：模型的误差（即模型犯下的“错误”）是如何下降的，准确率是如何上升的，以及当时的步长是多少。他们将这些数据输入到一个特殊的神经网络中，称为潜在常微分方程（Latent Ordinary Differential Equation, LODE）。你可以将 LODE 视为一个超级聪明的翻译官，它能将训练过程中杂乱、嘈杂的数据转化为平滑且隐藏的“状态”，从而捕捉到训练过程的本质。这就像是将一整部电影压缩成一个完美的摘要，告诉你正在讲述什么样的故事。

一旦 LODE 经过训练，它就会变成一个水晶球。当新的训练任务开始时，系统会观察模型进展的前几分钟。它会询问 LODE：“如果我们继续执行当前的计划，最终会走向何方？”然后，它会做一件聪明的事：它会创造出一系列“假设场景”。它会稍微调整当前的状态（就像想象运动员采取了略微不同的步幅），并模拟成千上万种可能的未来。对于每种未来，它都会预测最终得分。随后，它会选择那个能带来最佳最终结果的场景，并从中提取出实现该结果的具体步长计划。

结果令人瞩目。在图像识别任务（如识别衣服或复杂场景）甚至是一个预测故事中下一个词的语言模型测试中，这种新的调度器始终优于所有旧有的固定计划。它不仅仅是在微调数字；它创造了全新的、看起来奇特的调度方案，这些方案与研究人员尝试过的标准“阶梯式下降”或“余弦波”计划完全不同。事实上，论文显示，这些新的调度方案往往会将学习率推高到远高于传统安全规则所允许的水平，这实际上是让模型在进入平缓、稳定的谷底之前，先在崎岖的地形中“奔跑”一段。

为什么这很重要？因为使用这种方法训练的模型不仅得分略有提高，而且似乎找到了数学景观中的“平坦”区域。简单来说，平坦区域意味着如果向模型展示一张略有不同的图片或一段略有不同的句子，模型不太容易感到困惑。这就像是登山者发现了一个微小且危险的岩架，与发现一个宽阔平坦的高原之间的区别。论文表明，通过将训练过程理解为一个动力系统并预测长期未来，我们可以引导 AI 模型变得更加稳健和准确，而无需了解模型本身的内部秘密。作者发现，这种方法适用于各种类型的 AI，从简单的图像分类器到复杂的语言 Transformer，并且与其它先进方法相比，它不需要大量的额外计算资源。这是一种通过观察自身学习过程，来教计算机“如何学习”的方法。

技术摘要：将优化视为动力系统：基于潜在常微分方程（LODE）的生成式调度方案

问题陈述

深度学习高度依赖于高维、非凸优化中的梯度下降。虽然更新规则很简单，但确定最优学习率调度方案（ $\eta_t$ ）仍然是一个重大挑战。传统方法依赖于固定的参数化调度（例如常数、余弦衰减、阶梯衰减、OneCycle），或是在这些形式之上进行超参数搜索。然而，这些方法往往无法适应特定的训练动态，且缺乏关于针对特定模型-数据-任务组合究竟什么构成最优调度的基本理解。此外，诸如强化学习（RL）或超梯度下降（hypergradient descent）等先进方法会产生高昂的计算成本，需要网络参数信息（限制了可扩展性），或者无法考虑未来的性能轨迹。

方法论

作者提出了一种元学习方法，将训练过程视为一个动力系统。该方法的核心是一个**潜在常微分方程（Latent Ordinary Differential Equation, LODE）**模型，它通过从历史超参数搜索运行中学习训练演化的潜在表示来构建。

1. LODE 模型

该系统在实验中常用的日志时间序列指标上进行训练：训练损失（ $\ell$ ）、验证性能指标（ $\nu$ ）以及学习率（ $\eta$ ）。

编码（Encoding）： RNN 编码器将最近一段训练时间序列 $x(t) = (\ell, \nu, \eta)$ 映射为一个潜在向量 $z_0$ 。该向量代表了联合训练状态，无需访问网络的内部参数，从而使该方法能够扩展到任意规模的模型。
动力学（Dynamics）： 通过集成一个神经 ODE， $f_\theta(z, t)$ ，将潜在状态在时间上向前演化。对路径长度的 $\ell_2$ 惩罚鼓励了时间不变表示，确保相似的训练状态无论何时发生，都能映射到相似的潜在区域。
解码（Decoding）： 解码器从潜在状态重建预期的未来损失、验证性能和学习率轨迹。

2. 动态学习率调度器

调度器在训练新的“测试”模型期间运行，用于为接下来的 $\mu$ 步生成最优学习率。该过程包含五个步骤：

编码： 测试模型的当前训练历史被编码为一个潜在向量 $z_0$ 。
扰动： 通过向 $z_0$ 添加高斯噪声来创建一个潜在向量系综（ensemble）。
样本接受： 对每个潜在向量进行积分并解码。只有当其预测的损失轨迹保持在与当前测试模型损失的特定统计距离（2 个标准差）之内时，样本才会被接受，从而确保相关性。
目标调节： 对于被接受的样本，系统根据预测的学习率方案估计未来时界 $\Delta t$ 的验证性能。
系综预测： 最终的学习率通过对表现最好的系综成员（即具有最佳预测未来验证准确率的成员）的调度方案进行平均来计算。

核心贡献

自适应调度器： 引入了一种基于潜在 ODE 模型的学习率调度器，该调度器可以预测未来的训练损失、验证性能和学习率轨迹。
生成能力： 不同于仅从固定参数化调度中进行选择或应用微小乘性修正的方法，该方法可以生成专门的、非参数化的调度方案，这些方案可以显著偏离观察到的训练数据，以优化长期性能。
可扩展性与效率： 该方法与优化器无关，不需要网络参数信息，因此具有良好的可扩展性。与基于 RL 的调度器或超梯度下降相比，其计算效率更高。
通过平坦极小值实现泛化： 该方法在探索阶段始终将学习率推向传统的“稳定性边缘（edge of stability）”之外，从而允许优化器在损失景观中沉降到更平坦的极小值点，这与更好的泛化能力相关联。

实验结果

作者将 LODE 调度器与四种非自适应基准（常数、余弦-OneCycle、余弦衰减、阶梯衰减）、超梯度下降、基于 RL 的控制器以及无调度优化（schedule-free optimization）进行了对比评估。

数据集与模型： 实验在 Fashion-MNIST、CIFAR-100、ImageNet（使用 CNN、ResNet18 和 ResNet34）以及使用 Transformer 模型在短篇故事语料库上的下一标记预测任务上进行。
性能： LODE 调度器在所有模型架构和数据集上均优于所有基准方案。它实现了最高的测试准确率，并在不同随机种子下表现出一致的低方差。
- 在 CIFAR-100 (ResNet18) 上，LODE 达到了 74.9% 的准确率，而 OneCycle 为 74.0%，RL 控制器为 73.9%。
- 在 ImageNet (ResNet34) 上，LOME 达到了 74.5%，而 RL 控制器为 73.9%。
- 在 Transformer 任务上，LODE 达到了 59.8% 的下一标记预测准确率，超过了无调度方法（56.3%）及其他方法。
损失景观分析： 对 Hessian 最大特征值（ $\lambda_{max}$ ）的分析表明，使用 LODE 调度器训练的模型收敛到了显著更平坦的极小值点（例如，在 CIFAR-100 上，LODE 的 $\lambda_{max} \approx 0.62$ ，而 OneCycle 为 $1.22$），这表明其具有更优越的泛化特性。
计算成本： LODE 调度器的推理成本比简单的参数化调度高出约 25%，但显著低于超梯度下降或 RL 调度器。与 RL 方法不同，其成本不会随模型规模增加而增加。

重要性与主张

论文声称，通过将训练建模为动力系统，LODE 调度器可以识别训练的不同阶段（梯度收集、探索、收敛、过拟合），并据此调整学习率。

超越参数化形式： 该方法证明了最优调度方案不一定是平滑的参数函数；它们可能涉及传统调度器所忽略的剧烈转变和非单调行为。
稳定性边缘： 调度器有效地利用了在探索阶段超过传统“稳定性边缘”限制的学习率。这使得模型能够在收敛前遍历损失景观，寻找更大、更平坦的盆地，这种行为带来了更优的长期结果。
实用性： 该方法被呈现为一种实用的工具，可以叠加在现有的实验追踪平台（如 Weights & Biases, MLFlow）之上，通过利用现有的超参数搜索数据来生成卓越的调度方案，而无需进行大规模的新训练过程来训练元学习器。

作者总结道，他们的方法提供了一种计算高效、数值稳定且有效的方式，用于导航非凸损失景观，特别是在对于 Transformer 等复杂模型而言，其收益最为显著。