🔢 mathematics

Learning Gradient Flow: Using Equation Discovery to Accelerate Engineering Optimization

本文介绍了学习梯度流（Learned Gradient Flow, LGF）优化器，该优化器通过利用数据驱动的方程发现技术，从轨迹数据中学习连续时间动力学的代理模型，从而避免昂贵的目标函数与梯度评估，以此加速工程优化过程。

原作者： Grant Norman, Conor Rowan, Kurt Maute, Alireza Doostan

发布于 2026-06-11

📖 1 分钟阅读🧠 深度阅读

原作者： Grant Norman, Conor Rowan, Kurt Maute, Alireza Doostan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图在一个广阔且大雾弥漫的山谷中寻找最低点。你看不见谷底，因此必须通过双脚感受地面，以此判断向哪个方向倾斜。每走一步，你都必须停下来，仔细测量坡度，然后决定下一步往哪里走。这就是传统计算机优化工作的方式：它很精确，但极其缓慢，因为它必须一遍又一遍地进行这种繁重的“测量”工作。

这篇论文介绍了一种被称为**学习梯度流（Learned Gradient Flow, LGF）**的巧妙捷径。LGF 不再是每一步都测量坡度，而是让计算机学会去“预测”路径。

以下是其工作原理的拆解，通过简单的概念来理解：

1. “幽灵”路径

作者们意识到，当计算机尝试解决一个问题时，它所改变的变量（比如一座桥的形状或房间内的温度）会呈现出一种平滑且可预测的模式，非常类似于球从山上滚下的过程。这种运动被称为“梯度流（gradient flow）”。

LGF 方法并不需要计算每一毫秒的精确物理过程，它通过观察计算机采取的前几步动作，记录变量的变化轨迹。然后，它使用一种称为 SINDy（即稀疏非线性动力学识别）的数学技术，来寻找描述这种运动的简单数学规则。

这就像是在观察一名舞者完成舞步的前三步。一旦你看出了节奏，你就不再需要步步紧盯着她，就能预知她在五秒钟后的位置。

2. 代理模型

一旦计算机学会了这种“节奏”或规则，它就会创建一个代理模型（surrogate model）。这是一个轻量级、快速的版本，用来替代原有的复杂问题。

传统方式： 计算机求解复杂的物理方程（这是最耗时的部分）来寻找下一步。
LGF 方式： 计算机利用学到的简单规则，“快进”跳过许多步骤，而无需求解那些沉重的物理方程。

这就像是从原本必须一步步爬山，切换到了乘坐一条遵循相同路径的缆车，从而更快地到达下一个检查点。

3. 检查地图（计划性重训练）

当然，山谷的形状可能会发生变化，或者预测可能会出现轻微偏差。如果计算机只是盲目地一直猜测，它可能会迷失方向。

为了解决这个问题，LGF 方法采用了**计划性重训练（Scheduled Retraining）**策略。它按周期运行：

学习： 采取几次真实的、细致的步骤，以更新预测规则。
预测： 利用规则快速向前跳跃许多步。
检查： 停下来，走一步真实的步伐，看看预测是否正确，并根据需要更新规则。

这确保了计算机在不浪费时间测量每一寸旅程的情况下，依然能保持在正确的轨道上。

4. 处理大规模问题

有时，问题会变得非常复杂，涉及成千上万个变量同时移动（例如设计一个拥有数百万个微小零件的桥梁）。追踪所有这些变量会对计算机的内存造成巨大压力。

论文表明，即使在这些庞大的案例中，运动通常也会在低维空间内遵循一个简单的模式。这就像观察一群鸟：尽管有数百只鸟，但它们作为一个整体形状在协同移动。LGF 方法找到了这个简单的形状，预测了鸟群的走向，然后将其转化回单个鸟的位置。这节省了大量的计算能力。

他们测试了哪些内容？

作者在五个不同的工程和科学问题上测试了这种方法：

寻找材料属性： 通过观察温度数据来确定加热棒的导电性能。
拓扑优化： 设计桥梁或部件的最优结构。
热传导： 解决复杂的传热问题。
全波反演（Full Wave Inversion）： 用于地球物理学，通过分析波的传播来了解地下结构。
神经网络训练： 训练 AI 模型来解决物理问题（使用一种称为深度里茨法 Deep Ritz Method 的方法）。

结果

该方法的效果令人惊喜。在某些情况下，它将优化过程的速度提升了 200% 到 250%。这意味着计算机达到正确答案所需的时间仅为使用传统方法时的三分之一甚至四分之一。

然而，作者也警告说，你不能“快进”得过于激进。如果你试图在不进行检查的情况下跳跃得太远，预测就会变得不准确，计算机可能会迷失方向。你必须在“学习”与“预测”之间找到平衡。

总结

这篇论文表明，通过将优化问题视为动态系统（如球从山上滚下），并利用数据来学习“运动规则”，我们可以创建快速、轻量级的捷径。这些捷径通过跳过每一步中繁琐且昂贵的计算，使计算机能够更快地解决复杂的工程和科学问题。

技术摘要：通过方程发现学习梯度流

问题陈述

工程优化，特别是在涉及偏微分方程（PDE）和科学机器学习的领域中，经常面临高昂的计算成本。传统的基于梯度的优化方法（例如梯度下降、牛顿法、ADAM）在每次迭代时都需要重复评估目标函数及其梯度。在工程背景下，这些评估通常需要求解大规模 PDE 系统，使得优化过程在计算上变得极其昂贵。虽然已经提出了代理模型和“学习优化”（Learning to Optimize）框架来加速这些过程，但仍需要能够动态学习优化轨迹连续时间动力学的方法，以便在不牺牲收敛质量的前提下，绕过昂贵的梯度评估。

方法论：学习梯度流 (LGF)

作者提出了学习梯度流 (Learned Gradient Flow, LGF) 优化器，该框架将优化变量的演化视为一个动力系统。其核心前提是，随着优化器步长趋于零，离散更新规则会收敛为一种被称为“梯度流”的连续时间常微分方程（ODE）。

LGF 方法通过两个交替阶段运行：

数据生成阶段： 标准优化器（如梯度下降、牛顿法或 ADAM）运行固定次数的迭代（ $K$ 次），收集优化变量的历史记录（状态），并在特定情况下（如 ADAM）收集其梯度。
代理集成阶段： 利用收集到的轨迹数据，系统采用 SINDy（稀疏非线性动力学识别）来发现控制优化动力学的底层 ODE 的稀疏数据驱动模型。发现的模型 $\hat{f}(a)$ 作为真实梯度或更新方向的廉价评估代理。随后，通过对该代理 ODE 进行积分，在对应于 $M$ 次迭代（ $M > K$ ）的时间内向前演化优化变量，从而绕过此期间对真实目标函数/梯度的评估。

关键技术组件

方程发现： 该方法利用 SINDy 通过寻找一个稀疏系数矩阵 $\Xi$ ，使得 $\dot{A} \approx \Phi(A)\Xi$ ，来近似动力学 $\frac{da}{dt} = f(a)$ ，其中 $\Phi(A)$ 是应用于状态历史的候选函数库（例如多项式）。
对优化器的泛化：
- 梯度下降： 代理直接模拟梯度流 $\frac{da}{dt} = -\nabla z(a)$ 。
- 牛顿法： 代理模拟连续时间牛顿动力学 $\frac{da}{dt} = -(\nabla^2 z)^{-1}\nabla z$ ，仅依赖于状态历史而非显式的 Hessian 数据。
- ADAM： 作者构建了一个包含动量（ $m$ ）和方差（ $v$ ）历史变量的 ODE 系统。他们没有学习整个系统，而是使用了一种“部分已知”的方法，即通过 SINDy 学习昂贵的梯度项 $\nabla z(a)$ ，同时显式地积分其余的 ADAM 更新规则。
调度重训练： 为了解决代理精度随时间衰减的问题，该框架采用了外层循环。在集成代理 $M$ 步后，过程返回到真实的优化器以收集新的 $K$ 步历史记录，重建代理，并重复此过程。
降维： 对于高维问题（例如具有数千个变量的拓扑优化），该方法使用奇异值分解（SVD）将状态历史投影到低维潜在空间。动力学在降低后的空间中学习，然后被提升回原始空间，这显著降低了 SINDy 库构建的计算成本。

核心贡献

基于 SINDY 的代理模型： 提出使用基于 SINDy 的代理模型来模拟优化过程的连续时间动力学，有效地将优化轨迹转化为可学习的动力系统。
方法论扩展： 将该方程发现框架扩展到支持牛顿法和 ADAM 算法，包括一种建模 ADAM 历史相关更新的新颖方法。
实时实现： 开发了一个基于 PyTorch 的优化器，能够在训练过程中从优化轨迹数据实时构建 SINDy 模型。
经验验证： 在涵盖工程力学和科学机器学习的五个不同问题的数值示例上验证了该方法的有效性，包括反问题、结构拓扑优化以及神经网络训练（Deep Ritz 方法）。

结果

作者在五个数值示例上测试了 LGF 优化器，并将其与标准优化器进行了对比：

一维动态反问题： 使用梯度下降，LGF 实现了 200% 的加速（在每 30 次梯度评估中节省了 20 次），同时在恢复材料参数方面的精度与标准梯度下降相当。
三维拓扑优化： 在一个高维问题（13,824 个变量）中，作者利用降维技术将其转为二维潜在空间。通过 250% 的加速，生成的代理设计与标准梯度下降结果相比，相对误差为 $2.0 \times 10^{-4}$ 。
非线性热传导（牛顿法）： 该方法实现了 33% 的加速。代理解与真实的牛顿法无法区分，温度场的归一化差异为 $1.7 \times 10^{-13}$ 。
全波反演（ADAM）： 应用于一个具有挑战性的非凸地球物理反问题，LGF 结合 ADAM 实现了 50% 的加速，恢复慢度场的相对均方误差与标准 ADAM 相当（ $9 \times 10^{-4}$ 对比 $7 \times 10^{-4}$ ）。
Deep Ritz 方法： 在训练用于线性弹性的神经网络时，LGF 在全批次（full-batch）和微批次（mini-batch/随机）设置下均实现了 43% 的加速。最终能量值和位移场与标准 ADAM 非常接近。

作者指出，过度的加速（例如，相对于 $K$ 设置过大的 $M$ ）可能会导致发散或损失增加，强调了调整重训练间隔的重要性。

意义与主张

论文声称，Learned Gradient Flow 方法通过捕捉优化轨迹的关键特征，同时避免昂贵的物体函数及梯度评估，为加速工程优化提供了一条重要的途径。

其意义在于将动力系统理论（将优化视为一种流）与数据驱动方程发现（SINDy）相结合。作者认为，即使在复杂的、高维物理问题中，优化动力学通常也具有本质上低维且可预测的结构。通过学习这种结构，LGF 优化器可以作为一个“跳过”昂贵计算的代理。

论文也审慎地承认，该方法并非普遍适用，特别是在受约束优化场景中，非光滑行为（例如投影步骤）可能会破坏所学习 ODE 的光滑性假设。此外，作者强调，超参数（历史大小 $K$ 、重训练间隔 $M$ 、多项式阶数）的选择目前仍需要试错，并将这些选择的自动化确定确定为未来的主要研究方向。该方法并非旨在取代所有优化器，而是一种数据驱动的加速技术，它利用方程发现的表示能力来减少在特定、表现良好的优化景观中的计算开销。