🤖 machine learning

From Non-Convex Self-Concordant Regularization to Scalable Quasi-Newton Training of PINNs

本文介绍了 SCORE，一种受自共轭性启发的新型拟牛顿法，它利用减量耦合的移位割线几何结构来稳定训练，并在无需显式构建海森矩阵的情况下，在复杂的偏微分方程上实现更低的误差。

原作者： Chenhao Si, Kang An, Shiqian Ma, Ming Yan

发布于 2026-08-06

📖 1 分钟阅读☕ 轻松阅读

原作者： Chenhao Si, Kang An, Shiqian Ma, Ming Yan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

教授计算机解开自然之谜的艺术

想象一下，你正试图教计算机预测一滴墨水如何在水中扩散，或者一道冲击波如何在气体中激起涟漪。在科学领域，这些被称为偏微分方程（PDEs），它们是自然界用来运行宇宙的数学规则手册。几十年来，科学家们一直使用“物理信息神经网络”（PINNs）来解决这些谜题。你可以把 PINN 想象成一个超级聪明的学生，他不仅记住了答案，而且在尝试猜测解的过程中，还被迫阅读了那本“规则手册”（物理方程）。这个学生的成绩取决于他的猜测与规则的契合程度。

然而，这里有一个陷阱。随着学生越来越接近完美答案，评分变得异常棘手。“规则”变得如此敏感，以至于学生猜测中的微小错误都会导致分数出现巨大且混乱的波动。这就像是在摇晃的船上试图让一支铅笔在笔尖上保持平衡；标准的学习方法（优化器）往往会陷入僵局或选择放弃，无法找到那最终的、完美的平衡。为了获得真正精确的解，计算机需要一种理解问题“难度形状”的方法，而不仅仅是知道移动的方向。这就是“曲率”概念引入的地方——将问题的景观想象成一个凹凸不平的地形，其中有些山丘陡峭，有些则平坦，计算机需要准确知道如何迈步而不至于跌落。

论文的故事：一种新的走钢丝方式

在本文中，作者介绍了一种名为 SCORE（具有偏移割线几何结构的自共轭拟牛顿法）的新型训练方法。他们的主要发现是，通过改变计算机测量问题景观“凹凸程度”的方式，他们可以引导神经网络达到比以往更高的精度，尤其是在解已经非常接近完美的时候。

作者认为，标准方法在训练的最后阶段经常失败，因为它们试图使用可能具有“不定性”（令人困惑的平坦甚至颠倒）或“近奇异性”（如此平坦以至于看起来像悬崖）的原始、未经处理的数据来测量地形。他们明确排除了仅仅通过减小步长或使用标准“二阶”技巧就能解决问题的观点。相反，他们建议计算机需要一种“偏移”的视角。

以下是 SCORE 的工作原理，使用了一个生动的类比：

想象计算机是一名徒步旅行者，试图寻找一个雾气缭绕、蜿蜒曲折的山谷的最底部（即完美解）。

旧方法 (BFGS/SSBroyden)： 徒步旅行者观察脚下立即接触的地面以及刚刚离开的位置，以此来猜测坡度。但有时，由于复杂的物理特性，地面形状变得非常诡异，导致这种猜测是错误的，或者地面过于平坦，导致徒步旅行者不知道该往哪儿走。徒步旅行者可能会采取极其谨慎的小步，或者感到困惑并停下脚步。
SCORE 方法： 作者提出了一个聪明的技巧。在徒步旅行者迈出一步之前，他们想象地面被轻微地“抬起”或“偏移”了一点。这就像是在徒步旅行者的脚下垫了一层薄薄的、隐形的床垫。这种“偏移”保证了即使在真实的地面呈现出令人困惑的平坦时，地面看起来也始终是一个温和的下坡路。
神奇的联系： 这个“床垫”的大小并非随机确定的。它是根据计算机计算出的一个特定的“减量”（decrement）数值自动调整的。这个数值告诉计算机它对当前地图的信心程度。
- 如果地图不稳定（高减量），床垫就会变厚，使路径更安全，步幅更小。
- 如果地图清晰（低减量），床垫就会变薄，允许徒步旅行者迈出更大、更自信的步伐。

论文表明，这种“偏移”视角允许计算机在标准方法停滞不前时继续精炼其答案。他们在四种不同的“自然谜题”上进行了测试：

粘性 Burgers 方程： 一个关于流体如何流动和混合的问题。
Kuramoto–Sivashinsky 方程： 一个模拟模式如何形成和破碎（如火焰或化学反应）的混沌系统。
Korteweg–de Vries (KdV) 方程： 一个关于波浪如何传播和相互作用的问题，类似于海啸或水波。
复 Ginzburg–Landau 方程： 一个涉及复杂振荡模式的二维问题，常用于模拟超导体或流体湍流。

在所有这些测试中，SCORE 始终达到了比标准方法（BFGS 和自缩放 Broyden）更低的误差率。例如，在 Burgers 方程上，标准方法的误差约为 $1.40 \times 10^{-8}$ ，而 SCORE 将其降低到了 $2.25 \times 10^{-9}$ ——这是一个显著的精度提升。作者指出，这种改进是在不减慢计算机速度的情况下实现的；这个“床垫”技巧几乎不会增加额外的计算时间。

论文指出，成功的秘诀在于 SCORE 不仅仅是观察原始数据；它使用了一种“相对于曲率”的视角。它根据训练过程中的特定时刻来调整其对问题形状的理解。通过将“偏移”（安全床垫）直接与“减量”（信心计）联系起来，该方法创建了一个自我修正的循环。作者通过这些模拟证明，这种方法允许神经网络榨取其他方法无法捕捉到的最后一点精度，将一个“足够好”的解转化为一个高度精确的解。

简而言之，论文发现，当教计算机解决最难的数学问题时，你不仅需要告诉它要小心行走；你还需要给它一种即使在地面试图欺骗它时也能看清地面形状的方法。SCORE 提供了这种清晰的视野，确保计算机不仅仅停留在“接近正确”，而是不断前进，直到达到“完美”。

技术摘要：从非凸自共轭正则化到可扩展的 PINN 拟牛顿训练

1. 问题陈述

物理信息神经网络（PINNs）是一种通过最小化由 PDE、边界条件和初始条件项组成的残差目标函数来求解偏微分方程（PDEs）的无网格框架。虽然像 Adam 这样的一阶方法在训练早期阶段非常鲁棒，但当需要高精度解时，它们往往会陷入停滞。在这一阶段，残差目标通常表现出不定、近奇异且缩放极差的局部曲率。

这种病态条件性源于 PINN 的 Hessian 矩阵是由于一个非负高斯-牛顿项与一个具有正负号变化的残差相关项之和。标准的拟牛化方法（如 BFGS、自标度 Broyden）通过连续梯度差来推断曲率。当观测到的割线曲率微弱或是不定的时，学习到的度量变得不可靠，迫使优化器依赖于保守的线搜索、阻尼或跳过更新。这限制了在“小残差”阶段所能达到的精度，而在该阶段，进一步的进展取决于提取稳定的曲率信息而非粗略的下降。

2. 方法论：SCORE 算法

作者提出了 SCORE（具有减量耦合偏移割线几何的自共轭启发式拟牛顿法），这是一种旨在稳定 PINN 后期精细化的无 Hessian 优化器。该方法集成了三个核心概念：

2.1. 弱自共轭与偏移度量

为了解决 PINN Hessian 矩阵的不定性问题，该方法采用了弱自共轭视角。它不依赖于原始 Hessian，而是利用偏移局部度量 $M_\mu(\theta) = \nabla^2 f(\theta) + \mu I$ ，其中 $\mu \geq 0$ 作为正曲率底限。这种偏移确保了局部度量是正定的，且不会改变底层的优化目标。

2.2. 偏移割线几何

SCORE 通过自标度 Broyden（SSBroyden）方法的割线更新机制来表示这种正向偏移度量。

令 $s_k = \theta_{k+1} - \theta_k$ 以及 $y_k = \nabla f(\theta_{k+1}) - \nabla f(\theta_k)$ 为标准的步长和梯度位移。
该方法引入了偏移梯度位移： $\tilde{y}_k = y_k + \mu_k s_k$ 。
组合对 $(s_k, \tilde{y}_k)$ 代表了平均偏移度量沿接受步长的作用。
逆 Hessian 近似 $H_{k+1}$ 使用 $\tilde{y}_k$ 代替 $y_k$ 进行更新。这使得优化器能够在不显式构建 Hessian 或 Hessian-向量积的情况下，学习到正向的局部几何结构。

2.3. 减量耦合控制

SCORE 的一个显著特征是，单个拟牛顿减量（ $\lambda_k$ ）共同控制着步长选择和曲率偏移：

减量计算： $\lambda_k = \sqrt{\max\{g_k^\top H_k g_k, 0\}}$ ，用于衡量在学习到的度量下的建议步长。
自适应偏移： 偏移量的大小由 $\mu_k = \text{clip}(\eta \lambda_k, [\mu_{\min}, \mu_{\max}])$ 确定。较大的减量（表明在当前度量下存在较大步长）会触发更强的曲率偏移，以稳定下一次更新。
候选步长： 受自共轭阻尼步长规则启发，提出的候选步长为 $\alpha_k^{sc} = (1 + \lambda_k)^{-1}$ 。
接受逻辑： 如果满足强 Wolfe 条件，则接受该候选步长。若被拒绝，则退回到标准的 Wolfe 线搜索。

这种耦合确保了用于构建下一个度量的稳定性直接与当前度量所采取的步长相关联。

3. 核心贡献

几何解释： 本文建立了 PINN 的残差最小二乘几何与自标度 Broyden 精细化过程中学习到的曲率之间的联系，并指出了稳定代表割线更新的局部度量的必要性。
弱自共轭框架： 引入了基于弱自共轭的局部度量视角，用于实现高精度 PINN 精细化，为非凸目标中的曲率稳定化和基于减量的步长控制提供了统一的基础。
SCORE 算法： 在 SSBroyden 框架内开发了该视角的具有可扩展性的、无 Hessian 实现。该方法使用偏移割线位移来表示正向局部几何，并将偏移量的大小与拟牛顿减量耦合。
实验验证： 在四个非线性 PDE 基准测试（粘性 Burgers 方程、Kuramoto–Sivashinsky 方程、Korteweg–de Vries 方程和复杂 Ginzburg–Landau 方程）上对该方法进行了评估。

4. 实验结果

作者在四个 PDE 基准测试中，使用相同的网络架构、初始化和训练协议（Adam 热启动后接拟牛顿精细化），将 SCORE 与标准 BFGS 和自标度 Broyden（SSBroyden）基准进行了对比评估。

粘性 Burgers 方程： SCORE 实现了 $2.25 \times 10^{-9}$ 的相对 $L_2$ 误差，显著优于 SSBroyden（ $1.40 \times 10^{-8}$ ）和 BFGS（ $1.56 \times 10^{-8}$ ）。消融研究证实，偏移割线位移和自共轭候选步长测试对性能的提升具有互补作用。
Kuramoto–Sivashinsky 方程： 在这个混沌的时变问题中，SCORE 在基准方法停滞的后期时间窗口内仍能维持误差下降，实现了 $1.84 \times 10^{-4}$ 的相对 $L_2$ 误差，而 BFGS 为 $5.59 \times 10^{-4}$ ，SSBroyden 为 $7.95 \times 10^{-4}$ 。
Korteweg–de Vries (KdV) 方程： SCORE 在复杂的波相互作用区域展现了卓越的残差控制能力，最终误差达到 $3.57 \times 10^{-7}$ ，而 BFGS 为 $1.49 \times 10^{-6}$ 。
复杂 Ginzburg–Landau 方程： 在二维复数值设定下，SCORE 在实部和虚部均取得了最低误差，其实部的相对 $L_2$ 误差为 $8.42 \times 10^{-4}$ ，而基准方法均超过了 $2.1 \times 10^{-3}$ 。

在所有基准测试中，SCORE 始终能获得更低的最终误差，同时保持与基准方法相当的计算开销（每个精细化块的墙钟时间）。

5. 重要性与主张

本文声称 SCORE 通过解决在小残差、高度病态条件下优化的特定挑战，提高了 PINN 训练的最终精度。

曲率相关优化： 作者认为，在 PINN 优化的后期阶段，进展受限于能否从微妙的局部损失几何中提取可靠的曲率信息，而非粗略的下降。SCORE 通过采用曲率相关视角（弱自共轭）而非最坏情况下的 Lipschitz 假设来解决这一问题。
无需修改目标的稳定性： 该方法通过偏移割线几何来稳定学习到的曲率模型，而无需修改底层的 PINN 目标函数或引入外部惩罚项。
可扩展性： 通过避免显式的 Hessian 构建，并使用单一减量来协调步长选择和度量稳定化，SCORE 为高精度精细化提供了一条可扩展的路径，适用于科学机器学习领域。

作者总结道，这项工作指向了一类专门为物理信息目标设计的二阶方法，其中步长和度量更新受 PDE 损失本身的几何结构所支配。