🔬 physics

An Optimisation Framework for the Well-Conditioned Training of Physics-Informed Neural Networks

该论文介绍了 DSGNAR，这是一个可扩展的二阶优化框架，它克服了物理信息神经网络（PINNs）中病态损失函数的难题，在多种偏微分方程问题上实现了前所未有的精度和速度，其表现往往比现有最先进技术高出数个数量级。

原作者： Joseph Webb, Sadok Jerad, Coralia Cartis

发布于 2026-07-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Joseph Webb, Sadok Jerad, Coralia Cartis

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大局观：教机器人解决物理谜题

想象一下，你有一个机器人（神经网络），你想让它解决复杂的物理谜题，比如预测水如何在管道中流动，或者热量如何通过金属板扩散。这些谜题由被称为偏微分方程 (PDEs) 的数学规则来描述。

通常，我们通过向机器人展示成千上万个例子（数据）来教它学习。但在物理学领域，我们往往没有足够的数据。相反，我们告诉机器人游戏的规则（方程），并让它自己去寻找解。这被称为物理信息神经网络 (PINN)。

问题所在：
本文认为，虽然这个想法很棒，但目前的机器人在解决这些谜题时表现得很糟糕。它们容易陷入困境，或者给出的答案很粗糙。作者认为，问题不在于机器人的“大脑”（网络架构），而在于训练方法（优化器）。

把训练过程想象成一名徒步旅行者，试图在一个广阔、多雾的山谷（“损失景观”）中寻找最低点。

旧的方法就像是一个迈着小心翼翼、犹豫不决步伐的徒步旅行者。他们会被困在小的凹陷处（局部极小值），或者因为地面湿滑且不平整（病态/ill-conditioned）而从山的错误一侧滑落。
结果： 徒步旅行者永远无法到达真正的谷底，导致解的精度不高。

解决方案：DSGNAR

作者引入了一种新的训练框架，称为 DSGNAR（具有自适应比例的双重草图高斯-牛顿法）。这就像是给了徒步旅行者一台高科技无人机、一张完美的地图和一个聪明的向导。

以下是它的工作原理，分为三个简单的概念：

1. “无人机”视角（双重草图高斯-牛顿法）

为了找到山谷的底部，徒步旅行者需要了解地形的形状。在数学中，这意味着计算一个庞大且复杂的矩阵。对于大型问题，这个矩阵如此巨大，以至于会撑爆徒步旅行者的计算机（内存溢出）。

创新之处： DSGNAR 不去绘制整张地图，而是使用“无人机”从两个角度同时拍摄智能、压缩后的地形快照。
- 角度 1（行）： 它观察方程并对其进行压缩。
- 角度 2（列）： 它观察变量并对其进行压缩。
结果： 它创建了一张微小但易于处理的地图，同时保留了所有重要的细节。这使得机器人能够清晰地“看到”问题的形状，而不需要超级计算机。这就像是通过无人机拍摄城市的高分辨率照片，而不是试图走遍每一条街道来了解布局。

2. “智能向导”（自适应比例）

一旦徒步旅行者有了地图，他们就需要决定每一步迈多大。

旧的方法是僵化的。它们要么走得极慢（太迟钝），要么步子迈得太大（然后掉下悬崖）。它们经常会对应用多少“摩擦力”（正则化）感到困惑，以防止徒步旅行者滑倒。
创新之处： DSGNAR 使用了一个“智能向导”，不断检查一个被称为比例 (Ratio) 的特定指标。
- 向导会问：“我们刚刚迈出的这一步是真的让我们离目标更近了，还是仅仅在瞎猜？”
- 阶段 1（准备阶段）： 起初，向导会让徒步旅行者采取非常谨慎的步伐。目标不是冲向谷底，而是找到一个稳定、平坦的区域，让地面变得坚实。这解决了问题中“湿滑”的特性。
- 阶段 2（冲刺阶段）： 一旦地面变得稳定，向导就会切换策略。它会说：“好了，地面很稳固了。现在，让我们向谷底冲刺吧！”

这种两阶段方法防止了机器人盲目冲向一个糟糕的解。它确保机器人在尝试激进地最小化误差之前，先找到一个“条件良好”（安全）的区域。

3. “众包”（密集采样）

通常，PINN 只检查几个随机点来查看它们是否正确解决了谜题。这就像只通过检查三个城市的天气来预测整个国家的降水情况。

创新之处： 由于 DSGNAR 非常高效（得益于“无人机”视角），它可以同时检查数百万个点。
结果： 它不需要去猜测谜题中棘手的部分在哪里。它会检查每一个地方。如果流体流动中出现了剧烈的冲击波，机器人能立即发现，因为它是在观察全局，而不仅仅是看几个点。

他们取得了什么成就？

论文在多种困难的物理问题上测试了这种新方法：

Burgers 方程： 一个经典的流体冲击测试。新方法的准确度比之前的最佳方法高出 100,000 倍。
高维 Poisson 方程： 一个 10 维的问题（想象一个有 10 个面的立方体）。传统计算机无法解决这个问题，但新方法以惊人的精度解决了它。
Navier–Stokes 方程： 描述复杂流体流动（如机翼周围的空气）的方程。他们比以前更快、更准确地解决了它。

“神奇”数字：

在双精度 (Double Precision) 下（高精度），他们达到的误差极小，在实际应用中几乎可以忽略不计（例如 $10^{-14}$ ）。
在单精度 (Single Precision) 下（较低精度，更高速度），他们在不到 10 秒钟的时间内解决了一个复杂的流体问题，其精度足以媲美运行缓慢的旧方法。

核心总结

论文声称，物理信息神经网络之所以至今还不完美，并不是因为 AI “不够聪明”，而是因为训练方法太笨拙了。

通过使用压缩地图（草图法）来清晰地观察问题，并使用智能向导（自适应比例）来明确何时该谨慎、何时该激进，他们创造了一个既拥有超级计算机般的精度，又具备现代 AI 般速度的系统。他们不仅仅是调整了参数，而是改变了机器人学习的策略。

技术摘要：一种用于物理信息神经网络良态训练的优化框架

1. 问题陈述

物理信息神经网络（PINNs）已成为求解偏微分方程（PDEs）的一种无网格方法，在处理复杂几何形状和高维问题方面具有优势。然而，尽管具有潜力，但 PINNs 仍难以达到经典数值求解器的精度。主要瓶颈被确定不在于缺乏数据或模型容量，而在于由严重的病态条件化损失景观（ill-conditioned loss landscape）引起的优化问题。

标准的阶优化器（如 Adam）对于追求将残差推向机器精度极限的 PINN 高精度需求而言往往是不够的。虽然研究者已经探索了二阶方法（如 BFGS、KFAC、Gauss–Newton），但这些方法面临显著挑战：

内存与成本： 对于具有大量配置点（ $N$ ）和参数（ $d_\theta$ ）的问题，存储或计算完整的 Hessian 或 Gauss–Newton 矩阵（ $J^T J$ ）是不可行的。
病态条件化： 损失景观是非凸的，且对正则化高度敏感。传统的控制步长策略（通过置信域半径 $\Delta$ 或正则化参数 $\lambda$ ）往往无法有效地导航该景观，导致过早收敛或不稳定。
残差选择： 现有方法通常在“残差选择问题”上表现不佳，即配置点的放置方式会显著影响性能。

2. 方法论：DSGNAR

作者提出了 DSGNAR（双重草图高斯-牛顿法结合自适应比例），这是一种可扩展的二阶优化框架，旨在直接应对病态条件化问题。该方法建立在两个核心支柱之上：双重草图高斯-牛顿模型和基于自适应比例的新型步长选择策略。

2.1. 双重草图高斯-牛顿模型

为了避免构建完整高斯-牛顿矩阵的高昂成本，DSGNAR 利用随机线性代数技术构建了一个小型、显式的雅可比矩阵近似。

行草图（CountSketch）： 残差维度（ $N$ ）使用 CountSketch 进行压缩。这种线性、非可逆的操作将残差聚合到较少的桶（ $s$ ）中。这实现了廉价的密集残差采样，其中 PDE 的重要区域会自然地主导草图，从而有效地平均掉噪声，消除了对手动配置点选择的需求。
列草图（SRCT）： 参数维度（ $d_\theta$ ）使用子采样随机余弦变换（SRCT）进行压缩。与行草图不同，列草图必须是一个近等距映射，以便计算出的步长能够忠实地“提升”回全参数空间。SRCT 提供了快速傅里叶变换（ $O(d_\theta \log d_\theta)$ ）级别的计算效率，同时保留了奇异值。
结果： 一个小的、方阵形式的草图雅可比矩阵 $\tilde{J} \in \mathbb{R}^{s \times s}$ （其中 $s \ll N, d_\theta$ ）。该矩阵足够小，可以廉价地进行奇异值分解（SVD）。SVD 使得在任何正则化参数 $\lambda$ 下都能快速计算 Levenberg–Marquardt 步长，而无需重新求解线性系统。

2.2. 自适应比例与两阶段优化

DSGNAR 不通过手动调节 $\lambda$ 或 $\Delta$ ，而是通过下降比例 $\varrho$ 来控制优化轨迹， $\varrho$ 定义为实际目标函数减少量与预测减少量的比值。

“条件化优先”原则： 作者认为，PINN 的精度上限取决于实现目标减少量所需的有效正则化程度。一个在早期阶段能有效降低目标的“成功”步长，如果问题仍处于病态状态，可能会导致糟糕的解。
两阶段策略：
1. 第一阶段（探索）： 使用保守的目标比例（ $\varrho_{\text{Stage 1}} \le 0.2$ ）。优化器优先寻找一个参数空间区域，在该区域所需的正则化 $\lambda$ 最小。这一阶段通过跨越多个数量级降低 $\lambda$ ，有效地对问题进行“条件化”。
2. 第二阶段（下降）： 一旦 $\lambda$ 触底（通过对数线性拟合检测），则提高目标比例（ $\varrho_{\text{Stage 2}} \ge 0.5$ ）。优化器随后在第一阶段找到的良态区域内，积极地向极小值下降。
步长选择： 算法探测一组按几何级数排列的置信域半径，利用预计算的 SVD 计算相应的步长和比例，并通过插值找到实现当前目标比例的步长。

2.3. 支持机制

自动重加权： 一种自适应权重方案（ $\text{UpdateWeights}$ ）平衡不同 PDE 条件（例如动力学与边界条件）的贡献，确保残差在草图处理过程中保持在可比的尺度上。
混合精度： 为了防止由于初始化较差导致双精度运算在早期发生发散，该框架在前十次迭代中运行单精度，随后切换到双精度。

3. 核心贡献

“条件化优先”的优化哲学： 本文引入了一种规则，即步长选择由目标下降比例驱动，而非直接控制 $\lambda$ 或 $\Delta$ 。这优先考虑在进行积极下降之前找到良态区域。
双重草图高斯-牛顿法： 一种新颖的方法，通过 CountSketch（行）和 SRCT（列）显式构建草图雅可比矩阵。这允许对残差进行密集采样，并实现高效的基于 SVD 的步长计算，绕过了无矩阵方法的内存瓶颈。
鲁棒性与可扩展性： 该框架被证明对架构选择（MLP, SIREN, SPINN, GaborNet）、算术精度（单/双精度）以及初始超参数具有鲁棒性。
最先进的性能： 该方法在多种 PDE 任务中实现了前所未有的精度和速度。

4. 实验结果

该框架在包括非线性、混沌、多尺度、高维和纳维-斯托克斯方程在内的综合套件上进行了评估。关键结果包括：

Burgers 方程： 在双精度下实现了 $7.97 \times 10^{-14}$ 的相对 $\ell_2$ 误差（346.1 秒），比现有最先进结果提高了五个数量级。在单精度下，不到 10 秒即可达到 $4.75 \times 10^{-7}$ 。
Kuramoto–Sivashinsky 方程： 以 $5.12 \times 10^{-7}$ 的误差解决了混沌动力学问题，显著优于以往的基准测试。
高维 Poisson 方程 (10D)： 实现了 $5.96 \times 10^{-12}$ 的误差，比现有方法提高了八个数量级。
Navier–Stokes (顶盖驱动流)： 在 402.9 秒内解决了耦合系统，速度误差为 $1.13 \times 10^{-4}$ 。
精度效率： 结果表明，单精度通常足以满足高精度 PINN 解的需求，这提供了一个在不牺牲达到近乎机器精度极限能力的前提下，更具成本效益的操作点。

5. 意义与主张

论文声称 DSGNAR 代表了 PINN 实际应用的一次重大飞跃。通过将训练过程重新定义为条件化问题而非简单的最小化任务，并利用随机线性代数使二阶方法具备可扩展性，该框架：

克服了病态条件化障碍： 它直接解决了阻碍 PINN 与经典求解器抗衡的主要障碍。
交付了经典求解器级的精度： 它证明了 PINNs 可以达到低至 $3 \times 10^{-16}$ （双精度）的相对误差，足以媲美传统的数值方法。
提供了一条实用路径： 通过在草图规模与计算成本之间进行权衡，该方法可以实现比当前最先进技术快几个数量级的“激进”求解，同时保持竞争力的精度。

作者指出，虽然该方法具有鲁棒性，但对于某些耦合系统（如 Navier–Stokes）的瓶颈可能会从优化器转移到潜在的 PINN 公式本身，这表明未来的工作可能涉及替代性的 PINN 目标函数。在理论方面，虽然组成部分（CountSketch, SRCT）是成熟的，但针对组合后的双重草图构造进行的专门分析仍是一个开放性问题。