🤖 machine learning

Curvature-aware dynamic precision approach for physics-informed neural networks

本文提出了一种感知曲率的动态精度控制器，该控制器通过利用 L-BFGS 曲率信息，在物理信息神经网络（PINN）训练过程中自适应地在单精度和双精度之间进行切换，从而在显著降低计算成本的同时实现全双精度精度。

原作者： Yingjie Shao, Ioannis N. Athanasiadis, George van Voorn, Taniya Kapoor

发布于 2026-06-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Yingjie Shao, Ioannis N. Athanasiadis, George van Voorn, Taniya Kapoor

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在试图解决一个非常复杂的谜题，比如预测热量如何在金属棒中传播，或者波浪如何拍打海岸。在科学世界中，这些谜题被称为偏微分方程 (Partial Differential Equations, PDEs)。

为了解决这些问题，科学家们使用了一种被称为物理信息神经网络 (Physics-Informed Neural Networks, PINNs) 的人工智能。你可以把 PINN 想象成一名试图通过猜测答案并检查错误程度来学习物理规则的学生。目标是让答案尽可能接近完美。

问题所在：“高端计算器” vs. “快速计算器”

为了进行这些数学运算，计算机需要使用数字。处理这些数字有两种方式：

双精度 (Double Precision, FP64)： 这就像使用一台高端、超精确的科学计算器。它能提供极其详尽的答案，精确到十亿分之一位。然而，它很慢且笨重。它需要花费很长时间来处理数字，就像开着一辆沉重的坦克去超市购物。
单精度 (Single Precision, FP32)： 这就像使用一台快速、轻便的智能手机计算器。它非常迅速且高效。然而，它会舍入数字。对于简单的任务，这没问题。但对于复杂的物理谜题，它产生的微小误差会不断累积，最终导致完全错误的答案。这就像是用一把刻度略微变形的尺子来建造摩天大楼。

困境： 科学家们一直被迫在“虽然慢但准确 (FP64)”和“虽然快但不准确 (FP32)”之间做出选择。

解决方案：“智能开关”

本文的作者邵英杰及其团队提出了一个聪明的解决方案：一种具有曲率感知能力的动态精度控制器 (A Curvature-Aware Dynamic Precision Controller)。

你可以把这想象成计算机数学引擎中的一个智能交通灯系统。这个系统并没有强迫计算机全程使用那辆沉重的坦克，也没有全程使用那把摇晃的尺子，而是会自动观察计算机行驶的“道路”并切换档位。

以下是这个类比的工作原理：

“道路”（曲率）： 想象计算机正在穿越一片景观。有时道路平坦平滑（数学计算简单）。有时则充满了尖锐、锯齿状的悬崖和陡峭的落差（数学计算困难）。在论文中，他们称之为“曲率”。
“驾驶员”（L-BFGS）： 计算机使用一种特定的驾驶技术（一种称为 L-BFGS 的优化器）来不断检查前方的道路。它知道路面何时变得颠簸。
“开关”：
- 当道路平坦时： 系统会说，“轻而易举！”并切换到快速、轻便的计算器 (FP32)。这节省了大量时间。
- 当道路变得颠簸或陡峭时： 系统检测到“曲率”变高。它会立即发出警告：“前方危险！”并切换到沉重、超精确的计算器 (FP64)，以确保车辆不会发生碰撞。
- 当道路再次平坦时： 它会切回快速模式。

他们发现了什么？

团队在四个著名的困难物理谜题（对流、反应、波以及 Allen-Cahn 方程）和一个关于植物生长的真实世界案例上测试了这个“智能开关”。

既快速又准确： 他们的这种方法几乎与全程使用重型计算器 (FP64) 一样准确，但速度更快。通过在安全的情况下使用快速计算器，他们节省了时间。
防止崩溃： 单独使用快速计算器 (FP32) 经常会导致计算机陷入停滞或给出错误答案。智能开关通过在恰当的时机介入重型计算器，防止了这些失败情况的发生。
适用于不同的“汽车”： 他们在不同类型的神经网络“汽车”（架构）上进行了测试。该系统在所有架构上都表现良好，证明了该系统的灵活性。

核心结论

这篇论文介绍了一种让利用 AI 解决复杂物理问题变得更快速且更可靠的方法。他们并没有在速度和精度之间做选择，而是构建了一个能够准确判断何时该快、何时该谨慎的系统，并充分利用了计算机已经在计算的信息来进行决策。

简而言之： 他们教会了计算机在直道上驾驶赛车（使用快速数学），但在遇到坑洼时切换成重型卡车（使用缓慢、精确的数学），从而确保在不发生碰撞的前提下，快速到达终点。

技术摘要：用于物理信息神经网络的曲率感知动态精度方法

1. 问题陈述

物理信息神经网络（PINNs）通过将物理定律直接嵌入训练损失函数中，已成为求解偏微分方程（PDEs）的一种强大框架。然而，PINN 的优化过程对数值精度极其敏感。现有的实现方式面临着一个关键的权衡：

单精度 (FP32)： 计算效率高，但容易出现“失效模式”，即损失函数看似收敛，但预测解仍远离真实的 PDE 解。这通常是由于病态优化景观以及高阶导数项放大了数值误差所导致的。
双精度 (FP64)： 鲁棒性强，能够缓解与精度相关的失效问题，但在针对低精度算术优化的现代硬件上，其计算成本较高。

目前的自适应策略（如混合精度训练或自适应配置点）通常依赖于静态分配或逐层精度变化。它们并未明确地根据训练动态的特定“阶段”进行调整，也未利用优化几何结构（曲率）来调度精度切换。核心挑战在于：如何在保留复杂 PDE 所需的鲁棒性的同时，降低 FP64 训练的计算成本。

2. 方法论

作者提出了一种曲率感知动态精度控制器，该控制器能够在 PINN 训练过程中自适应地在 FP32 和 FP64 之间切换。该方法基于以下组件构建：

2.1 曲率信号提取

该方法复用了 L-BFGS（有限记忆布罗伊登-弗莱切-戈德法布格-香贝尔）优化器中已经计算出的曲率信息。L-BFGS 是 PINN 中常用的二阶拟牛顿法。

L-BFGS 维护着参数更新量 ( $s_k$ ) 和梯度更新量 ( $y_k$ ) 的历史记录。
作者定义了一个方向曲率代理值 $\kappa_k = \frac{s_k^\top y_k}{s_k^\top s_k}$ ，它代表了局部 Hessian 近似值的瑞利商（Rayleigh quotient）。
一个调节系数代理 $\hat{\kappa}_{cond}$ 被计算为当前 L-BFGS 记忆窗口内最大曲率与最小曲率的比值。这作为一个轻量级的指标，用于衡量局部优化景观的条件数。

2.2 精度控制器逻辑

为了使信号能够抵御短期波动，调节系数代理经过对数变换和指数移动平均平滑处理得到 $\tilde{z}_j$ 。控制器每 10 个 L-BFGS 步长评估一次平滑后的信号及其斜率 ( $\Delta \tilde{z}_j$ )，以决定精度状态：

切换至 FP32： 当平滑后的曲率代理 $\tilde{z}_j$ 低于特定问题的阈值 ( $\tau_z$ ) 且斜率较小时，表明处于稳定且良置的阶段，此时切换至 FP32。
切换至 FP64： 当 $\tilde{z}_j$ 超过阈值、斜率快速增加，或者 FP32 中的参数更新变得微乎其微时（表明出现停滞或数值敏感性），则切换至 FP64。

这种与架构无关的控制器允许训练过程在稳定阶段利用 FP32 的速度，并在数值关键阶段（如高曲率或病态条件）利用 FP64 的鲁棒性。

3. 核心贡献

动态精度策略： 一种新颖的方法，将数值精度视为随训练阶段变化的动态变量，而非固定的实现选择。
曲率感知控制： 首个明确利用 L-BFGS 曲率历史作为 PINN 在线信号进行精度调度的方案，将优化几何结构与数值稳定性直接联系起来。
架构无关性： 该方法被证明在各种神经网络架构上均有效，包括标准 MLP、PINNsFormer、PINNMamba 以及 KAN（Kolmogorov-Arnold 网络）。
成本-精度平衡： 该方法实现了具有 FP64 级别的精度，同时降低了墙钟时间（wall-clock time），有效地解决了精度-效率之间的权衡问题。

4. 实验结果

该方法在四个典型的 PINN 失效模式基准测试（对流方程、反应方程、波动方程和 Allen–Cahn 方程）以及一个辐照驱动的植物生长 ODE 上进行了评估。

性能对比固定精度：
- 精度： 动态方法始终能达到或略微超过全 FP64 训练的精度（通过 rRMSE 和 rMAE 衡量）。相比之下，纯 FP32 训练往往无法收敛到可接受的解，其误差通常比 FP64 高出一到两个数量级。
- 速度： 相对于全 FP64 训练，动态方法缩短了训练时间。例如，在反应方程上，它在保持更低误差的同时，实现了比 FP64 快 1.07 倍的速度；在波动方程上，实现了 1.04 倍的加速。
- 权衡： 该方法持续改善了速度-精度的权衡，使其结果比固定精度基准更接近帕累托前沿（Pareto frontier）。
架构效应：
- 虽然先进的架构（PINNsFormer, PINNMamba, KAN）展现出了潜力，但在某些方程（如对流和 Allen–Cahn）中，它们在不同随机种子下表现出不稳定性。
- 作用于标准 Vanilla MLP 的动态精度控制器在所有四个 PDE 上都实现了鲁棒收敛（100% 收敛率），其表现优于使用固定精度训练的先进架构。
- 有趣的是，将动态控制器与先进架构（如 PINNsFormer）结合使用会带来进一步的提升，这表明这些架构中更平滑的曲率轨迹使得控制器能够运行得更高效。
相位依赖敏感性：
- 对曲率信号的分析表明，数值敏感性具有相位依赖性。具有低、平滑曲率的训练阶段可以高效地由 FP32 处理，而高曲率或信号剧烈变化的阶段则需要 FP64。
- 动态方法成功地应对了这些相位，仅在必要时切换到 FP64，以防止停滞或不稳定。

5. 重要性与主张

本文主张，所提出的曲率感知动态精度方法为解决高精度 PINN 训练的计算瓶颈提供了一个切实可行的方案。通过证明 PINN 优化中的精度敏感性是相位依赖的，作者认为，仅在数值关键阶段有选择性地应用更高精度，可以在不牺牲预测精度的情况下降低计算成本。

作者将这项工作定位为对架构改进的补充性进展。他们指出，虽然特定的架构可以平滑优化景观，但并不能完全消除与精度相关的稳定性问题。因此，动态精度控制作为一个鲁棒且与架构无关的层，增强了 PINN 在从标准 PDE 基准到现实世界 ODE 应用等多样化问题设置下的效率和可靠性。

研究结论认为，该方法以较低的成本保留了 FP64 级别的精度，使其成为将 PINN 扩展到传统上需要双精度才能保证稳定性的复杂科学计算任务中的可行策略。