🔬 physics

Computing high-order mixed derivatives in physics-informed neural networks using multi-index Bell polynomials

本文通过利用多指数贝尔多项式来组织多元 Faà di Bruno 公式，引入了一种用于在物理信息神经网络中计算高阶混合导数的计算高效且内存稳定的方法，从而在避免标准嵌套自动微分导致的内存故障的同时，保持至舍入误差水平的精确性。

原作者： Fumihiro Imoto

发布于 2026-09-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Fumihiro Imoto

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在现代物理学领域，科学家们经常面临一个困难的谜题：如何预测复杂系统（如流动的海水、电场或冲击波）的行为，因为其背后的数学规则极其复杂。几十年来，研究人员一直转向人工智能来帮助解决这些谜题。一种被称为“物理信息神经网络”的特定机器学习类型，扮演着数字学徒的角色。它不仅接受数据的训练，还接受物理基本定律的训练。该网络通过检查其预测值在多大程度上满足底层方程，来学习如何推测问题的解。然而，这些方程通常涉及极难计算的变化率，尤其是当涉及多个变量同时变化（例如时间和三维空间同时变化）时。为了有效地训练网络，计算机必须以极高的精度计算这些复杂的、被称为“导数”的变化率。

挑战在于，使用标准的计算机方法来计算这些高阶变化率，就像是在尝试攀登一座随着你爬得越高而变得越来越高的山。随着方程复杂度的增加，计算机的内存会迅速填满，计算速度也会变得极其缓慢，以至于在实际操作中几乎无法完成。这种瓶颈限制了人工智能解决最困难物理问题的能力，特别是那些涉及随时间扩散或传播的波的问题。富美广·伊莫托（Fumihiro Imoto）的一项新研究直接针对这一局限性。研究人员开发了一种新的数学方法，使计算机能够高效地计算这些复杂的、多变量的变化率，而不会耗尽内存或被不必要的计算所困扰。

这种新方法的核心在于计算机如何组织其工作。该方法并非反复要求计算机对同一个函数进行重复求导——这个过程会产生一个庞大且混乱的计算网络——而是使用了一个预先组织的系统。想象一个图书馆，那里每一本可能的书籍组合都已经被编目并准备好从书架上取下，而不是每当读者索要一本书时都要重新编写一份目录。研究人员使用了一种特定的数学工具，涉及被称为“贝尔多项式”（Bell polynomials）的结构，来创建一个所有必要计算的固定映射。这个映射被构建一次后，就会在学习过程的每一步中重复使用。通过这种方式，计算机只计算问题当前所需的特定信息，忽略其他一切。这种策略使得系统能够处理涉及高达七阶导数的方程，而这种复杂度会导致标准方法失效。

这项工作的成果既精确又具有实用性。研究人员在多种困难的物理场景中测试了该方法，包括海水的波动和带电流体的流动。在一次涉及四维空间复杂波方程的具体测试中，新方法产生的解的相对误差仅为0.0006，这一准确度水平证实了该方法按预期发挥了作用。或许更重要的一点是，该方法在其他方法失效的地方表现出了鲁棒性。当标准计算机程序试图解决同样的高阶问题时，它们往往会耗尽内存并崩溃。而这种新方法在单个处理器核心上运行，成功计算了数百个混合导数，且未出现任何内存故障。它还能处理包含多个相互作用场的系统，例如流体速度、压力和电荷之间的复杂舞蹈，这些现象在现实世界的工程中很常见，但在模拟中却极其困难。

除了速度和稳定性之外，这项研究还揭示了构建这些网络的工具本身的一些惊人之处。神经网络的“大脑”依赖于一种称为“激活函数”的数学函数，它帮助网络学习模式。长期以来，双曲正切函数一直是标准选择。然而，当研究人员将这种新高阶方法与不同的激活函数进行对比测试时，他们发现标准选择并不总是最好的。在涉及最高水平复杂度的测试中，基于贝塞尔函数（Bessel functions，常用于描述自然界中的波模式）的函数表现优于标准选择。这些替代函数使网络能够更准确地学习解，这表明最合适的工具高度取决于问题的具体数学需求。

该研究还为使用这些强大工具的人提供了一个关键教训：计算中的微小误差并不总是意味着最终答案的微小误差。在一次涉及流体流动的测试中，计算机成功地大幅降低了物理方程中的误差，使数学逻辑看起来近乎完美。然而，它生成的实际解却是完全错误的。这是因为计算机找到了一种既能满足数学公式又不满足物理现实的方法，这种陷阱只能通过根据已知边界或数据对解进行核查来避免。这一发现提醒我们，即使是最先进的数学技巧也需要仔细验证。新方法提供了一种可靠的方式来计算必要的导数，但它并不能取代人类的监督和独立的检查，以确保结果符合物理常识。

最终，这项工作消除了使用人工智能处理最严苛物理问题的一个重大障碍。通过以一种既精确又节省内存的方式来组织复杂导数的计算，研究人员为模拟此前无法触及的现象打开了大门。该方法并非解决一切问题的魔杖，但它是一个强大的新引擎，允许科学家将模拟推向更远的前方。无论是模拟聚变反应堆中的等离子体流动，还是预测海洋波浪的行为，能够准确且快速地计算这些高阶变化率，都是向前迈出的关键一步。研究证实，只要有正确的数学组织，人工智能就可以应对物理学中最顽固的方程，前提是这些计算必须由正确的工具引导并经过仔细验证。

技术摘要：利用多指数贝尔多项式计算 PINNs 中的高阶混合导数

问题陈述
物理信息神经网络（PINNs）通过最小化依赖于网络对输入导数的残差来求解偏微分方程（PDEs）。虽然一阶和二阶导数是标准操作，但高阶 PDE（如 Kawahara、Zakharov–Kuznetsov (ZK) 和 Lax 方程）需要五阶、七阶或更高阶的混合导数。标准的实现依赖于重复的自动微分（AD），这会产生快速增长的计算图和表达式。这种方法通常会导致内存耗尽，并在计算高阶混合偏导数及其对网络参数的梯度时效率低下。现有的替代方案，如 Taylor 模式 AD 或基于 jet 的方法，通常计算方向导数或需要多次传递才能恢复完整的混合偏达集，并且仍可能受到嵌套图复杂性的影响。

方法论
本文提出了一种确定性方法，可以在单次前向和反向传递中计算高阶混合导数及其参数梯度。该方法构建在三个核心组件之上：

通过 Faà di Bruno 和贝尔多项式的正向递归：
该方法在预设的“向下封闭”多指数集合 $A$ 上组织多元 Faà di Bruno 公式。对于具有仿射映射和光滑逐元素激活函数的全连接网络，其 $K$ 阶导数使用偏贝尔多项式进行计算。
- 前向传递过程在网络层间传播导数 $T^{(l, \alpha)}$ 。
- 至关重要的是，贝尔多项式卷积（仅取决于多指数集合和阶数）被预先制表并重复使用，从而避免了在前向传递过程中重新评估分配和（partition sums）。
- 该方法支持“残差种子化”策略，其中多指数集合 $A$ 会根据特定的微分算子自动限制，从而省略不必要的导数。
显式反向传播递归：
该方法并非通过微分前向传递过程，而是推导了一个显式的反向扫描过程。
- 伴随变量（中间导数对损失的梯度）通过从贝尔多项式导数中推导出的递推关系进行传播。
- 该递归在单次反向传递中计算任何由导数（包括非线性乘积和耦合场）构成的损失的梯度。
- 该方法处理多达四个导数因子的乘积，涵盖了平流项、体力和更高阶的非线性。
实现与验证：
该算法使用 Fortran 2008 (DNNF90) 实现，采用连续可分配数组以最小化内存开销。验证工作通过以下方式进行：
- 与独立的多元 Taylor-jet 实现进行比较（一致性达到 $< 4 \times 10^{-19}$ ）。
- 通过符号检查测试问题。
- 通过有限差分检查输入导数和损失梯度，最高阶数为七阶。

主要贡献

高阶导数的效率： 该方法避免了与嵌套 AD 相关的内存失效和指数级增长。在单个 CPU 核心上，它能够计算 330 个混合导数（7 阶，4 个输入）及相应的损失梯度而不会发生内存耗尽，而几种标准的 AD 实现会在 5 阶或 6 阶处失败。
向下封闭优化： 通过将计算限制在由特定 PDE 残差导出的向下封闭的指数集合中，该方法显著降低了计算负载（例如，将 ZK 测试从 330 个指数减少到 89 个），且不改变解的轨迹。
闭式梯度计算： 显式反向传播递归提供了参数梯度的闭式反向扫描，这与通过前向模式传递进行微分不同。
广泛的适用性： 该实现支持高达 15 阶的计算，并能处理耦合多场系统和导数因子的非线性乘积。

结果
论文通过多个基准测试验证了该方法：

性能： 在 4–8–8–1 网络的计时测试中，所提方法计算 7 阶混合导数梯度约需 9 毫秒。相比之下，嵌套 AD 实现（PyTorch, JAX）在 4 阶或 5 阶之后就会耗尽内存，而 CoDiPack 在 7 阶时需要约 38 秒。该方法的计算时间复杂度随阶数增加仅以约 1.3 倍的因子增长，而嵌套方法则为 3.1–8.5 倍。
准确性：
- 色散方程： 该方法求解三阶、五阶和七阶色散方程（KdV、Kawahara、ZK）时，相对解误差范围在 $10^{-4}$ 到 $10^{-2}$ 之间。3+1 维度的七阶 ZK 测试达到了 $6 \times 10^{-4}$ 的相对误差。
- 耦合系统： 它成功求解了 Kovasznay 流（不可压缩纳维-斯托克斯方程）和一个五场电流体力学系统。
- Lax 方程： 成功求解了一个具有四次非线性项的七阶 Lax 方程，其 $L^2$ 相对误差为 $8.8 \times 10^{-4}$ 。
优化行为： 论文指出，虽然可以有效地最小化残差，但解的准确性在很大程度上取决于激活函数和优化策略。对于高阶导数，有界激活函数（正弦函数、Bessel 函数 $J_0, J_1$ ）在损失和导数精度方面优于 tanh，尤其是当最高阶项至关重要时。
失效模式： 研究强调，仅最小化残差并不保证解的准确性。在没有边界数据的 Kovasznay 流以及带有遗忘因子的卡尔曼滤波更新中，尽管残差降低了数个数量级，但解却偏离了精确场。

意义与局限性
该论文声称其意义在于为 PINNs 提供了一种专门的、内存高效且精确（直至舍入误差）的高阶混合导数计算方法，特别解决了重复自动微分带来的瓶颈。研究表明，将导数集合限制在必要的向下封闭指数中，可以在不损失精度的情况下实现大幅加速。

作者谦虚地指出了以下局限性：

该方法专门针对由仿射映射和光滑逐元素激活函数组成的网络；它不能取代用于任意计算图的一般 AD。
它需要激活函数高达 $K+1$ 阶的导数。
对于密集导数集合，其计算成本仍会随 $\binom{D_0+K}{K}$ 呈组合爆炸式增长。
报告的计时比较是基于单核执行的，具有实现依赖性。
所提供的数值示例是受控测试，具有精确或人工构造的解，而非新的物理模拟。

研究结论认为，虽然该方法有效地解决了导数计算的瓶颈，但需要对激活函数和优化策略给予高度关注，以确保残差最小化能够转化为准确的物理解。

技术摘要：利用多指数贝尔多项式计算 PINNs 中的高阶混合导数

类似论文