🔢 mathematics

Physics Informed Neural Networks for Nonlinear Delay Differential Equations

本文提出了一种新型物理信息神经网络框架，该框架集成了可微历史切换、试解公式化以及分段配置策略，旨在为一般的阶一阶非线性时滞微分方程提供可扩展、连续且符合物理一致性的解。

原作者： Stone Yao, Vipin Kumar, Roberto Guglielmi

发布于 2026-07-02

📖 1 分钟阅读🧠 深度阅读

原作者： Stone Yao, Vipin Kumar, Roberto Guglielmi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图预测一台复杂机器未来的运动轨迹。通常情况下，你只需要知道它“现在”是如何运动的。但在某些系统中——比如动物种群、电路或生物过程——机器未来的运动不仅取决于它当前的状态，还取决于它在几秒钟或几分钟前在做什么。

在数学中，这些被称为时滞微分方程（Delay Differential Equations, DDEs）。它们极其难以求解，因为“过去”会不断干扰“现在”，形成一个因果交织的网络，让标准的计算机程序感到困惑。

这篇论文介绍了一种更聪明的方法，让人工智能（具体来说是一种叫做物理信息神经网络或 PINNs 的类型）来解决这些棘手的问题。以下是他们实现这一目标的方式，通过简单的类比进行解释。

问题所在：“长记忆”陷阱

把一个试图求解 DDE 的标准 AI 想象成一个试图在一次坐席中背完 100 页历史书的学生。

问题在于： 如果学生试图一次性学习整本书，他们可能会被第一章和第九十章之间的联系搞混。其“梯度”（告诉 AI 如何改进的数学信号）会变得过长且纠缠不清，导致 AI 陷入停滞或放弃。
旧方法： 以前的方法试图强迫 AI 一次性学习整个时间线，或者依赖庞大的数据集。这在处理复杂的非线性问题时经常失败。

解决方案：“分段试验型 PINN”（Segmented Trial-PINN）

作者提出了一种新的框架，将问题分解成易于处理的块。他们使用了三个主要的“工具”来让 AI 变得更聪明：

1. “历史开关”（时空旅行者的剪贴板）

当 AI 计算未来时，它需要回顾过去。

类比： 想象一个正在参加考试的学生。当他们需要回忆 10 分钟前的一个事实时，他们不会尝试从头开始重新模拟整个考试过程来获取那个事实。相反，他们只是查看之前写下的特定笔记。
运作方式： 作者构建了一个特殊的“开关”，让 AI 能够直接抓取过去的值，而不会被导致该值的长长的数学链条所迷惑。它阻止了“混乱”向后传播，保持了学习过程的稳定性。

2. “试验解”（安全网）

AI 需要确保自己永远不会忘记游戏规则，尤其是关于“历史”（时间零点之前发生的事情）的规则。

类比： 想象你正在建造一座桥。你有一个严格的规则：桥的起点必须恰好位于悬崖边缘。与其寄希望于 AI 通过试错来发现这一点，不如在开始建造之前，就物理性地将桥“螺栓固定”在悬崖边缘。
运作方式： 他们设计了 AI 的输出方式，使其在数学上被“强制”匹配已知的历史。如果时间在过去，AI 直接输出已知的历史；如果在未来，它会在其之上叠加一个“神经网络”层。这保证了 AI 绝不会违反系统的基本规则。

3. “分段策略”（接力赛）

这是最大的创新。与其让一个巨大的 AI 试图从头到尾学习整个时间线，不如将时间线拆分成较小的段落（就像接力赛的每一棒）。

类比： 想象你需要粉刷一面 1 英里长的墙。
- 旧方法： 一个油漆工试图一次性粉刷完整个 1 英里。等他到达终点时，他的手臂已经累了，而且起点的油漆干得不均匀。
- 新方法： 你雇佣了 10 个油漆工。每个人负责粉刷 100 英尺的一段。他们专注于自己的那一小块区域。完成后，你将他们的部分缝合在一起。
运作方式： 时间域被切分成许多小块。每个小块都由一个小型且专门的 AI 进行训练。因为每一块都很小，AI 能够非常精确地学习局部动力学（即那个时间片的特定行为）。之后，这些小 AI 被缝合在一起，形成一个完整且准确的模型。

他们发现了什么？

作者在三种不同的场景下测试了这种方法：

平滑波形（谐波 DDE）： 一个简单的、有节奏的问题。
- 结果： 新方法的效果与旧方法一样好。由于问题很简单，他们不需要使用“接力赛”方法。这证明了当现有方法已经奏效时，新方法不会破坏原有成果。
颠簸的山丘（逻辑斯谛 DDE）： 一个具有剧烈变化和强时滞的问题。
- 结果： 旧方法（一个巨大的 AI）难以跟上节奏，产生了巨大的误差。而新的“分段式”方法准确度提高了 50 倍。它完美处理了剧烈的转折和延迟，因为它能一次只专注于一小部分。
纠缠的结（耦合系统）： 两个带有延迟且相互影响的方程。
- 结果： 旧方法会产生混乱并偏离正确答案。新方法则能保持轨道，即使在训练所有小块的部分需要更多计算时间的情况下，依然能维持正确的节奏和解的形状。

核心结论

这篇论文并不是声称可以直接治愈疾病或预测股市。相反，它为那些处理具有“记忆”特征系统的工程师和科学家提供了一个更好的数学工具。

通过将漫长且混乱的时间线分解成小而易处理的块，并使用特殊的“剪贴板”来处理过去，这种新方法使 AI 能够以比以往更高的准确性和稳定性来求解复杂的时滞系统。这就像是给 AI 配戴了一副眼镜，帮助它看清过去，而不至于迷失在当下。

技术摘要：用于非线性时滞微分方程的物理信息神经网络

问题定义

本文旨在解决求解一般一阶非线性时滞微分方程（DDEs）的挑战，其形式如下：
$u'(t) = f(t, u(t), u(t - \tau)), \quad t \in (0, T]$
$u(t) = h(t), \quad t \in [-\tau, 0]$
其中 $u$ 是状态量， $\tau$ 是常数时滞， $h(t)$ 是给定的历史函数。

虽然存在经典的数值求解器（例如步进法、龙格-库塔法），但对于长时程、高维系统或状态相关时滞，这些方法可能会变得计算成本极高或不稳定。现有的针对 DDEs 的神经架构通常依赖于循环架构，需要大量数据集，或者缺乏对物理定律的严格执行。尽管物理信息神经网络（PINNs）在常微分方程（ODEs）和偏微分方程（PDEs）方面取得了成功，但其在 DDEs 中的应用仍然有限，特别是在跨大规模时间域的稳定性以及处理任意历史函数方面。

方法论：分段试探性 PINN (Segmented Trial-PINN)

作者提出了一种名为 Segmented Trial-PINN 的新颖框架，该框架集成了三个核心组件，以确保稳定性、可扩展性和物理一致性：

1. 试探解公式化 (Trial-Solution Formulation)

为了显式强制执行历史约束 $u(t) = h(t)$ （当 $t \leq 0$ 时），作者构建了一个试探解 $\hat{u}(t, w)$ ：
$\hat{u}(t, w) = h(t) + \phi(t)N(t, w)$
其中 $N(t, w)$ 是一个全连接神经网络（使用 tanh 激活函数的 MLP），且 $\phi(t) = \max(0, t)/T$ 是一个缩放函数。这种公式化确保了在历史区间 $[-\tau, 0]$ 上 $\hat{u}(t) = h(t)$ 严格成立，而神经网络部分仅在 $t > 0$ 时激活。

2. 可微历史切换 (Differentiable History Switch)

为了处理延迟项 $u(t-\tau)$ ，该框架采用了可微的历史切换机制。

机制： 在评估位于配点 $t_i$ 处的 $u(t_i - \tau)$ 时，系统会检索早期时间步的值。
梯度控制： 为了防止不稳定的隐式梯度和跨段的长依赖链，从先前段检索到的延迟值通过 tf.stop_gradient 进行传递。这阻断了延迟分支中的梯度流，在保持前向传播准确性的同时稳定了训练。

3. 分段配点策略 (Segmented Collocation Strategy)

为了提高在较大时间范围 $[0, T]$ 内的可扩展性和稳定性，将定义域划分为 $K$ 个子区间 $I_k$ 。

独立训练： 为每个子区间使用特定的配点集 $C_k$ 训练一个独立的神经子模型。
组装： 训练完成后，将各子模型拼接成一个单一的逐段全局模型。
连续性： 在子区间边界处添加了一个软约束损失项（ $L_{bc}$ ），以减轻界面不连续性，确保子域间的连续性。

损失函数

总损失函数 $L(w)$ 由三个部分组成：
$L(w) = \lambda_{dde}L_{dde}(w) + \lambda_{hist}L_{hist}(w) + \lambda_{bc}L_{bc}(w)$

$L_{dde}$ ： 通过自动微分计算的物理残差 $\partial_t \hat{u} - f(t, \hat{u}, u_\tau)$ 。
$L_{hist}$ ： 在历史域 $H$ 上强制执行历史函数的项，以提供边界附近的数值稳定性。
$L_{bc}$ ： 确保相邻子段之间连续性的边界损失。

核心贡献

本文声称是第一个开发出用于通用一阶 DDEs 的综合性基于 PINN 框架的研究，该框架统一了：

可微历史切换： 一种处理延迟依赖关系并停止梯度流以确保稳定性的机制。
显式历史强制执行： 一种通过数学保证满足历史约束，而非仅仅依赖损失惩罚的试探解公式化方法。
分段配点： 一种将大型时间域分解为可管理子区间的策略，从而减少误差累积和刚性。

作者强调，这种方法提供了一种无网格、可扩展且符合物理一致性的近似方法，能够在不增加模型复杂度（例如使用更深的网络）的情况下保持子区间间的连续性。

数值结果

该方法在 TensorFlow（基于 CPU）上通过三个基准测试进行了评估，将 Segmented Trial-PINN 与非分段 PINN 基准模型以及高精度数值参考（MATLAB 的 dde23）进行了对比。

谐波 DDE（线性/平滑）：
- 结果： 分段模型和非分段模型均实现了高精度。由于非分段模型具有连续的全局表示，其在 RMSE/MAE 方面的表现略优。
- 观察： 在此问题中，分段并未带来显著优势，因为该问题是良置且平滑的。然而，它确立了该框架的鲁棒性。
逻辑斯谛 DDE（非线性/瞬态）：
- 结果： 分段模型的表现显著优于非分段基准模型。
- 性能： 分段方法的 RMSE 比表现最好的非分段基准模型低了 50 倍以上。
- 观察： 非分段模型在面对陡峭梯度和瞬态行为时表现挣扎，需要更大的网络和更长的训练时间才能接近分段模型的精度。
耦合非线性 DDE 系统（可扩展性）：
- 结果： 对于两个耦合方程组成的系统，分段模型实现了最低的整体误差。
- 性能： 分段模型的 RMSE 比最深的非分段模型还要小近两个数量级。
- 观察： 非分段模型表现出明显的相位滞后和振幅漂移。分段方法在整个定义域内保持了精确的振幅和相位对齐。

意义与主张

本文将这项工作定位为将 PINNs 推广到时滞系统的重要一步。作者声称：

通用性： 该框架能够以统一的方式处理任意历史函数和延迟项，不同于以往依赖特定案例的实现。
稳定性： 通过在延迟分支中停止梯度并在时间域进行分段，该方法缓解了与长时程和延迟反馈相关的梯度不稳定问题。
效率： 虽然分段引入了一些计算开销（训练多个子模型），但与单纯增加单个全局网络的容量相比，它对于复杂的非线性及耦合 DDEs 提供了大幅提升的精度。

作者总结道，虽然对于简单的平滑问题而言分段并非严格必要，但对于传统 PINN 难以处理的具有挑战性的延迟动力学问题，它提供了一个鲁棒且可扩展的框架。未来的工作建议将其扩展到高阶方程、时间相关及状态相关时滞，以及自适应分段策略。