Neural delay differential equations: learning non-Markovian closures for partially known dynamical systems

Each language version is independently generated for its own context, not a direct translation.

这篇论文介绍了一种名为**“神经延迟微分方程”（Neural Delay Differential Equations, 简称 NDDEs）的新方法。为了让你轻松理解，我们可以把预测一个复杂系统的未来，想象成“在迷雾中驾驶一辆赛车”**。

1. 核心难题：只有后视镜，没有挡风玻璃

想象你正在开一辆赛车（这就是我们要研究的物理系统，比如天气、流体流动或生物种群）。

理想情况：你能透过挡风玻璃看清前方所有路况（系统的全状态），知道下一秒会发生什么。
现实情况：你的挡风玻璃被雾挡住了，或者只有几个小窗户（传感器）。你只能看到车的一小部分，或者只能看到后视镜里过去的景象。
问题：传统的预测模型（比如普通的神经网络）通常假设“只要知道现在的状态，就能预测未来”。但在迷雾中，这行不通！因为现在的状态里丢失了很多关键信息（比如刚才那个急转弯的惯性，或者远处传来的风声）。

2. 旧方法的局限：死记硬背 vs. 理解因果

为了解决这个问题，科学家们尝试过几种方法：

LSTM（长短期记忆网络）：像是一个死记硬背的学生。它拼命记住过去所有的数据，试图从中找规律。虽然有效，但它像个黑盒子，你不知道它为什么这么预测，而且它记不住太久远的细节。
NODE（神经普通微分方程）：像是一个只看当下的司机。它假设只要知道现在的车速和方向，就能算出未来。但在迷雾中，这会导致预测完全跑偏，因为它忽略了“刚才发生了什么”。

3. 新方案：NDDEs —— 给司机装上“智能后视镜”

这篇论文提出的 NDDE 方法，灵感来自于物理学中的**“莫里 - 茨万齐格（Mori-Zwanzig）”**理论。

通俗比喻：
想象你在开车，虽然你看不到前方，但你发现**“现在的车速”其实是由“几秒钟前的油门踩法”**决定的。

NDDE 的核心思想：它不试图去猜那些看不见的“全状态”，而是直接利用**“时间延迟”。它认为：“现在的变化 = 现在的状态 + 过去某个特定时刻的状态”**。
关键创新：以前的模型是**“固定”看后视镜（比如只看 1 秒前）。但 NDDE 像是一个聪明的老司机**，它会自己学习：“到底看几秒前的后视镜最有用？”
- 如果是开车，可能看 0.5 秒前最重要。
- 如果是预测天气，可能看 3 天前最重要。
- NDDE 能自动找到这个**“最佳延迟时间”**，并把它作为模型的一部分进行训练。

4. 它是如何工作的？（三个步骤）

寻找“记忆点”：
就像你在迷雾中开车，你会下意识地想：“刚才那个弯道是 2 秒前过的，现在的侧滑是因为那个弯道。”NDDE 会自动计算，发现**“延迟 2 秒”**的信息对预测现在最有帮助。它不是随机猜测，而是通过数学方法（伴随法）精准地找到这些时间点。
建立“因果链”：
一旦找到了这些关键的时间点（比如 $t-1$ 秒， $t-5$ 秒），模型就会把这些过去的信息像拼图一样拼起来，补全了丢失的“全状态”信息。这就好比虽然你看不到前方，但你知道“如果 5 秒前我打了方向盘，现在车就会向右偏”，从而修正了预测。
连续的时间流：
很多旧模型（如 LSTM）是把时间切成一块一块的（像看视频的一帧一帧）。但 NDDE 是连续的，它像看水流一样，平滑地处理时间。这让它在处理物理世界（如流体、振动）时更自然、更准确。

5. 实验结果：它真的管用吗？

作者用了很多“考场”来测试这个方法：

种群模型：预测兔子和狐狸的数量变化。
化学反应（Brusselator）：预测化学物质的浓度波动。
湍流（KS 方程）：预测极其混乱的火焰或流体运动（这就像在狂风中预测树叶的轨迹）。
风洞实验：预测真实飞机机翼后方的气流噪音。

结果令人惊讶：
在那些充满噪音、数据不全、甚至 chaotic（混沌）的系统中，NDDE 的表现全面碾压了传统的 LSTM 和 NODE。

特别是在**“低数据量”（也就是你只有很少的传感器数据）的情况下，NDDE 就像给司机装上了“透视眼”**，能利用过去的关键信息，把丢失的线索找回来，预测得比谁都准。
而且，它比那些庞大的黑盒子模型（如 Transformer）更轻量，更容易解释（因为它直接告诉你是“几秒前”的数据起了作用）。

总结

这篇论文就像是在说：

“当我们无法看清系统的全貌时，不要试图去猜‘现在’，也不要死记硬背‘过去’。我们要学会**‘回头看’，并且聪明地选择看多远的过去**。NDDE 就是那个能自动帮你找到‘最佳回头时间’的超级助手，让它在迷雾中也能精准导航。”

这种方法不仅理论扎实（基于物理投影理论），而且计算高效，为未来预测天气、设计更稳定的控制系统、甚至理解生物系统提供了强大的新工具。

Each language version is independently generated for its own context, not a direct translation.

1. 研究背景与问题定义

核心问题：
在现实世界的动力学系统建模中，往往面临**部分可观测性（Partial Observability）的挑战。即我们通常只能获取系统的一小部分状态（通过有限的传感器），而无法获得系统的完整状态向量。此外，许多系统表现出非马尔可夫（Non-Markovian）**特性，即系统的未来演化不仅取决于当前状态，还依赖于其历史状态。

现有方法的局限性：

传统 ODE 模型（如 NODE）： 假设系统状态完全可观测且为马尔可夫过程，无法处理部分观测下的历史依赖。
循环神经网络（如 LSTM）： 虽然能捕捉时间依赖，但缺乏物理可解释性，且其“记忆”机制是隐式的黑盒，难以与物理系统的反馈机制直接关联。
积分微分方程（IDE）近似： 基于 Mori-Zwanzig (MZ) 形式主义的精确描述通常涉及复杂的积分项，计算成本高昂且难以直接优化。
固定延迟模型： 现有的延迟微分方程（DDE）方法通常预先设定延迟时间，缺乏灵活性，无法自适应地学习系统内在的时间尺度。

目标：
开发一种能够直接从部分观测数据中学习非马尔可夫动力学的方法，既能保持连续时间的物理可解释性，又能高效地学习系统缺失的历史信息（记忆项）。

2. 方法论：神经延迟微分方程 (NDDE)

作者提出了一种**常延迟神经延迟微分方程（Constant-lag Neural Delay Differential Equations, NDDEs）**框架，结合了统计物理中的 Mori-Zwanzig (MZ) 投影形式和 Takens 嵌入定理。

2.1 理论框架

Mori-Zwanzig 形式： 将全系统动力学分解为三部分：可观测变量的马尔可夫项、代表未观测变量累积影响的记忆项（Memory term）、以及噪声项。记忆项通常表现为对过去状态的积分（广义朗之万方程）。
Takens 定理与精确表示： 论文证明了对于光滑动力学系统，观测变量的动力学可以精确地表示为当前状态和有限个过去延迟状态（ $y(t-\tau_1), \dots, y(t-\tau_n)$ ）的函数。这意味着复杂的积分记忆核可以用有限个延迟项来精确近似，前提是延迟数量足够（由流形维数决定）。

2.2 模型架构

模型定义为：
$\frac{dy(t)}{dt} = h_\theta(t, y(t), y(t-\tau_1), \dots, y(t-\tau_n))$
其中：

$y(t)$ 是可观测变量。
$h_\theta$ 是由神经网络参数化的向量场。
$\tau_i$ 是可学习的延迟常数（Learnable delays），这是本文的核心创新点。

2.3 训练算法：伴随方法（Adjoint Method）

为了高效训练包含可学习延迟参数的 NDDE，作者推导了伴随灵敏度分析（Adjoint Sensitivity Analysis）：

优化目标： 最小化预测轨迹与真实数据之间的损失函数。
梯度计算： 通过求解一个反向时间的伴随 DDE 来计算损失函数对神经网络参数 $\theta$ 和延迟参数 $\tau$ 的梯度。
优势： 该方法使得 NDDE 在大规模数据集上的训练具有内存效率，避免了存储整个前向传播轨迹的显式反向传播（Backpropagation through Time），从而实现了端到端的优化。

3. 关键贡献

可学习的延迟机制： 首次提出并实现了在 NDDE 框架中联合学习神经网络参数和延迟时间 $\tau_i$ 。这使得模型能够自动发现系统中关键的物理时间尺度，而无需人工先验设定。
理论结合： 将 MZ 形式主义的物理原理与 Takens 定理的几何嵌入思想相结合，为使用有限延迟项近似非马尔可夫记忆提供了严格的数学依据。
高效的伴随训练算法： 推导了针对常延迟 NDDE 的伴随方程，并开源了 torchdde 库，实现了稳定、可复现的数值求解器和梯度计算。
非马尔可夫闭合模型： 展示了 NDDE 作为降阶模型（ROM）的闭合项（Closure term）的有效性，特别是在低维截断导致信息丢失的情况下。

4. 实验结果与验证

作者在合成数据、混沌系统和真实实验数据上进行了广泛验证，并与 LSTM、NODE、ANODE（增强型神经 ODE）、Latent ODE 等基准模型进行了对比。

4.1 数据集

种群动力学模型： 标量延迟微分方程。
Brusselator 系统： 具有刚性特征的化学反应振荡系统（部分观测）。
Kuramoto-Sivashinsky (KS) 方程： 描述燃烧不稳定性的高维混沌偏微分方程（部分空间观测）。
开腔体流动（Cavity Flow）： 风洞实验数据，包含传感器噪声和自维持振荡。

4.2 主要发现

预测精度： 在所有实验中，NDDE 的测试均方误差（MSE）普遍优于或持平于 LSTM、ANODE 和 Latent ODE。特别是在 KS 方程和腔体流动实验中，NDDE 显著优于其他模型。
长期稳定性： 在 Brusselator 系统的长期积分测试中，只有 NDDE、LSTM 和 Latent ODE 保持了稳定性，且 NDDE 在长期预测中表现最佳。
混沌系统统计特性： 在 KS 系统中，NDDE 预测的最大 Lyapunov 指数（MLE）最接近真实值，且预测的概率分布与真实分布高度吻合，表明其能准确捕捉混沌系统的统计特征。
延迟学习的有效性：
- 在种群动力学实验中，模型自动学习到的延迟值（约 0.8-1.4）与基于互信息分析的理论最优值一致。
- 在腔体流动实验中，可学习延迟的模型性能显著优于固定延迟的模型，证明了自适应学习时间尺度的重要性。
抗噪能力： 在含有传感器噪声的实验数据中，NDDE 通过利用历史数据平均化噪声，表现出了良好的鲁棒性。
降阶模型（ROM）闭合： 在基于 POD（本征正交分解）的 KS 方程降阶模型中，使用 NDDE 作为闭合项（DDE-ROM）在低模态（4 模态，仅保留 58% 能量）情况下，其误差远低于传统的 ODE 闭合项（ODE-ROM）和 CD-ROM，证明了其在信息严重缺失场景下的优越性。

5. 意义与结论

科学意义：

提供了一种** principled（有原则的）且数据高效**的框架，用于处理部分可观测和非马尔可夫动力学系统。
弥合了传统物理建模（基于 MZ 形式）与现代深度学习之间的鸿沟，赋予了神经网络明确的物理可解释性（延迟对应物理反馈回路或时间常数）。

技术价值：

可解释性： 学习到的延迟 $\tau$ 可以直接对应系统的物理时间尺度，比 LSTM 的隐状态更具解释性。
计算效率： 相比 Neural IDE（神经积分微分方程），NDDE 避免了昂贵的积分计算，计算速度快一个数量级。
通用性： 该方法不仅适用于纯数据驱动建模，还能作为物理模型的修正项（Closure），在流体力学等复杂领域具有广泛应用前景。

总结：
该论文证明了通过引入可学习的延迟项，神经延迟微分方程（NDDE）能够有效地从部分观测数据中恢复系统的非马尔可夫动力学。它不仅超越了现有的循环神经网络和神经 ODE 变体，还为理解复杂系统的记忆机制和构建高精度的降阶模型提供了一条新的途径。开源代码 torchdde 的发布进一步推动了该领域的可复现研究。