⚡ electrical engineering

RTS Smoother-Guided Learning of Physics-Based Neural Differential Models

本文提出了一种两阶段混合神经-物理框架，该框架在基于 Rauch–Tung–Striebel (RTS) 平滑器的状态估计与神经网络参数优化之间交替进行，旨在从部分状态观测中学习常微分方程的缺失组成部分，同时保持可解释的机制结构。

原作者： Ahmet Demirkaya, Georgios Stratis, Tales Imbiriba, Zachary D. Danziger, Deniz Erdogmus

发布于 2026-07-17

📖 1 分钟阅读☕ 轻松阅读

原作者： Ahmet Demirkaya, Georgios Stratis, Tales Imbiriba, Zachary D. Danziger, Deniz Erdogmus

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一名正在试图破解谜团的侦探，但你手里只有几张模糊的嫌疑人行动快照，故事的其他部分都缺失了。在科学世界中，这是一个常见的问题，当我们研究事物随时间变化的方式时（例如心脏的跳动、化学反应的起伏或神经元的放电），就会遇到这种情况。科学家使用被称为“常微分方程”（ODEs）的数学配方来描述这些变化。你可以把 ODE 想象成一套指令，它在说：“如果系统现在处于这种状态，那么在下一瞬间它会精确地处于哪里。”通常，这些配方是完美的，但在现实世界中，我们并不了解完整的配方。有些成分缺失了，我们也无法看到系统的每一个部分；我们可能只看到了温度，却没看到压力；或者只看到了电压，却没看到细胞内部隐藏的开关。这使得预测未来或理解过去变得极其困难，因为那些缺失的部分可能正是最重要的部分。

这篇论文解决的正是一个令人头疼的问题。作者提出了一种聪明的填补空白的新方法。他们没有使用可能会被噪声搞糊涂的“黑盒”计算机程序来猜测缺失的部分，而是使用了一个名为“Rauch–Tung–Striebel (RTS) 平滑器”的“时空旅行”数学工具。想象一下你在看电影，但投影仪在闪烁并跳帧。一个普通的观众（或标准的计算机滤波器）仅根据刚刚看到的画面来猜测接下来会发生什么。但 RTS 平滑器就像一名侦探，他会从头到尾看完整部电影，然后通过同时观察来自未来和过去的线索来进行倒带，从而填补缺失的帧。通过使用这种“全知视角”来推测隐藏状态，他们训练了一个混合模型——一部分是已知的物理学，一部分是人工智能——来学习游戏缺失的规则。他们发现，与那些依赖于一步步猜测隐藏状态的其他流行方法相比，这种方法在重建系统的隐藏部分以及预测未来方面表现得更好，即使是在数据充满噪声或不完整的情况下也是如此。

侦探的困境：缺失的碎片与嘈杂的线索

在从生物学到工程学的许多领域，科学家们使用数学来模拟系统的演化。但通常，数学是不完整的。我们可能知道汽车在向前行驶，但不知道引擎是如何响应油门踏板的。或者我们可能看到了神经元的电脉冲，却错过了导致其产生的微小内部开关。更糟糕的是，我们的传感器并不完美。我们得到的测量数据带有噪声，就像试图在风暴中听清一声低语，而且我们往往无法同时测量所有变量。

这篇论文建议采用一种混合方法：保留我们确切知道的数学部分（“机械式”部分），并使用神经网络（一种人工智能）来学习我们不知道的部分。训练这个 AI 是最棘手的部分。通常，要教导 AI，你需要知道“地面真值”（ground truth）——即系统实际经历的隐藏路径。但如果我们无法测量隐藏部分，我们就没有那个真相。其他方法尝试使用“循环”神经网络来猜测隐藏路径，这就像一个学生试图通过逐句阅读来背诵一个故事。如果故事很混乱，或者学生累了（数据有噪声），他们可能会迷失方向。

时空旅行式的解决方案

这篇论文的作者决定采取一条不同的路线。他们没有尝试一步步去猜测隐藏路径，而是使用了一个叫做 RST 平滑器 的工具。把 RTS 平滑器想象成一位超级聪明的编辑，他在写下“隐藏”故事的任何一个字之前，都会从头到尾读完整个测量数据的完整故事。因为它观察了整个时间线，所以它可以平滑掉噪声，并推断出隐藏变量最可能的运行路径，即使这些变量从未被直接测量过。

这个过程通过两个交替进行的步骤运作，就像一场舞蹈：

猜测： 首先，他们冻结 AI 的大脑，并利用 RTS 平滑器，根据有噪声的测量数据和已知的物理部分来猜测隐藏状态（“潜变量”状态）。这给了他们一条看起来像是“地面真值”的“平滑”轨迹。
教学： 接着，他们将这条平滑后的轨迹视为真实的真相。他们利用它来教导神经网络如何填补缺失的物理方程。
重复： 他们在猜测路径和教导 AI 之间来回切换，直到模型变得非常擅长此道。

为什么这很重要：长远眼光

其他方法的一个大问题是，它们擅长预测下一秒，但对预测下一小时却表现糟糕。如果你在第一步犯了一个微小的错误，这个错误会不断扩大，就像滚下山坡的雪球一样，直到预测完全错误。作者意识到，仅仅训练 AI 观察下一步是不够的。

因此，他们增加了一个“长时程”测试。他们不仅仅问 AI，“你能预测下一秒吗？”他们还问，“你能预测接下来的 50 秒吗？”如果 AI 的预测随着时间的推移偏离了真相，他们就会对其进行惩罚。这迫使 AI 去学习系统的真实底层规则，而不仅仅是一个只在瞬间有效的捷径。

结果：更清晰的图像

作者在五个不同的系统上测试了他们的方法，范围从简单的摆钟到复杂的生物模型，如酵母细胞的能量循环和神经元的电放电。在每种情况下，他们都将自己的方法与其他的流行 AI 技术进行了对比。

摆钟： 当只测量摆动重物的位移（但未测量速度）时，他们的方法完美地重建了隐藏的速度，并保持了摆动的正确性。
神经元： 对于一个大脑细胞的模型，他们成功重建了一个控制细胞何时放电的隐藏“门控”变量，尽管该变量从未被测量。
化学反应： 在一个复杂的化学系统中，他们恢复了隐藏的化学浓度，并保持了振荡模式的稳定。

结果令人印象深刻。在模拟实验中，他们的方法在猜测隐藏状态方面的误差比其他方法降低了巨大幅度。例如，在酵母模型中，误差从其他方法的约 0.19 降至仅为 0.0004。他们还发现，他们的模型在长时间内保持准确，而其他方法则会偏离航向。

鲁棒性：处理噪声

或许最令人兴奋的发现是该方法处理糟糕数据的能力。作者测试了他们的系统在测量数据噪声不断增加的情况下的表现，模拟了“风暴”越来越大的情况。即使在信号非常微弱（信噪比仅为 5）的情况下，RTS 平滑器仍然能够重建出隐藏变量的连贯路径。这表明该方法非常鲁棒，不会轻易因为数据混乱而崩溃，而这恰恰是现实世界中经常发生的情况。

核心结论

这篇论文并不声称已经解决了科学中的每一个谜团。它承认，如果数据极其稀疏，或者噪声不符合我们的预期，该方法仍可能产生困惑。然而，它为那些试图理解带有缺失部分的复杂系统的科学家提供了一个强大的新工具。通过使用“时空旅行”式的平滑器来引导学习过程，他们可以构建出不仅准确而且具有可解释性的混合模型——我们知道哪些部分是基于已知物理学的，哪些部分是由 AI 学习到的。

关键的启示是，有时为了理解未来，你需要观察全局，而不仅仅是下一步。通过将经典数学的可靠性与人工智能的灵活性相结合，并使用一种聪明的“全知视角”训练技巧，这种方法帮助我们构建更完善的现实世界数字孪生体，即使我们无法看到一切。

技术摘要：基于 RTS 平滑器引导的物理驱动神经微分模型学习

问题陈述

常微分方程（ODEs）是物理学、生物学和工程学等领域中建模动力系统的标准工具。然而，实际应用面临两个主要挑战：

未知或不完整的动力学： 机理模型往往仅被部分指定，存在缺失项、简化的反馈机制，或未被闭式方程捕获的主题特定效应。
部分且有噪声的测量： 通常只能观测到一部分状态变量，且这些变量往往是间接观测并带有噪声，使得全状态重建变得困难。

现有的结合机理模型与神经网络的混合方法通常依赖于学习到的神经编码器或循环架构（例如 Latent ODEs, GRU-ODE-Bayes）来推断隐状态。作者认为，在强噪声、不规则采样或严重的局部状态测量条件下，这些学习到的推理机制可能会变得脆弱，且其隐层表示可能缺乏物理可解释性或稳定性。

方法论

本文提出了一种混合神经-物理框架，其中已知的 ODE 组件保持显式，而缺失的组件由神经网络表示。其核心创新是一个迭代两阶段算法，它在状态估计与参数学习之间交替进行，并利用 Rauch–Tung–Striebel (RTS) 平滑器而非学习到的编码器。

1. 问题公式化

系统被建模为一个随机状态空间模型：

动力学： $\dot{x}(t) = f_\theta(x(t)) + w(t)$ ，其中 $f_\theta$ 是具有参数 $\theta$ 的部分已知模型。
测量： $y(t_k) = h(x(t_k)) + \epsilon_k$ 。
目标是最小化给定噪声、部分观测值下参数 $\theta$ 的负联合对数似然。由于隐状态 $x$ 是不可观测的，直接优化是难以实现的。

2. RTS 引导的训练循环

作者使用 RTS 平滑器生成的平滑估计值 $\hat{x}$ 来替代未知的隐轨迹，并将该估计值视为用于训练的“伪真值”。该过程在以下两者之间交替进行：

阶段 1：状态估计（RTS 平滑）：
在固定神经网络参数 $\theta$ 的情况下，RTS 平滑器处理完整的测量序列，以估计隐状态轨迹 $\hat{x}_{0:T}$ 及其相关的协方差 $P_{0:T}$ 。这一步利用了已知的机理结构和噪声模型，以推断出与整个观测历史一致的状态，而不仅仅是过去的数据（这与滤波器的区别在于）。
阶段 2：参数更新（反向传播）：
将平滑后的轨迹 $\hat{x}$ 和协方差 $P$ 视为固定值，通过梯度下降更新神经网络参数 $\theta$ ，以最小化一个代理损失函数。

3. 多时界训练目标

训练损失是多个预测时界（ $n \in \mathcal{H}$ ）内误差的加权和：
$\mathcal{L} = \frac{1}{T_{tot}} \sum_{i,n} \left( \| e^{(y)}_{k+n} \|^2_{R^{-1}} + \| e^{(x)}_{k+n} \|^2_{P^{-1}_{k+n}} \right)$

观测误差： 由测量噪声协方差的逆 ( $R^{-1}$ ) 进行加权。
隐状态误差： 由平滑器协方差的逆 ( $P^{-1}$ ) 进行加权。这起到了置信度权重的作用；如果平滑器不确定性较高（ $P$ 较大），则会降低该项误差的权重。
多时界（Multi-Horizon）： 作者认为，单步（ $n=1$ ）训练不足以保证长时界的稳定性，尤其是在部分观测系统中，未测量变量的误差可能在若干个积分步之后才会显现。因此，损失函数包含了较长时间尺度上的展开（rollout）误差。

4. 混合架构

动力学模型 $f_\theta$ 被划分为：

$x_{phys}$ ： 具有已知解析动力学的状态（ $\dot{x}_{phys} = f_{phys}$ ）。
$x_{unk}$ ： 动力学未知的状态，完全由神经网络替换（ $\dot{x}_{unk} = f_{unk}$ ）。
这保留了已知物理的可解释性，同时学习缺失的项。

核心贡献

RTS 平滑器引导的学习： 本文引入了一种训练混合神经-ODE 的方法，通过使用 RTS 平滑来生成与动力学一致且稳定的隐状态伪目标，从而将状态估计与神经动力学的学习解耦。
估计与学习的分离： 不同于学习联合编码器-解码器或在测试时需要在线滤波的方法，该方法将平滑信息提炼到一个独立的混合 ODE 中。最终部署的模型无需在线状态估计器。
基于不确定性的加权： 训练损失利用平滑器的后验协方差 ( $P_k$ ) 来对状态转移误差进行加权，确保神经网络能从高置信度的状态估计中学习更多信息。
多时界目标： 在损失函数中包含更长的展开时界，解决了单步训练往往无法防止的误差累积问题。

实验结果

该方法在五个具有不同复杂度（线性、非线性、刚性）和部分可观测性的基准系统上进行了评估：

谐振振子（Harmonic Oscillator）： 1D 未测量状态。
Hodgkin–Huxley 神经元： 具有未测量门控变量的刚性多状态生物物理模型。
视网膜循环（Retinal Circulation）： 具有间接测量的生理模型。
Brusselator： 具有振荡行为的非线性反应网络。
酵母糖酵解（Yeast Glycolysis）： 高维生化振荡器。

性能指标：

隐状态 RMSE： 该方法在五个系统中的四个上达到了最低误差，相比 NeuralODE、GRU-ODE-Bayes 和基于 CKF 的基准方法有显著提升（例如在酵母糖酵解系统上从 $1.92 \times 10^{-1}$ 降至 $4.08 \times 10^{-4}$ ）。
展开豪斯多夫距离（Rollout Hausdorff Distance）： 该方法在所有五个系统上均取得了最低距离，表明其在长时界轨迹对齐方面具有优越性。
鲁棒性： 实验表明，即使在高测量噪声（低信噪比）下，该方法仍能保持稳定，而基于编码器的方法往往会变得脆弱。
消融实验： 去除 RTS 引导、隐状态损失或协方差加权均导致性能下降，证实了这三个组件的必要性。

重要性与主张

作者声称，对于数据稀疏或有噪声的情景，其方法为纯数据驱动的隐推理提供了一个稳健的替代方案。通过利用经典的卡尔曼平滑，该方法：

保留了可解释性： 模型的已知机理部分保持显式。
提高了稳定性： 平滑器提供了连贯的轨迹，防止了在部分观测条件下常见的“脆弱性”现象。
支持部署： 最终输出是一个紧凑的、基于物理的神经微分方程，可以在推理过程中进行前向模拟，而无需承担运行滤波器或平滑器的计算开销。

论文总结道，虽然该方法假设测量函数已知且噪声符合高斯分布，但它有效地架起了经典状态估计与现代神经微分方程学习之间的桥梁，为在部分观测系统中发现缺失的动力学提供了一个可靠的框架。