An Empirical Investigation of Neural ODEs and Symbolic Regression for Dynamical Systems

本文表明，将用于有效数据外推的神经常微分方程（NODEs）与用于方程恢复的符号回归（SR）相结合，为从有限且含有噪声的数据中发现支配物理规律提供了一种极具前景的混合方法。

要点

想象一下，你正试图弄清楚一个游戏的规则，但你手头只有几段模糊、抖动的游戏视频片段。你想写下支配这个游戏的精确物理定律，但数据很杂乱，而且你没有足够的视频画面来清晰地观察一切。

这篇论文讲述了一群科学家如何尝试利用两种人工智能的“超能力”来解决这个问题：神经常微分方程（Neural ODEs）和符号回归（Symbolic Regression）。

以下是他们所做工作及发现的简单拆解，使用了日常生活的类比。

两种超能力

1. Neural ODEs（直觉艺术家）：
   把它想象成一个通过观察几秒钟弹跳球的运动，从而学习球运动“感觉”的 AI。它非常擅长预测球下一步会去哪里，即使你还没向它展示过那个特定的位置。然而，它是一个“黑盒”。它能告诉你球会在哪里，但无法用简单的数学术语解释“为什么”。它就像一位可以通过味觉完美重现一道菜，却写不出食谱的厨师。

2. 符号回归（侦探）：
   这是一种通过观察数据并尝试寻找背后实际数学公式（即食谱）的 AI。它想要找到的是 $F = ma$ 这样的方程，而不仅仅是预测运动。问题在于，这个侦探需要大量清晰、高质量的证据才能破案。如果证据太嘈杂或太稀缺，它就会感到困惑。

实验：两个测试案例

研究人员在两个不同的系统上测试了这些工具：

• 倒立摆（Cart-Pole）： 想象一个在移动小车上保持平衡的杆子。科学家们想看看 AI 是否能预测如果小车以一种新的方式移动，这根杆子会如何倒下。
• 生物模型（Bio-Model）： 一个模拟细菌在食物供应变化时进行适应的系统。他们想看看 AI 是否能弄清楚支配细菌生长的生物学规则。

研究人员在数据中加入了“噪声”（就像收音机的静电干扰）以使其更具现实挑战性且更难处理。

核心发现

1. 艺术家可以画出界外的线条（外推能力）

研究人员发现，“直觉艺术家”（Neural ODE）在预测它未曾见过的场景时表现得惊人地好，但前提是新场景的感觉与旧场景相似。

• 类比： 如果你教一个 AI 如何在晴天开车，它可以猜出在阴天如何开车，因为物理机制是一样的。但如果你要求它在月球上开车，它可能会失败，因为“动态相似性”消失了。
• 结果： AI 不需要看到每一种可能的起始位置。它只需要看到足够多的运动“类型”来理解底层的节奏。一旦理解了节奏，它就能准确预测未来，甚至对于比训练时间长得多的时间段也能准确预测。

2. 侦探需要正确的线索（输入变量）

当“侦探”（符号回归）尝试从嘈osa的（嘈杂的）数据中寻找数学方程时，它成功了，但有一个条件：它需要正确的原料。

• 类比： 想象你在试图解开一个关于蛋糕的谜团。如果你只给侦探面粉和糖，他们可能会猜出食谱。但如果食谱还需要一种“秘密香料”（一个特定的变量），而你没把这种香料给他们，他们就会写出一个错误的食谱。
• 结果： 当研究人员给 AI 提供所有必要的变量时，它找到了正确的方程。当他们隐藏了一个关键变量时，AI 就变得困惑，并写出了一个简化且错误的定律版本。

3. 黄金组合：用艺术家协助侦探

这是最令人兴奋的部分。研究人员意识到，“直觉艺术家”（Neural ODE）非常擅长平滑处理杂乱的数据，因此它可以充当“侦探”的清洁工。

• 策略：
  1. 获取极少量真实的、带有噪声的数据（仅为通常所需量的 10%）。
  2. 基于这小部分数据训练“艺术家”。
  3. 让“艺术家”根据它学到的知识，生成一个巨大的、干净的、完美的数据集。
  4. 将这个干净的数据集喂给“侦探”。
• 结果： 尽管“侦探”只看到了 10% 的原始数据（通过艺术家的生成），但它成功找回了三分之二的正确控制方程，并且对第三个方程给出了一个非常接近的猜测。
• 为什么有效： “艺术家”起到了降噪耳机的作用。它过滤掉了静电干扰，揭示了真实的信号，使得“侦探”更容易找到数学规律。

总结

这篇论文提出了一种在数据匮乏时进行科学研究的新方法：

1. 使用灵活的 AI（Neural ODE）从一小部分嘈杂的样本中学习系统的“氛围”。
2. 让该 AI 生成该系统的清晰全貌。
3. 使用寻找公式的 AI（符号回归）来阅读这张清晰的全貌图，并写下实际的物理定律。

这就像是使用一位熟练的素描画家来填补模糊犯罪现场照片中的缺失细节，以便侦探最终能看清车牌号并破案。这种方法可以成为那些在数据难以获取的领域工作的科学家的强大工具。

技术摘要

技术摘要：关于神经常微分方程（Neural ODEs）与符号回归在动力系统中的实证研究

问题陈述
准确建模复杂系统的动力学并发现其控制微分方程是科学发现的基础。然而，利用实验数据（通常具有噪声且稀疏）来推断这些动力学过程面临着重大挑战。虽然神经常微分方程（NODEs）提供了一种强大的连续时间建模方法，但其在噪声条件下的表现以及在不同边界条件下外推的能力仍有待深入探索。相反，符号回归（SR）可以发现精确的控制方程，但通常需要难以在实验环境下获取的大规模、高质量数据集。本研究旨在通过调查 NODEs 是否可以作为一种数据增强工具，使 SR 能够从有限且带有噪声的数据中推断出物理定律，从而填补这两者之间的空白。

研究方法
本研究利用了来自两个不同阻尼振荡系统的含噪声合成数据：

1. 倒立摆系统（Cart-Pole System）： 一个受控于小车上摆杆角度动力学的机械系统，模拟过程中加入了均匀噪声（±5%）。
2. 生物模型（Bio-model）： 一个描述细菌对变化营养环境进行适应的生物模型，由涉及状态变量 $\psi_A$、$\phi_R$ 和 $\chi_R$ 的三个耦合常微分方程组成。

研究采用了两阶段流水线：

• NODE 训练与评估： 使用基于 JAX 的 Diffrax 库进行实现，对基于模拟数据的子集（范围从 10% 到全数据集）进行训练，并考虑了不同的采样频率。评估模型在未见过的初始条件和时间跨度上的插值与外推能力。
• 符号回归： 使用 PySR 库尝试恢复地面真值（ground-truth）方程。SR 在两类数据集上进行了测试：
  1. 直接使用地面真值模拟数据（含噪声及无噪声版本）。
  2. 使用仅由在 10% 原始模拟数据上训练得到的 NODE 所生成的完整数据集。
     分析特别考察了输入变量选择（例如，是否包含辅助变量 $\lambda$）以及噪声的存在对方程恢复的影响。

关键结果

• NODE 外推能力： 只要生成的轨迹与训练数据具有动态相似性，NODEs 就能有效地进行边界条件外推。
  • 在倒立摆系统中，对于位于训练数据相同相空间轨迹上的点，观察到了较低的均方误差（MSE）。
  • 在生物模型中，仅在“上移（up-shift）”营养变化条件下训练的模型，成功预测了“下移（down-shift）”响应，误差小于 5%，尽管训练期间从未见过下移数据。
  • 即使在极稀疏的采样（例如每小时 5 个点）下，由于噪声敏感性，插值误差会显著增加；但在较稀疏采样（如每小时 10 个点）的情况下，仍可实现高质量的长期预测（长达 8 小时）。
• 符号回归性能：
  • 地面真值数据： 当包含辅助变量 $\lambda$ 作为输入时，SR 成功从无噪声数据中恢复了所有三个控制方程。然而，在存在 5% 噪声的情况下，SR 未能恢复最复杂方程（方程 2）的完整结构，仅找到了一个大幅简化的形式。
  • NODE 增强数据： 当将 SR 应用于仅由在 10% 原始模拟数据上训练的 NODE 生成的数据时，它成功恢复了三个控制方程中的两个（方程 3 和 4），并为第三个方程（方程 2）提供了良好的近似。
• 去噪效应： 研究观察到 NODE 起到了去噪滤波器的作用。虽然 SR 难以从带噪声的地面真值数据中恢复方程 2 的真实结构，但 NODE 生成的数据使得 SR 能够找到更好的近似，通过将微小的信号项吸收进发现的常数中，有效地补偿了噪声。

意义与主张
作者声称，这项工作强调了一种针对数据匮乏领域进行科学发现的新兴方法。其主要贡献在于证明了 NODEs 可以从有限且带有噪声的数据中学习底层动力学，并生成丰富的增强数据集，从而使符号回归能够推断出物理定律。

作者谦虚地总结道，虽然该流水线成功恢复了三个方程中的两个并近似了第三个，但仍有改进空间。作者建议未来的工作可以通过以下方式提升结果：

• 将 SR 分析扩展到多样化的多条件数据，而非单一的偏移模拟。
• 优化 NODE 训练数据以最大化泛化能力。
• 在 SR 搜索中引入物理先验（如单位匹配）或替代框架（如 SINDy）。
• 探索更先进的架构，如神经控制微分方程（Neural Controlled Differential Equations, Neural CDEs）。

最终，该研究认为，使用 NODEs 来丰富有限的实验数据，是实现符号回归在传统方法因数据稀缺或噪声而失效的情况下发现控制方程的一种可行策略。