🤖 machine learning

Foundation Inference Models for Ordinary Differential Equations

该论文介绍了 FIM-ODE，这是一种预训练基础模型，它能够通过单次前向传播高效地从噪声轨迹中推断出 ODE 向量场，实现了强大的零样本性能，并实现了超越现有符号、神经和高斯过程基准模型的快速且无需专家的微调。

原作者： Maximilian Mauel, Johannes R. Hübers, David Berghaus, Patrick Seifner, Ramses J. Sanchez

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

原作者： Maximilian Mauel, Johannes R. Hübers, David Berghaus, Patrick Seifner, Ramses J. Sanchez

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心思想：教导侦探如何瞬间破解犯罪真相

想象你是一名侦探，正试图仅通过观察某人的游戏过程来推断出游戏的规则。你看到一个球在桌面上滚动、撞击墙壁并逐渐减速。你的任务是猜出导致这种运动的隐形“力场”（即规则）。

在科学领域，这被称为求解常微分方程（ODE）。科学家利用这些方程来描述从行星轨道到病毒传播的一切现象。通常情况下，从杂乱、多噪声的数据中推断出这些规则，就像是戴着厚手套玩拼图——既缓慢又困难，且需要大量的专家训练。

这篇论文介绍了一种名为 FIM-ODE 的新工具。你可以将 FIM-ODE 想象成一名超级侦探，在见到你的具体案件之前，他已经破解了数百万个练习题。由于它做了大量的“课前作业”（预训练），它只需看一眼你的杂乱数据，就能瞬间猜出游戏的规则，而无需从头开始重新学习。

工作原理：“训练营” vs. “实战赛”

1. 训练营（预训练）
大多数 AI 模型都是针对一个特定问题进行训练的。如果你想预测天气，你会训练一个模型；如果你想预测股价，你会训练另一个。这就像是为每一份工作都招聘一名新员工，并让他们从第一页开始阅读手册。

作者们采取了不同的方法。他们为他们的 AI 建立了一个庞大的“训练营”。

课程设置： 他们生成了 6 亿个虚构的、人工合成的物理问题。这些问题足够简单以至于可以被求解（使用低阶多项式，类似于基础代数曲线），但也足够复杂，足以教会 AI 如何识别模式。
教学内容： AI 学习的是一种通用的“推理算法”。它不是在死记硬背特定的答案，而是在学习如何从嘈杂的观测中推导出规则。

2. 实战赛（零样本推理）
一旦 AI 完成了训练营，他们就把它投入到了现实世界中。

测试： 他们给了它从未见过的真实世界数据，包括来自复杂化学反应的数据，甚至是人类动作捕捉（人走路和跑步）的数据。
结果： AI 不需要重新训练。它观察杂乱的数据，并立即绘制出一张驱动运动的“力场”地图。在许多情况下，尽管它的体积更小且看到的训练样本更少，其表现仍优于之前的最先进模型。

秘诀：局部地图 vs. 全局地图

论文对绘制地图的两种方式做出了精妙的区分：

全局地图（旧方法）： 之前的模型试图写出一个单一且完美的数学句子（符号公式）来描述问题的整个宇宙。这就像试图用一句话来描述整个海洋。如果这句话在某个地方稍有偏差，整个地图就全错了。
局部地图（FIM-ODE 的方式）： FIM-ODE 不试图为整个世界写出一句完美的诗。相反，它表现得像一个全息图。它观察数据所在的特定位置，并只为那个小区域绘制一张精确的微型地图。它知道如果移动一点点，规则可能会发生细微变化，因此它会更新其局部地图。

类比： 想象你在尝试描述一座山的地形。

全局方法试图写一首诗，同时描述山峰、山谷和坡度。
局部方法（FIM-ODE）则说：“我不需要为整座山写诗。我只需要知道你现在站立的地方地面感觉如何。”事实证明，当数据很杂乱时，这种方法要准确得多。

为什么这很重要

1. 速度与简洁性
通常，为了获得一个好的模型，你需要一支专家团队、庞大的计算机和数周的训练时间。FIM-ODE 就像是一个预装好的 GPS。你不需要自己绘制地图，只需打开它，它就会引导你。它让没有深厚机器学习背景的科学家也能快速推断复杂的动力学过程。

2. 处理杂乱数据
现实世界的数据从来都不是完美的。它们带有噪声（静电干扰）和缺口（缺失部分）。因为 FIM-ODE 在数百万个“受损”的虚构场景中接受过训练，它非常擅长忽略这些静电干扰并填补空白。

3. “微调”选项
有时，预训练的侦探很出色，但对于某个非常特殊、古怪的案例（比如某个特定的人独特的走路姿势）可能并不完美。论文表明，你可以提取这个预训练模型，并在仅仅这一个特定案例上进行极少量的额外训练（微调）。它能极其快速地完成适应，在几分钟内而非几天内变成一名专家。

局限性（代价）

论文坦诚地说明了该工具目前面临的挑战：

“维度诅咒”： 训练营主要针对 1、2 或 3 维问题（例如球在直线、平面或房间内运动）。当情况变得非常复杂（高维）时，“虚构”的训练数据有时会爆炸或变得不稳定。作者承认，目前他们受限于 3 维，因为生成高维度的稳定且真实的数据非常困难。
并非万能灵药： 如果数据过于稀疏，或者系统与 AI 在训练期间见过的任何东西都完全不同，它仍然可能会感到困惑。它是一个用于生成假设的工具，而不是人类科学判断的替代品。

总结

作者为物理方程构建了一个“基础推理模型”。通过在海量的简单合成物理问题库中训练神经网络，他们创造了一个能够从噪声数据中瞬间猜出运动规则的模型。它运作起来像是一个局部绘图员而非全局诗人，这使得它比以往的方法更准确、更具适应性，同时还需要更少的计算能力和专业知识。

技术摘要：常微分方程的基础推理模型 (FIM-ODE)

1. 问题陈述

常微分方程（ODEs）是科学建模的基础，然而从噪声、稀疏且不规则采样的轨迹数据中推断其潜在的向量场仍然是一个重大挑战。传统方法可分为三类：

符号回归（Symbolic Regression）： 如 SINDy 或遗传规划等方法通过搜索符号表达式来工作，但通常需要干净、高密度采样的数据、准确的导数估计或关于函数形式的强先验知识。
高斯过程（GP）回归： 这些方法严重依赖于高斯过程先验的选择，并且通常涉及复杂的变分近似或梯度匹配。
神经常微分方程（Neural ODEs）： 虽然具有灵活性，但它们需要昂贵且不稳定的训练流程，涉及通过数值求解器的反向传播或缓慢的伴随方法，这对机器学习专业知识提出了很高要求。

这些经典方法遵循“针对每个数据集”的优化范式，即为每个特定系统从头开始训练一个模型。本文提出转向使用基础推理模型（FIMs）的**摊销推理（amortized inference）**范式。其目标是在多样化的合成数据集上进行预训练，以学习一种可重用的推理程序，从而实现通过单次前向传播从噪声轨迹中进行快速、零样本（zero-shot）的向量场估计。

2. 方法论：FIM-ODE

所提出的 FIM-ODE 框架由两个主要部分组成：一个关于 ODE 的预训练先验分布和一个神经推理模型。

2.1 预训练先验分布

作者定义了一个基于一阶自治 ODE 在维度 $d \in \{1, 2, 3\}$ 上的先验分布的合成数据生成流水线。

向量场： 先验假设向量场由次数最多为三的稀疏多变量多项式组成。系数从 $\mathcal{N}(0, 1)$ 中采样，并应用随机掩码（masking）到阶数和单项式上，以诱导稀疏性和结构多样性。这一选择的动机在于，许多经典 ODE（例如 Lorenz 系统、生物振荡器）都是低阶多项式系统，且多项式通过皮卡-林德洛夫（Picard-Lindelöf）定理保证了解的存在性与唯一性。
数据生成： 对于每个采样的向量场，从服从 $\mathcal{N}(0, 1)$ 的初始条件出发模拟多条轨迹。
损坏（Corruption）： 为了模拟现实世界的观测，轨迹被添加了乘性高斯噪声和随机子采样（移除部分观测值）。产生发散轨迹的系统会被丢弃，以便将训练集中在有界区域。

2.2 模型架构：基于 Transformer 的神经算子

FIM-ODE 是一个基于 Transformer 的神经算子，旨在将噪声轨迹上下文映射到局部向量场估计。

输入表示： 模型处理的不是原始轨迹，而是从连续状态对 $(y_i, y_{i+1})$ 导出的“转移特征（transition features）”。这些特征包括当前状态、位移、位移平方以及观测间隔时间。这种设计利用了向量场的有限差分近似。
编码器（Encoder）： 上下文编码器使用自注意力机制来创建 $K$ 条噪声轨迹的置换不变表示。
解码器（Decoder）： 函数注意力解码器在任意空间位置 $x$ 查询此上下文表示。它通过交叉注意力从上下文中提取相关信息，以生成局部向量场估计 $\hat{f}_\theta(x)$ 。
尺度不变性： 模型在空间维度上采用可逆实例归一化（reversible instance normalization），并在时间维度上采用 $\Delta \log$ 中心化，以处理不同 ODE 系统间的不同尺度。
损失函数： 训练采用混合采样策略（一半来自观测到的轨迹点，一半来自均匀空间采样）以及不确定性加权损失（带有异方差尺度的拉普拉斯似然），以防止优化被向量场的高量级区域所主导。

3. 核心贡献

具有强泛化能力的简单预训练先验： 作者引入了一个基于 1–3 维低阶多项式向量场的预训练先验。尽管该先验比 ODEFormer（一个在 5000 万个系统中预训练的 86M 参数模型）使用的复杂先验（包含三角函数和有理函数）显著简单，但 FIM-ODE 仍实现了强大的零样本性能，通常能达到或超越 ODEFormer。
局部神经算子表示： 与寻求全局函数形式的符号回归方法不同，FIM-ODE 使用神经算子进行局部向量场表示。作者证明了这种局部表示可以匹配甚至超过全局符号表示的精度，特别是在数据丰富的场景下。至关重要的是，他们展示了这种局部表示是可解释的：它可以被查询以获取平衡点、雅可比矩阵、稳定性类型和相空间几何，类似于符号 ODE。
针对分布外（OOD）场景的有效微调： 本文证明了预训练模型是一个强大的初始化手段。当目标动力学远离分布（例如现实世界的人体运动或低数据场景）时，在特定上下文数据上进行适度的微调可以实现快速且稳定的适配，其表现优于现代神经 ODE 和基于 GP 的基准方法，且无需广泛的机器学习专业知识。

4. 实验结果

作者在三个主要实验设置下评估了 FIM-ODE：

ODEBench（零样本推理）： 与 ODEFormer（在 5000 万个系统中预训练的 86M 参数模型）在 61 个自治 ODE 基准测试上进行对比。
- FIM-ODE（8M 参数，在 0.6M 个系统中预训练）在所有噪声和子采样配置下的轨迹重建方面一致优于 ODEFormer。
- 在轨迹泛化（从新的初始条件进行预测）方面，FIM-ODE 的表现与 ODEFormer 相当，且在较宽松的阈值下具有明显优势。
- 可解释性分析： 在特定的 OOD 系统（如无摩擦摆、CDIMA 反应）上，FIM-ODE 成功识别了局部稳定性属性（如不稳定螺旋），而全局符号模型有时会误分类这些属性，这突显了局部估计相对于僵化的全局函数承诺的优势。
低数据 OOD 场景（Van der Pol 与 FitzHugh-Nagumo）：
- 在具有短且噪声较大的上下文窗口的零样本设置中，FIM-ODE 显示出对噪声实现的敏感性，这是纯零样本推理在数据匮乏场景下的局限性。
- 然而，在特定上下文数据上微调 FIM-ODE 可以实现快速适配，产生显著的性能提升，并超越了经典的基准方法（NeuralODE、基于 GP 的方法）。
现实世界人体运动（CMU 动作捕捉）：
- 应用于行走和跑步序列的 5D 潜在表示。
- 零样本性能因受试者而异：对于某些受试者（Subject 09）表现极佳，但对于动力学特性与多项式先验不太一致的受试者（Subject 35, 39）表现较差。
- 微调在受试者特定数据上极大地恢复了性能，证明了一旦对特定向量场进行适配，该 3D ODE 模型类足以表示这些动力学特性。

5. 重要性与声明

本文声称 FIM-ODE 降低了数据驱动 ODE 推理的门槛。通过通过预训练实现推理成本的摊销，它使科学家能够在无需以下条件的情况下推断动力学模型：

为每个数据集训练定制模型。
依赖大规模、高质量的数据集。
具备深厚的机器学习专业知识或计算预算。

作者强调，虽然该模型并非解决所有动力系统的“万灵药”（指出其多项式先验在非平稳缩放方面的局限性，以及固定的维度限制），但它为假设生成和模型辅助分析提供了一个强大的工具。结果表明，一个基于简单先验训练的局部神经算子方法，可以有效地泛化到复杂的现实世界系统，为复杂的符号回归或不稳定的神经 ODE 训练流程提供了一个引人注目的替代方案。

承认的局限性：

多项式先验会导致非平稳缩放，导致向量场量级随距离原点的距离增加而增长，这限制了生成稳定的、高维轨迹的能力（因此限制在 $d \le 3$ ）。
该架构目前具有固定的最大状态维度，需要预先选择维度。
零样本推理在低数据场景或目标动力学与先验不匹配时可能会失效，因此需要进行微调。