🤖 machine learning

In-Context Learning of Stochastic Differential Equations with Foundation Inference Models

该论文介绍了 FIM-SDE，这是一个预训练的基础模型，它利用上下文学习以及在多样化 SDE 路径上的监督训练，实现了从噪声时间序列数据中对漂移函数和扩散函数进行准确的零样本估计，同时在针对目标数据集进行微调时，始终优于传统的基准模型。

原作者： Patrick Seifner, Kostadin Cvejoski, David Berghaus, Cesar Ojeda, Ramses J. Sanchez

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

原作者： Patrick Seifner, Kostadin Cvejoski, David Berghaus, Cesar Ojeda, Ramses J. Sanchez

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图通过观察某人玩游戏来弄清游戏的规则，但有一个难点：玩家正被看不见的、随机的阵风吹得东倒西歪。你可以看到他们的去向，但你看不见风本身，而且你的视野有时会变得模糊或被中断。

这就是科学家在研究随机微分方程 (Stochastic Differential Equations, SDEs) 时面临的问题。这些是描述系统在可预测流向（如河流湍流）与随机混沌（如阵风）混合运动下的数学公式。目标是找出控制这两个部分的隐藏“函数”：

漂移项 (Drift)： 可预测的部分（如河流湍流）。
扩散项 (Diffusion)： 随机的部分（如阵风）。

通常，弄清这些规则需要大量的数据、大量的时间以及对规则可能形态的大量猜测。如果数据很杂乱或很稀疏，旧的方法往往会失效或需要极长的计算时间。

新的解决方案：FIM-SDE

该论文的作者引入了一个名为 FIM-SDE（用于 SDE 的基础推理模型）的新工具。可以将 FIM-SDE 想象成一位超级聪明的侦探，他在模拟实验室中研究了数百万场虚构的游戏。

以下是它的工作原理，使用简单的类比说明：

1. “训练营” (预训练)

在侦探接触真正的案件之前，他先去参加了一个大规模的训练营。

模拟过程： 研究人员生成了 60 万个虚构场景。他们发明了随机的“漂移”和“扩散”规则（主要是简单的多项式等数学公式），模拟游戏过程，然后故意“破坏”数据。他们加入了噪声、模糊了视野，并跳过了时间步。
教学内容： 侦探（AI 模型）接受训练，通过观察这些杂乱、虚假的比赛日志，立即猜出创造这些日志的隐藏规则。它学会了从混沌中识别模式。

2. “零样本”超能力 (上下文学习)

训练完成后，侦探可以观察一个全新的游戏日志（现实世界数据），并立即猜出规则，而无需花费数小时专门研究那个特定的游戏。

类比： 想象你见过成千上万种不同的天气模式。如果有人给你看一张略微模糊的新风暴照片，你可以立刻说：“啊，这是一个低压系统伴随高风速”，而不需要重新运行计算机模拟。
结果： 论文表明，FIM-SDE 可以观察来自股票价格、油价或风速等杂乱数据的记录，并几乎能准确猜出其底层的规则，其表现不亚于分析了该特定数据数日的专家。

3. “快速学习” (微调)

有时，侦探的第一次猜测虽然不错，但并不完美。也许真实的比赛中有一个训练营里没涵盖的奇怪特征。

类比： 侦探不需要从头开始，他只需要进行一次快速复习。
结果： 论文声称 FIM-SDE 仅需 100 步（迭代）即可适应特定的新数据集。其他方法可能需要 5,000 步才能达到同样的准确度。这就像侦探已经掌握了那门语言，只需要学习几个新俚语，而其他方法则是在从零开始学习整门语言。

他们测试了什么？

作者在两类挑战中测试了这位侦探：

经典物理问题： 如“双阱”系统（一个小球在两座山丘之间滚动）和“洛伦兹吸引子”（一个著名的混沌天气模型）。
现实世界数据： Facebook 和特斯拉的股价、石油价格波动以及风速记录。

结论

面对杂乱数据： FIM-SDE 比旧方法更具鲁棒性。当数据充满噪声或稀疏时，旧方法往往会放弃或给出错误答案，而 FIM-SDE 仍能持续工作。
关于速度： 它的适应速度极快。它学习一个新系统的速度比之前的深度学习方法快 50 倍。
关于准确性： 当它针对特定数据进行快速“微调”时，它的准确度超过了所有其他方法（包括符号数学和高斯过程）。

局限性 (注意事项)

论文诚实地说明了这位侦探目前无法做到的事情：

仅限简单规则： 侦探接受的是相对简单的数学规则（多项式）训练。如果现实世界使用的是极其复杂的、非数学性的规则，侦达可能会遇到困难。
小型系统： 它最适用于具有 1 到 3 个变量的系统（例如在三维空间中运动的小球）。尝试将其应用于具有数百个变量的系统目前仍然过于困难，因为“训练营”的模拟过程会变得太慢且容易出错。

总而言之： FIM-SDE 是一种预训练 AI，它通过数百万次模拟学习了随机运动的“语法”。它可以立即阅读一段杂乱的现实世界故事并猜出规则；如果你给它一点额外的帮助，它就能成为比任何人都更快、更擅长猜出这些规则的专家。

技术摘要：基于基础推理模型的随机微分方程上下文学习

问题陈述

随机微分方程（SDEs）对确定性流（漂移项）与随机波动（扩散项）叠加的动力系统进行建模。机器学习和科学发现中的一个核心挑战是如何从带有噪声的时间序列数据中准确估计或“发现”这些漂移函数和扩散函数。

现有方法面临显著局限性：

符号回归（Symbolic Regression）： 严重依赖预先指定的基函数字典，且通常需要密集且干净的数据。
高斯过程（GP）回归： 使用非参数先验，但对先验知识较为敏感，并且在数据稀疏或多噪时往往难以收敛，频繁需要变分近似。
神经 SDE（Neural SDEs）： 通过神经网络表示漂移和扩散，但通常需要昂贵的训练过程，涉及通过 SDE 求解器（通常通过伴随灵敏度方法）进行反向传播，并且必须为每个新系统从头开始重新训练。

本文确定了一个需求缺口，即需要一种能够从噪声数据中进行上下文（零样本）估计 SDE 函数的方法，而无需进行大规模重训，同时保持对稀疏观测和噪声的鲁棒性。

方法论：FIM-SDE

作者引入了 FIM-SDE（用于 SDE 的基础推理模型），这是一种预训练的神经识别模型，旨在将噪声的、离散观测的 SDE 路径直接映射到其潜在的漂移和扩散函数。该方法由两个主要部分组成：

1. 数据生成模型

为了构建一个能够泛化到未知系统的训练模型，作者基于生成先验 $p_{prior}(f, G)$ 构建了一个合成数据集。

函数空间： 漂移函数采样自次数 $\leq 3$ 的多项式，扩散函数采样自次数 $\leq 2$ 的正多项式。这涵盖了广泛的物理模型，包括混沌系统。
模拟与破坏： 使用 Euler-Maruyama 方案模拟 SDE 路径。随后，这些路径被“破坏”以模拟现实世界的数据：
- 噪声： 应用加性高斯噪声。
- 不规则采样： 对路径进行子采样，以创建不规则的观测间隔时间（ $\Delta \tau$ ），这些间隔可以显著大于模拟步长（ $\Delta t$ ）。
训练数据： 数据集包含被破坏的时间序列及其对应的地面真值（ground-truth）漂移/扩散对。

2. 神经识别模型架构

FIM-SDE 是一种受神经算子（特别是 DeepONets）和摊销推理（amortized inference）启发的 Transformer 架构。

输入表示： 输入上下文由源自噪声时间序列的转移元组 $(y_i, \Delta y_i, \Delta y_i^2, \Delta \tau_i)$ 组成。包含 $\Delta y^2$ 的设计使得网络能够学习独立的特征通道，用于分别进行漂移和扩散估计。
上下文矩阵（Context Matrix）： 一个自注意力 Transformer 编码器（ $\Psi$ ）处理嵌入的转移元组，以创建“上下文矩阵”。该矩阵充当 DeepONet 中 Branch-net 的等效部分，编码整个观测历史。
函数注意力（Functional Attention）： 为了估计特定查询位置 $x$ 处的漂移或扩散，模型采用了“函数注意力”机制（等效于 DeepONet 的 Trunk-net）。该机制使用位置 $x$ 作为查询来查询上下文矩阵，根据空间邻近性动态地对转移进行加权。
训练目标： 模型通过最小化估计函数与地面真值之间的加权均方误差（MSE）来进行训练。使用一个可学习的不确定性估计器 $U_\theta$ 来降低模型不确定区域（例如稀疏或高噪声区域）的权重，从而防止数值不稳定。

3. 微调策略

虽然 FIM-SDE 以零样本模式运行，但它支持快速微调：

密集数据： 微调通过最大化短时转移的似然度来实现。
稀疏数据： 微调通过模拟观测间隔期间的推演 SDE，并最小化模拟状态与观测状态之间的差异来实现。
这使得模型能够适应特定的目标数据集，其迭代次数比标准的 Neural SDE 方法显著减少。

核心贡献

数据生成模型： 一种新型模型，用于对受限于多项式漂移和扩散的 SDE 路径进行采样和破坏。作者通过实验证明，该模型编码了强大的先验，使其能够泛化到分布内合成系统和现实世界数据集。
首个上下文神经识别器： FIM-SDE 是第一个能够以零样本方式从噪声数据中估计低维 SDE 漂移和扩散函数的神经模型。
快速适应： 该模型可以针对目标过程进行微调（包括密集和稀疏过程），其收敛速度比标准 Neural SDE 方法快达 50 倍，同时最终性能更优。

实验结果

作者在八个典型 SDE 系统（如双阱势、洛伦兹吸引子）和四个现实世界数据集（Facebook/特斯拉股价、油价、风速）上评估了 FIM-SDE。

零样本性能： 在不同噪声水平（ $\rho$ ）和观测间隔（ $\Delta \tau$ ）下的典型系统中，FIM-SDE 表现出了稳健的性能。在多噪或稀疏设置下，它始终优于符号回归（BISDE）和高斯过程（SparseGP）基准。在干净、密集的数据上，它的表现与这些基准相当。值得注意的是，在符号和 GP 方法经常产生无效 SDE 估计或无法收敛的情况下，FIM-SDE 仍能保持稳定。
现实世界数据： 在股票价格数据上，FIM-SDE 的零样本性能超过了 BISDE 和 LatentSDE。在风速和石油数据上，虽然零样本性能略逊于 BISDE，但微调后的 FIM-SDE 在所有系统中都取得了最佳的整体性能。
效率： 在洛伦兹吸引器上的微调实验显示，FIM-SDE 在不到 100 次迭代时就超越了经过 5000 次迭代训练的 LatentSDE 基准。在现实世界数据集中，FIM-SDE 仅需 100 次微调迭代，而 LatentSDE 需要 5000 次，这意味着 50 倍的计算量缩减。

意义与主张

论文声称 FIM-SDE 是一个真正的 基础模型，用于 SDE 发现。其重要性在于：

规避训练瓶颈： 它消除了为每个新数据集进行昂贵且特定于系统的训练流程以及通过 SDE 求解器进行反向传播的需求。
鲁棒性： 它能有效处理噪声、稀疏和不规则采样的数据，而无需在观测值之间进行显式的变分正则化。
科学自动化： 通过提供一种可快速适应的零样本解决方案，它为在先验动力学知识匮乏的情况下实现自动化科学发现提供了路径。

作者承认存在局限性，主要是目前的先验被限制在低阶多项式漂移/扩散和低维系统（由于高维采样中的拒绝率问题）。然而，他们认为，从这一受限类别中学习到的强大归纳偏置足以作为现实应用中的强大初始化。