💻 computer science

Neural operator discovery from heterogeneous trajectories

本文介绍了神经算子发现（Neural Operator Discovery, NOD），这是一个通过因子化的潜变量条件化公式，直接从无标签控制因子的异构轨迹中学习共享解算子与系统特定变体，从而实现可解释且零样本泛化的框架。

原作者： Sili Deng, Zituo Chen, Qiaofeng Li, Jiaxin Hu

发布于 2026-07-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Sili Deng, Zituo Chen, Qiaofeng Li, Jiaxin Hu

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一名正在试图破解谜题的侦探，但你手里只有留下的脚印，却没有留下这些脚印的鞋子。在物理学和工程学的世界里，科学家们经常拥有海量的数据——关于事物如何运动、流动或随时间变化的快照，比如船只身后旋转的尾迹，或是热量如何在金属棒中扩散。这些被称为“轨迹”。通常，为了预测接下来会发生什么，科学家需要知道每个特定情况下的确切“游戏规则”：流体的粘度、物体的形状或温度。这就像是需要知道鞋子的确切重量，才能预测脚印会有多深。但在现实世界中，我们往往没有这些标签。我们只有凌乱的脚印。这篇论文解决了如何在仅凭观察脚印的情况下，同时学习游戏的规则和鞋子的具体细节这一挑战。

作者们来自麻省理工学院（MIT）和浙江大学的一个团队，开发了一种被称为“神经算子发现”（Neural Operator Discovery, NOD）的新方法。把它想象成一个超级聪明的 AI 侦探，它不仅能记住脚印，还能学会理解行路者的“风格”。他们发现，通过迫使他们的 AI 去观察由同一个人完成的两段不同的行走过程（尽管起始点不同），AI 就能在从未被告知其身份的情况下，识出这个人的独特“风格”（隐藏的规则）。这使得 AI 即使面对从未见过的个体，甚至是在规则发生剧烈变化的极端条件下，也能高精度地预测未来的运动。

侦探的新招式

通常，当科学家试图建立一个计算机模型来预测一个系统（如流体或化学反应）的行为时，如果他们没有“说明书”，就会碰壁。如果他们想预测水流如何绕过一个圆柱体，他们需要知道水的粘稠度。如果没有这个数值，模型就是盲目的。

以往试图解决这一问题的尝试，就像是通过观察单个脚印来猜测鞋码。有些方法试图记忆整个运动的历史（比如观察过去 10 步来猜测下一步），但这往往会导致模型变得混乱，并在随后的时间里产生巨大的误差。另一些方法则试图将数据压缩进一个隐藏的“秘密代码”中，但这个代码往往很混乱，并且无法告诉我们任何关于物理学的有用信息。

由邓斯理（Sili Deng）及其同事领导的团队决定尝试一种不同的方法。他们把这个问题处理成一场关于“寻找相同之处”的游戏。

“双重故事”训练游戏

以下是他们的 NODnet 方法是如何运作的，我们用一个简单的类比来说明：

想象你有一个包含数千个不同作者编写的故事的图书馆。你不知道谁写了哪个故事，也没有他们的名字。你的目标是构建一台机器，使其能够完成任何故事，无论是由谁写的，甚至能为从未见过的作者编写新的故事。

作者们的窍门是取自同一个作者书籍中的两个不同章节。

章节 A 用于确定作者独特的“声音”（他们的风格、词汇和语调）。
章节 B 用于测试机器是否能以该“声音”为引导，预测接下来的情节。

至关重要的一点是，机器被告知：“这两个章节出自同一位作者，但它们在情节的起始点不同。”这迫使机器忽略特定的情节细节（如“英雄当时在城堡里”），而专注于作者独特的风格（即“控制因素”）。

在现实世界中，这意味着 AI 观察一段流体流动的短促数据（即“声音”），并利用该信息来预测来自同一流体设置的另一段不同数据的未来。通过不断重复这一过程，AI 学会了剥离特定起始条件的噪声，从而分离出支配系统的纯粹“规则”。

“隐藏维度”的魔力

这一发现中最巧妙的部分之一，是 AI 如何弄清楚它需要学习多少条隐藏规则。

想象你在描述一个人的走路风格。你可以使用一千个不同的词，但也许你只需要两个词：“步幅”和“步频”。如果你使用的词太多，你就会开始描述他们袜子的颜色（无关细节）。如果你使用的词太少，你就无法区分短跑选手和散步者。

研究人员建立了一个系统，可以自动测试不同数量的“隐藏词汇”（称为潜维度）。他们发现，对于 Burgers 方程（一种模拟流体冲击的模型），AI 自然而然地稳定在 1 个隐藏维度。对于 FitzHugh–Nagemo 系统（一种模拟神经冲动的模型），它稳定在 2 个维度。这与这些系统中实际变化的物理变量数量完美契合（前者为粘度，后者为两个参数）。

这表明 AI 不仅仅是在瞎猜；它实际上是在发现描述世界所需的真实且最简化的规则数量。这就像是 AI 在说：“我不需要知道袜子的颜色；我只需要知道步幅。”

他们的发现（以及未发现的部分）

团队在三个截然不同的物理系统上测试了这个想法：

Burgers 方程： 一个可以产生剧烈、突然冲击（如音爆）的流体流动模型。他们测试了不同的粘度，包括一个“零粘度”的情况，即流体是完全无摩擦的。
圆柱流尾迹： 空气或水在圆柱体后方旋转的方式。这是一个艰难的测试，因为数据是“稀疏”的（只有 16 个样本），且形状不规则。
FitzHugh–Nagemo 系统： 一个关于神经电信号如何传输的模型，这种信号可以表现出复杂的振荡行为。

在所有这三个案例中，NODnet 模型都优于旧方法。

长期预测： 其他模型会在几步之后偏离轨道（就像一个信号逐渐丢失的 GPS），而 NODnet 模型能保持长时间的准确性。例如，在 Burgers 测试中，旧的“自回归”模型（仅观察过去）在 50 步后会出现巨大误差，而 NODnet 依然保持冷静。
零样本魔力（Zero-Shot Magic）： 该模型甚至可以预测它从未见过的系统的未来。在神经脉冲测试中，他们用一组特定的规则训练 AI，然后要求它预测一组它从未遇到的全新规则。AI 不仅仅是在猜测；它利用学到的“风格”进行了正确的推演。
“无粘性”极限： 在流体测试中，他们要求 AI 预测流体具有“零粘度”时的情形（这是一个它并未明确训练过的状态）。AI 的内部“声音”平滑且连续地变化以应对这种极端情况，表明它真正理解了物理学，而不只是数学。

侦探的局限性

作者们谨慎地指出，这是一种基于模拟的发现。他们尚未在来自工厂或河流的真实、带有噪声的传感器数据上进行测试。他们还指出，当“规则”发生突变时，该方法的效果会打折扣。如果系统突然从一种行为模式跳跃到另一种完全不同的模式（例如水变成冰），目前的这种方法可能会遇到困难。

此外，他们发现 AI 被“教导”的方式至关重要。如果 AI 每次只看一步（比如电影中的单帧画面），它就无法学习到深层的规则。它需要看到全景或预测未来多个步骤，才能理清系统的“声音”。这表明，要从数据中发现自然法则，我们需要观察大局，而不仅仅是紧接着的下一步。

为什么这很重要

这篇论文提出了一种新的科学研究方式。与其需要人类为每一次实验标注参数，我们或许可以让 AI 筛选那些杂乱无章、没有标签的数据，并为我们找到隐藏的规律。这是迈向“自我监督”发现的一步，在这种模式下，机器通过观察宇宙的运行来学习其规则。

虽然它现在还不是解决所有物理问题的万能钥匙，但它提供了一条充满希望的路径。它表明，即使没有说明书，如果我们能观察足够多的不同“脚印”，并以正确的方式进行比较，我们就能学会预测复杂系统的未来——从血管中血液的流动到大气层中的天气模式。AI 不仅仅是在记忆；它正在学习像物理学家一样思考。

技术摘要：异构轨迹中的神经算子发现

问题定义

在许多物理科学领域，轨迹数据是从同一类动力系统家族中收集的，这些系统共享共同的控制律，但在未观测到的系统特定因素（如物理参数、几何形状或边界条件）上存在差异。现有的数据驱动建模方法在这种设定下面临显著局限性：

符号回归（Symbolic Regression）： 虽然能够无需标签地恢复方程，但受限于原始库（primitive libraries），且对于高维时空动力学而言计算成本过高。
参数化神经算子（PNO）： 这些模型需要将显式的控制因素作为输入进行监督，而这在目标设定中是不可用的。
自回归神经算子（ANO）： 这些模型通过对过去的观测窗口进行条件化来预测未来，而不使用显式的潜在表示。虽然它们避免了参数监督，但会积累滚动误差，并且无法提供具有可识别性的、低维度的系统变化表示。
潜在条件模型（Latent-Conditioned Models）： 现有方法通常在表达能力、可扩展性或可解释性之间进行权衡，或者依赖于昂贵的元学习过程。

本研究解决的核心挑战是 神经算子发现（Neural Operator Discovery, NOD）：在无法获取标记控制因素的情况下，直接从异构轨迹中学习共享解算子和系统特定的变化。

方法论：NODnet

作者提出了一种分解实现方式——NODnet，它将问题分解为两个组件：

轨迹编码器 ( $f_\phi$ )： 将来自某个系统实例的“条件化”过去状态窗口映射到低维潜在表示 $c$ 。
状态演化算子 ( $g_\theta$ )： 一个条件神经算子，根据初始状态和潜在表示 $c$ 预测未来状态。

为了确保潜在表示仅捕捉系统特定的变化（控制因素）而非瞬态轨迹特征，该方法采用了三种关键约束：

1. 分解预测

不同于直接从历史窗口预测未来状态（如 ANO），该模型对过程进行了分解：
$c = f_\phi(x'_{0:s}), \quad \hat{x}_{t+1} = g_\theta(x_t; c)$
编码器从条件轨迹 $x'_{0:s}$ 中推断出 $c$ ，而解码器则根据来自同一系统实例的另一条轨迹 $x_{t:t+1}$ 预测其演化。

2. 轨迹解耦采样

为了防止编码器编码初始条件特有的信息，训练过程中将编码器和解码器配对使用来自同一系统实例的不同初始条件生成的轨迹。这迫使编码器仅保留跨轨迹的不变量（即控制因素），并抑制轨迹特有的特征。

3. 维度选择

潜在空间的维度并非任意固定，而是被选择为足以捕捉系统间变化的最小值。这通过两阶段程序实现：

第一阶段： 识别候选维度，即当增加维度不再产生超出随机种子变率之外的显著损失改善时，所对应的维度。
第二阶段： 选择最终维度 $d^*$ ，它是满足以下条件的最小候选值：对应的 $d+1$ 模型不会产生额外的因子对齐结构（通过主成分分析 PCA 进行评估）。

核心贡献

提出了 NOD 的定义： 定义了在没有参数监督的情况下学习共享算子和系统特定变化的问题。
分解式架构： 引入了一个框架，通过分解预测和轨迹解耦采样，联合学习神经算子和低维潜在表示。
自动维度选择： 一种数据驱动的过程，用于确定系统变化的内在维度，使其与独立控制因素的数量相匹配。
泛化模式： 该框架支持两种推理模式：
- 单次推理（One-shot Inference）： 从观察到的单条轨迹推断潜在表示，以预测未见的初始条件。
- 零样本推理（Zero-shot Inference）： 直接从学习到的潜在空间进行采样，为完全未见的系统实例（训练中未见过的因子）生成预测。

实验结果

该方法在三类偏微分方程（PDEs）家族上进行了评估：

1. Burgers 方程（变化的粘性系数）

设置： 具有变化的运动粘度 $\nu$ 的 1D 系统，包括无粘极限（ $\nu=0$ ）。
发现： 维度选择程序正确识别出 $d^*=1$ 。学习到的潜在空间展现出与粘度之间平滑且单调的对应关系，并能连续延伸至无粘机制。
性能： 潜在条件模型（NODnet）在长时程（50步）滚动预测中显著优于自回归基准（ANO），即使在无粘极限下也能保持误差有界。自回归变体无法区分粘度机制，会坍缩为常数潜在表示。

2. 圆柱绕流尾迹（非结构化网格、稀疏数据）

设置： 在非结构化网格上具有不同粘度和入口速度的 2D 不可压缩纳维-斯托克斯流（Navier-Stokes flow）。训练数据较为稀疏（16 条轨迹）。
发现： 正确识别出 $d^*=1$ （粘度）。模型成功泛化到了训练范围之外的未见入口速度和粘度。
物理一致性： 模型恢复了正确的阻力系数（ $C_D \approx 1.36$ ）和斯特劳哈尔数（Strouhal number），而自回归基准则表现出频率漂移和非物理的阻力行为。
鲁棒性： 尽管监督数据稀疏，但由于采用了轨迹解耦采样和对比正则化来组织潜在空间，模型依然保持稳定。

3. FitzHugh–Nagumo 反应-扩散方程（多因子）

设置： 具有两个独立控制因素（刺激参数 $k$ 和恢复速率 $\beta$ ）的 2D 系统。
发现： 维度选择识别出 $d^*=2$ 。潜在空间根据参数 $(k, \beta)$ 对系统实例进行组织，呈现出平滑且近似可逆的映射（二次拟合 $R^2=0.9937$ ）。
泛化性： 模型实现了对训练凸包之外的参数组合（OOD-Extra）的零样本泛化。
监督几何： 层次化解码器（监督多个时间跨度）相比单步解码器显著提高了长时程预测精度，这突显了对敏感于控制因素的长时程监督信号的重要性。

意义与主张

本文声称建立了一种在缺乏显式因子监督的情况下进行算子学习的可解释范式。主要主张包括：

可识别性： 学习到的潜在空间始终与底层控制因素对齐，在平滑且近似可逆的结构中组织系统实例。
卓越的长时程预测： 结合了潜在条件化和轨迹解耦采样的潜在条件化方法，在长时程滚动预测中优于自回归和无条件基准，减少了误差累积。
零样本外推： 该方法允许通过直接从学习到的潜在空间采样，实现对此前未见的系统实例（因子）的泛化，甚至包括无粘极限或参数组合在训练凸包之外的机制。
可扩展性： 该方法可以扩展到高维时空系统和非结构化网格，且无需显式的参数标签。

作者指出了目前的局限性，包括目前侧重于在低维欧几里得空间中连续变化的因子、使用模拟生成的数据，以及需要进一步研究离散系统类别、分叉动力学以及在实验噪声下的鲁棒性。他们指出，对所学潜在属性进行正式的理论表征仍是一个开放性问题。