🤖 machine learning

Neural Operator Processes for Probabilistic Operator Learning under Partial Observations

本文介绍了神经算子过程（Neural Operator Processes, NOPs），这是一个将神经过程与神经算子相结合的统一框架，通过有效地整合局部几何上下文与潜在随机变量，实现从稀疏、部分观测中对全解场进行概率预测。

原作者： Jose Miguel Lara-Rangel, Serge Guillas

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Jose Miguel Lara-Rangel, Serge Guillas

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图预测整个城市的的天气，但你手里只有几个零散的温度计和雨量计。你并没有覆盖每个街角的密集传感器网络。在物理学和工程学领域，这是一个常见的问题：科学家需要根据非常有限且杂乱的数据来预测复杂的系统（如流体流动或热量分布）。

长期以来，应对这一挑战的最佳工具被称为神经算子（Neural Operators），它们就像是需要完美、密集网格数据才能运行的高端天气模型。如果你给它们稀疏的数据，它们就会表现得很吃力。与此同时，另一种被称为**神经过程（Neural Processes）**的 AI 则擅长从稀疏数据中推测函数，但它并非为处理神经算子所能解决的复杂、大规模物理方程而设计。

这篇论文介绍了一种名为**神经算子过程（Neural Operator Processes, NOPs）**的新型框架。你可以把它看作是一种结合了两者优点的“混合动力车”。

核心思想：“侦探与建筑师”

作者构建了一个分为两个阶段的工作系统，就像侦探收集线索，然后由建筑师绘制蓝图一样。

侦探（编码器/Encoder）： 这部分负责观察你那些稀疏、零散的数据点（即“线索”）。它的任务是理清系统的整体轮廓。论文测试了两种侦探的工作方式：
- “大局观”方法（池化/Pooling）： 侦探将所有线索总结成一个宏观的全局摘要。这就像是在说：“好吧，总体来说天气又热又潮湿。”这种方法适用于平滑且可预测的系统。
- “局部聚焦”方法（注意力机制/Attention）： 侦探会观察你想要预测的具体位置，并询问：“我手头的这些零散线索中，哪一个与这个位置最相关？”这种方法保留了局部几何特征。论文发现，对于复杂的、不规则的形状（比如带有怪异弯曲的管道），这种方法至关重要；但对于平滑且重复的模式，它的重要性则相对较低。
建筑师（解码器/Decoder）： 一旦侦探有了总结信息，建筑师就会利用这些信息绘制出完整的、详细的解图（即“蓝图”）。这部分的设计初衷是处理繁重的物理方程计算。

“不确定性”的转折

该论文的一个重大创新在于，系统不仅会给你一个答案，还会告诉你它有多大的信心。

确定性模式（Deterministic Mode）： 它给出一个单一的最佳猜测。
概率模式（Probabilistic Mode）： 它就像一名天气预报员在说：“有 90% 的概率下雨，但如果风向改变，可能会演变成暴风雨。”
关键发现： 当“不确定性”部分（侦探的信心）与“局部几何”部分（建筑师的绘图）形成互补时，系统的表现最好。如果“不确定性”部分试图取代局部细节，模型就会失败。这就像是如果侦探说：“我不知道细节，随便猜吧，”而不是利用线索来为建筑师提供参考。

他们是如何测试的

研究人员在三种不同类型的物理问题上测试了这个“混合侦探-建筑师”模型，他们将这些问题比作不同的地形：

Burgers 方程（平坦的高速公路）： 一种平滑、重复的波形模式。在这种情况下，“大局观”方法的效果几乎与“局部聚焦”方法一样好。
Darcy 流（崎岖的山路）： 通过具有不规则边界的多孔岩石的流动。在这里，“局部聚焦”方法是必不可少的。忽略局部几何特征会导致预测结果很差。
Navier-Stokes 方程（湍流的河流）： 复杂的、旋涡状的流体动力学。这是最难的一次测试。系统需要同时具备局部聚焦能力和处理不确定性的灵活性才能取得成功。

用通俗语言解释结果

稀疏数据依然有效： 该系统可以仅使用极小比例的数据点（在 1D 中不到 25%，在 2D 中不到 7%）来预测完整的解。其表现与使用 100% 数据的系统同样出色。
几何结构至关重要： 如果问题涉及复杂的形状或边界，系统必须关注数据的局部排列。如果问题是平滑且重复的，那么一个通用的总结就足够了。
不确定性是真实的： 系统可以分辨出它是在“盲猜”还是在“确信”。它成功地将“因为缺乏数据而导致的未知”（认知不确定性/epistemic uncertainty）与“系统本身自带的噪声”（偶然不确定性/aleatoric uncertainty）区分开来。
成本： 该系统运行速度很快（推理阶段），但由于需要学习如何处理不确定性，因此在训练时需要消耗更多的计算时间和内存。

总结

论文声称，**神经算子过程（Neural Operator Processes）**提供了一种在只有少量零散测量数据时解决复杂物理问题的实用方法。通过将从稀疏数据中学习的能力与求解复杂方程的能力相结合，并加入内置的“信心计”，该框架弥合了数据匮乏的现实与对精确全场预测需求之间的鸿隙。它表明，只要你的 AI 知道如何利用现有的线索，你就不需要一个完美的传感器网格也能得到一个好的答案。

技术摘要：用于部分观测下概率算子学习的神经算子过程

1. 问题陈述

神经算子（NOs），如傅里叶神经算子（FNO），已成为学习函数空间之间映射的有效范式，特别是在求解偏微分方程（PDE）方面。然而，标准的 NOs 通常是在假设存在稠密、完全配对的输入-输出场的条件下进行开发和评估的。这与许多现实的科学场景形成对比，例如数据同化，其中目标物理响应仅通过稀疏、不规则或部分的观测获得，即使底层领域属性是已知的。

此外，算子学习中的不确定性量化（UQ）仍处于发展阶段，尤其是在稀疏观测的情况下。现有方法通常依赖于模型外部的集成、后验校准，或者仍然受限于稠密的输入-输出表述形式。虽然神经过程（NPs）提供了一个互补的视角——通过基于稀疏上下文集的摊销潜在变量推理来学习函数分布——但它们主要设计用于点对点的函数回归，尚未被广泛应用于需要稠密 PDE 规模解码的结构化函数到函数的映射。

本研究解决的核心挑战是将 NPs 的集合条件化推理与 NOs 的结构化算子解码相结合，从而在有限的稀疏上下文条件下预测完整的输出场，并提供连贯的不确定性量化。

2. 方法论：神经算子过程 (NOPs)

作者引入了神经算子过程（Neural Operator Processes, NOPs），这是一个以稀疏的联合输入-输出观测上下文集为条件，来推断从给定输入场到其稠密目标解的映射的框架。该框架在共享的编码器-解码器架构内支持确定性和概率性变体。

2.1 架构概述

NOP 流水线由三个主要阶段组成：

上下文编码： 将稀疏的上下文集 $C = \{(x_i^{(c)}, a_i^{(c)}, u_i^{(c)})\}$ 编码为在查询位置评估的上下文条件表示 $R_C(x)$ 。
初始隐藏场构建： 将上下文表示与查询侧的输入信息（在稠密网格上的输入场 $a(x)$ ）相结合，以形成初始隐藏场 $v_0(x)$ 。
算子解码： 神经算子解码器（具体为 FNO 式解码器）处理 $v_0(x)$ 以生成最终预测 $\hat{u}(x)$ 。

2.2 条件化策略

论文研究了两种互补的条件化机制，以架起基于集合的 NP 视角与连续域 NO 视角之间的桥梁：

SetConv 条件化： 一种全局池化路径，通过核化集合卷积（SetConv）将不规则的稀疏上下文集提升为连续场。它分别编码了上下文支持的密度和观测到的局部场值。
查询对齐注意力条件化： 一种注意力路径，用于建模哪些上下文点与每个查询位置最为相关，从而保留局部几何结构。这使得模型能够直接关注上下文集，而不仅仅是依赖于核近似。
融合表示： 这些路径可以在解码前被组合成一个融合表示。

2.3 概率扩展

为了实现不确定性量化，确定性架构通过捕捉任务级不确定性的全局潜在变量 $z$ 进行了扩展。

潜在变量推理： 使用上下文诱导表示的全局摘要来推断上下文条件先验 $p_\theta(z | C)$ 。在训练期间，使用目标输出学习近似后验 $q_\phi(z | C, U_Q)$ 。
潜在变量条件化： 潜在变量 $z$ 被注入到输入阶段（通过与 $v_0(x)$ 进行广播拼接），而不是调制解码器层，研究发现这种方式能产生更稳定的先验条件推理。
预测分布： 最终的预测分布通过对潜在变量进行条件分解的似然函数进行边缘化得到，从而将不确定性分解为全局任务级组件（来自 $z$ ）和局部预测组件（来自输出似然）。

3. 核心贡献

公式化： 作者将部分观测下的算子学习表述为函数空间中的上下文条件预测，并提出了作为相应框架的 NOPs。
架构： 他们引入了具有不同上下文聚合机制（SetConv 与 Attention）和潜在不确定性的确定性和概率性 NOP 架构，这些架构共享一个编码器-解码器流水线。
经验区分： 该工作识别了全局条件化与局部条件化之间的经验差异，证明了保持几何结构的注意力机制在几何敏感型设置中特别有价值，而优选路径取决于推理目标和 PDE 机制。
验证： 通过系统的实验和消融实验，作者展示了 NOPs 在仅观察到极小比例的响应场（在 1D 中低于 25%，在 2D 中低于 7%）的情况下，仍能匹配或超越稠密网格神经算子的性能，并提供有意义的不确定性估计，且在计算效率上保持竞争力。

4. 实验结果

该框架在四个基准家族上进行了评估：高斯过程（GP）回归（作为诊断）、1D Burgers 方程（平滑、周期性）、2D Darcy 流（非周期、几何敏感）以及 2D Navier–Stokes（周期性但动力学复杂）。

4.1 确定性性能

稀疏可行性： 稀疏条件算子预测是可行的，NOP 变体实现的误差与标准的稠密网格 FNO 参考模型相当甚至略低。
机制依赖性：
- Burgers（周期性）： 注意力路径即使在标准设置下也能提高性能，与谱解码器高度契合。
- Darcy（非周期性）： 通过注意力保留局部上下文-查询几何结构至关重要。仅使用 SetConv 的变体在均匀采样下表现下降，但在聚类观测下有所改善；而基于注意力的变体（DANOP）则使性能变化在不同采样策略下趋于平缓，表现出对观测几何偏移的更强鲁棒性。
- Navier–Stokes： 在上下文采样策略和预算发生变化时，注意力提供了更大的鲁棒性，尽管 SetConv 在标准均匀评估下仍具竞争力。

4.2 概率性能

不确定性量化： 该框架提供了有意义的不确定性估计，且在约束较弱的区域不确定性会扩大。
潜在变量条件化： 概率扩展保留了预测能力。先验均值与后验均值之间的性能差距很小，表明学习到的先验与后验高度一致。
方差参数化：
- Burgers： 异方差（HE）头部表现最好，后验-先验差距可以忽略不计。
- Darcy： 同方差（HO）头部通常表现更好，起到正则化作用，防止模型通过增加方差来吸收难度。
- Navier–Stokes： HE 头部更优；HO 头部对于这种异质动力学机制过于严格，导致性能下降。
鲁棒性： 采用融合条件化的架构（PANOP）通常优于仅使用 SetConv 的变体（PNOP），特别是在零潜在变量评估中，这表明几何感知条件化能更好地支持潜在随机推理。

4.3 消融实验与局限性

跨分辨率迁移： 虽然 1D Burgers 展示了成功的向更细网格的零样本迁移，但 2D 非周期设置（Darcy, Navier–Stokes）显示出显著退化。这表明在复杂机制中，学习到的条件表示无法在不同离散化之间进行干净的迁移，这可能是稀疏表示与谱解码器之间相互作用导致的局限性。
训练与推理成本： 概率扩展增加了训练时间和内存（由于潜在变量推理图的存在），但保持了适度的推理延迟（每批次仅毫秒级）。
失效模式： 一个核心失效模式是当局部上下文被过度压缩为全局摘要时，会导致空间结构的丢失。这在平滑周期性设置中是无害的，但在像 Darcy 这样的几何敏感机制中是有害的。

5. 重要性与主张

论文声称 NOPs 提供了一个实用、明确且可扩展的框架，用于结合稀疏条件推理、结构化算子解码和不确定性量化。这项工作的意义在于：

统一： 弥合了函数空间中的算子学习与概率元学习。
设计原则： 明确了显式保留局部几何是几何敏感型设置的关键设计要求，并且可靠的概率推理需要能够补充而非覆盖确定性躯干空间归纳偏置的潜在变量条件化。
实用性： 证明了仅使用极少量的观测即可实现带有连贯不确定性的全场预测，这为在测量成本高昂的应用场景中节省传感或存储成本提供了潜力。

作者对研究范围保持了谦逊的态度，指出基准测试未涵盖强混沌动力学、高度多尺度系统或不规则几何，且固定的 FNO 主干可能会限制其在非周期机制中的表现。他们指出未来的工作方向包括空间结构化的潜在表示以及更适合不规则几何的解码器家族。