💻 computer science

Revisiting Neural Processes via Fourier Transform and Volterra Series

本文提出了一类新的平移等变神经常规过程（Neural Processes），该类方法利用 Volterra 级数来实现分析透明度，并引入了集合傅里叶卷积（Set Fourier Convolutions），以高效地建模具有全局感受野且具备线性扩展性的非规则采样数据。

原作者： Peiman Mohseni, Nick Duffield, Raymond K. W. Wong

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Peiman Mohseni, Nick Duffield, Raymond K. W. Wong

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是使用简单语言和日常类比对论文《通过傅里叶变换与 Volterra 级数重新审视神经过程》（Revisiting Neural Processes via Fourier Transform and Volterra Series）进行的解释。

大局观：预测不可见之物

想象你是一名天气预报员。你拥有一些零散的气象站（有些在城市，有些在荒郊野外）正在报告温度和风速。你的目标是预测地图上每一个其他点的天气，即使那里没有任何传感器。

在机器学习的世界里，这被称为神经过程（Neural Processes, NPs）。这些是智能模型，它们通过学习少量凌乱、不规则的数据点，来推测生成这些数据的整个隐性曲线（即“隐函数”）的形状。

然而，现有的模型有两个大问题：

“网格”问题： 一些模型试图将所有数据强行放入一个完美的、整齐的网格中（就像坐标纸）。如果你的数据是分散的或者地图非常巨大，这个网格会变得难以处理，或者你会丢失细节。
“全对全”问题： 其他模型（如 Transformer）会观察每一个数据点并将其与每一个其他点进行比较以寻找模式。这虽然极其精确，但随着数据量的增加，速度会变得非常慢且成本高昂（就像试图让派对上的每一个人都去认识其他每一个人一样）。

这篇论文提出了一种同时解决这两个问题的新方法。

两个核心思想

作者引入了两个数学工具来解决这些问题：Volterra 级数和傅里叶变换。

1. Volterra 级数：复杂性的“配方”

问题： 现有的模型就像黑匣子。它们堆叠一层又一层的数学运算，我们并不真正了解它们为什么有效，或者它们到底在学习什么样的模式。这很难解释。

解决方案： 作者使用了被称为 Volterra 级数 的工具。

类比： 想象你正在烤蛋糕。一个简单的模型可能只会说：“混合面粉和糖。”一个复杂的模型可能会说：“混合面粉、糖、鸡蛋、黄油、香草，并在 350 度下烘烤 30 分钟，但如果正在下雨，就多加一个鸡蛋。”
Volterra 级数就像一本大师级的食谱书，它将任何复杂的“混合”过程分解为一系列简单的步骤之和：
- 第一步：仅仅是原材料（线性）。
- 第二步：原材料如何相互作用（二次项）。
- 第三步：三种原材料如何相互作用（三次项），依此类推。

通过使用这种方法，作者可以清晰地描述模型的行为（它是“解析透明的”），而不是仅仅进行猜测。他们可以精确地证明模型是如何组合数据点的。

2. 集频率卷积（SFConvs）： “收音机调谐器”

问题：

网格模型（如 ConvCNPs）很快，但需要数据位于完美的网格上。如果你的数据来自锯齿状的海岸线或 3D 云团，你必须将其强行塞入一个方框，这会浪费内存并丢失细节。
注意力模型（如 Transformer）可以处理杂乱的数据，但因为要将每个点与所有其他点进行比较，所以速度很慢。

解决方案： 作者使用了傅里叶变换（SFConvs）。

类比： 想象你正在听收音机。
- 空间域（旧方法）： 你观察随时间移动的声波。要理解整首歌，你必须分析波形中的每一次细微波动。如果波形很乱，这会非常困难。
- 频率域（新方法）： 你将收音机调到特定的频率（音符）。与其观察整个混乱的波形，不如直接看“低音”、“中音”和“高音”的旋钮。
为什么有效： 大多数自然信号（如天气、图像或流体流动）的大部分重要信息都集中在“低音”（低频）中。
神奇之处： 通过直接处理这些“音符”（频率）而不是混乱的“波形”（空间点），该模型实现了：
1. 跳过网格： 它不需要将数据强行放入网格。它可以直接处理分散的点。
2. 全局视野： 在频率世界中，一个“音符”连接着整个信号。这给了模型一种“全局视角”（它可以看到伦敦的一场风暴如何影响巴黎的天气），而无需逐一比较每个点。
3. 保持高效： 它的扩展是线性的（增加数据只会增加少量的计算量），不像注意力模型那样具有缓慢的平方级扩展特性。

新模型：SFConvCNPs 与 SFVConvCNPs

作者基于这些想法构建了两种新模型：

SFConvCNPs： 这些模型使用“收音机调谐器”（傅里叶）方法。它们堆叠了这些基于频率的操作层。它们速度快，能处理杂乱数据，并且具备全局视野。
SFVConvCNPs： 这些模型将“收音机调谐器”与“食谱书”（Volterra）结合在一起。它们使用傅里叶方法高效处理数据，但使用 Volterra 级数来构建数学结构，以确保模型的可解释性并捕捉复杂的非线性相互作用。

研究发现（结果）

作者在多个挑战任务中，将这些新模型与现有的最佳模型（如标准神经过程、Transformer 和卷积神经过程）进行了对比测试：

合成数学任务： 他们尝试预测锯齿波和光滑曲线。新模型在预测那些其他模型表现失败的尖锐、锯齿状部分方面做得更好。
捕食者-猎物动力学： 他们模拟了狐狸和兔子的关系。新模型准确地预测了种群周期，甚至在从模拟数据迁移到真实历史数据（哈德逊湾海狸-猞猁记录）时也表现出色。
图像补全： 他们尝试“填补空白”，即补全缺失部分的图像（如 CIFAR-10）。新模型在重建缺失像素方面表现优异。
流体动力学与气候： 他们模拟了复杂的旋转流体（Kolmogorov 流）和真实的全球气候数据（ERA5 温度）。
- 关键优势： 当他们在训练期间未曾见过的欧洲区域（“偏移”后的地图）进行测试时，由于新模型遵循平移对称性，其表现近乎完美。而依赖于绝对位置的旧模型则完全失效。

总结

可以将这篇论文看作是对汽车引擎的一次升级。

旧款汽车要么拥有优秀的悬挂系统（适合平坦道路/网格），但无法应对越野地形；要么拥有优秀的越野轮胎（注意力机制），但过于沉重且耗油。
这篇论文引入了一种新的悬挂系统（Volterra），它能解释汽车如何应对颠簸；以及新的轮胎（傅里叶），它可以在任何地形（分散的数据）上行驶而不会被卡住，同时保持快速且高效。

其结果是一个快速、准确、可解释（我们知道它是如何工作的）且鲁棒（即使数据移动到新位置也能正常工作）的模型。

技术摘要：通过傅里叶变换与 Volterra 级数重新审视神经过程

问题陈述

在科学与工程领域（如湍流建模和气候科学）中，从有限且不规则采样的测量值中对未知的潜在函数进行建模是一个持久的挑战。虽然神经过程（Neural Processes, NPs）提供了一个学习函数分布的概率框架，但现有的平移等变变体面临两个主要局限性：

缺乏可解释性： 当前的架构通常堆叠通用的组件与非线性层。虽然在经验上是有效的，但这掩盖了所诱导的函数类，限制了原则性的分析与可解释性。
可扩展性权衡： 现有的平移等变 NP 存在互补的扩展性瓶颈。卷积型 CNP（ConvCNPs）依赖于密集的均匀网格来利用卷积网络，这在处理高维或大规模空间域时会变得计算成本极高，并限制了感受野仅限于局部邻域。相反，基于注意力的方法（例如 TE-TNPs）直接作用于非结构化输入并建模全局交互，但其复杂度随观测数量呈二次方增长，使得处理大规模上下文集变得不切实际。

方法论

作者提出了一个通过两项核心技术创新——Volterra 级数表示和集合傅里叶卷积（SFConvs）——来调和分析透明度与实际效率的框架。

1. 等变算子的 Volterra 表示

本文通过使用 Volterra 级数理论，将卷积深集框架进行了扩展，用以表征连续平移等变算子。

解析表征： 类比于泰勒展开，Volterra 级数将任何连续平收平移等变算子表示为一系列阶数递增的多线性卷积算子的无穷和。这为算子 $\rho_d$ 提供了一个显式的、构造性的表征，提供了标准深度学习构建中所缺失的解析透明度。
高效近似： 直接评估高阶卷积在计算上是不可行的。作者利用 Volterra 算子的多线性性质和 Fubini 定理，将高阶项重新组织为嵌套（级联）形式。这使得将截断的 Volore 展开的评估简化为仅计算一阶和二阶卷积。
低秩分解： 为了解决二阶卷积（涉及二次张量积）的计算瓶颈，作者通过 Hilbert–Schmidt 谱分解对二次核施加了低秩结构。这通过将二阶项近似为一阶卷积乘积之和，并在不强制执行严格正交约束的情况下进行参数化和直接学习。

2. 集合傅里叶卷积 (SFConvs)

为了克服基于网格方法的离散化和局部性限制，作者引入了 SFConvs，这是一种卷积深集的频域参数化方法。

直接频域参数化： SFConvs 不会将输入离散化到空间网格上，而是直接作用于上下文集的函数嵌入的傅里叶域。根据卷积定理，空间域中的卷积对应于频域中的逐点乘法。
处理不规则输入： 当使用高斯核时，函数嵌入 $\rho_e[D_c]$ 具有闭式傅里叶变换。这允许在任意频率下计算谱系数，而无需空间离散化，从而避免了“网格失配”问题（即改变网格分辨率会改变与学习权重相关的物理频率）。
全局感受野与线性扩展： 频域乘法诱导了近似全局的感受野，从而能够捕捉长程依赖关系。至关重要的是，由于该方法是在一个固定的紧凑频率网格 $\Xi$ 上运行（其中 $|\Xi| \ll |G|$ ，即密集空间网格的大小），其计算复杂度随观测数量呈线性扩展，即 $O(|\Xi|(|D_c| + |D_q|))$ 。

3. 提出的模型

基于这些组件，作者提出了两类条件神经过程（CNPs）：

SFConvCNPs： 通过交错堆叠 SFConv 块与逐点非线性层构建而成。
SFVConvCNPs： 在 Volterra 框架内构建，通过整合 Volterra 公式与 SFConvs，显式地近似高阶交互。

核心贡献

原则性表征： 本文通过 Volterra 级数，将连续平移等变算子表征为高阶卷积之和，为原本晦涩的深度学习堆叠提供了一种具有解析透明度的替代方案。
集合傅里叶卷积： SFConvs 的引入通过直接在不规则输入的傅里叶域上操作，缓解了基于网格方法的扩展性限制，在保持线性复杂度的同时诱导了全局感受野。
新模型架构： 提出的 SFConvCNPs 和 SFVConvCNPs 在合成及现实世界基准测试中展现了强大的经验性能，超越或达到了最先进的基准模型。

实验结果

作者在五个回归基准测试上评估了其方法，输入维度 $d_X \in \{1, 2, 3\}$ ：

合成 1D 回归： 在涉及 RBF、Matérn、周期性、锯齿波和方波过程的任务中，SFConvCNPs 和 SFVConvCNP 一致优于或匹配竞争方法（包括 CNPs, AttnCNPs, TNP, TE-TNP 和 ConvCNPs）。值得注意的是，注意力机制模型在锯齿波任务（一个高频挑战）上失效，而所提出的基于卷积的模型则取得了成功。
捕食者-猎物回归： 在模拟的 Lotka–Volterra 轨迹和真实的哈德逊湾海狸-猞猁数据上，基于 SFConv 的模型取得了与基准模型相比具有竞争性或更优的预测对数似然值和 CRPS 分数。
2D 图像补全： 在 CIFAR-10 和 SVHN 数据集上，SFConvCNPs 取得了最佳的预测对数似然值，略微领先于基于网格的谱方法（SConvCNPs）和 Transformer 模型。
3D 时空回归：
- Kolmogorov 流： 在复杂的流体动力学任务中，SFConvCNPs 获得了最高的对数似然值 (1.89) 和最低的 CRPS (0.03)，优于基于网格的 ConvCNPs 和非卷积基准模型。
- ERA5 气候： 在预测欧洲空气温度的模拟到现实迁移任务中，SFConvCNPs 与非等变基准模型相比，展现出了对不相连地理区域（西欧和北欧）的卓越泛化能力；非等变模型则出现了显著的性能下降。等变模型保持了性能，证实了其依赖于相对位移而非绝对位置。

意义与主张

本文声称提出了一个原则性的、可扩展的平移等变条件神经过程框架。其意义在于：

桥接理论与实践： 通过使用 Volterra 级数，作者使卷积深集的表示结构在分析上变得透明，超越了经验启发式，转向系统性的算子理论设计。
解决扩展性权衡： SFConv 方法解决了全局交互需求与线性扩展性之间的冲突。它既避免了高维情况下空间离散化的指数成本，也避免了注意力机制的二次方成本。
鲁棒泛化： 该模型在未见的空间区域和不规则采样模式下表现出鲁棒的泛化能力，这是气候建模和流体动力学等科学应用的关键要求。

作者强调，其工作引入了能够在不规则采样的时空数据上进行高效概率推理的频域神经过程，将线性扩展性、全局交互与可解释算子结合在一起。