🤖 AI

Higher-Order Fourier Neural Operator: Explicit Mode Mixer for Nonlinear PDEs

本文介绍了高阶傅里叶神经算子（HO-FNO），这是一种通过引入显式的 n 元线性模态混合来增强标准 FNO 的新颖架构，旨在更好地捕捉非线性偏微分方程中的结构化相互作用，从而在高度非线性机制下，比现有的谱神经算子、Transformer 和状态空间模型实现更优越的性能与效率。

原作者： Alex Colagrande, Paul Caillon, Eva Feillet, Alexandre Allauzen

发布于 2026-06-29

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Alex Colagrande, Paul Caillon, Eva Feillet, Alexandre Allauzen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图预测一个复杂系统（比如旋转的流体或振动的金属梁）随时间变化的行为。在物理学世界中，这些系统由被称为偏微分方程 (PDEs) 的方程来描述。在计算机上求解这些方程通常就像试图通过数清海滩上每一粒沙子来预测潮汐一样——虽然极其精确，但极其耗时。

最近，科学家们开始使用 AI 来学习这些模式，而不是逐步求解方程。一种流行的 AI 方法被称为傅里叶神经算子 (Fourier Neural Operator, FNO)。你可以把 FNO 想象成一位大师级厨师，他只需品尝一下汤的味道，就能瞬间猜出食谱。它的工作原理是观察数据的“风味”（频率）。

然而，标准的 FNO 有一个局限性。它假设这些“风味”大多是独立演化的，就像在演奏简单的旋律时各自独立的音乐家。但在现实世界中，特别是在非线性系统（即事物变得混乱且具有混沌性）中，这些“风味”会以复杂的方式相互作用。这不仅仅是独奏，而是一场爵士即兴演奏，萨克斯、架子鼓和贝斯在不断地相互反应，共同创造出新的声音。

标准的 FNO 难以捕捉到这些复杂的相互作用，因为它只听取每个音乐家的个人表演。

新的解决方案：HO-FNO

该论文的作者引入了一种新的 AI 模型，称为高阶傅里叶神经算子 (Higher-Order Fourier Neural Operator, HO-FNO)。

以下是使用简单类比的核心思想：

旧方法 (FNO)： 想象房间里有一群人。旧的 AI 模型会询问每个人：“你在想什么？”，然后仅根据他们自己的回答来更新他们的想法。如果两个人需要通过交谈来解决一个问题，模型直到最后尝试猜测这种联系时才会发现它。
新方法 (HO-FNO)： 新模型意识到，在一个混乱的房间里，人们是以小组形式进行交谈的。它明确允许**人群（模态）**在思考过程中互相交流。如果 A 人和 B 人需要结合他们的想法来影响 C 人，HO-FNO 会为这种特定的交互建立一条直接线路。

为什么这很重要

论文声称，通过将这种“小组对话”直接构建到 AI 的大脑中，它可以更快、更准确地解决复杂的物理问题。

一层对比十六层： 在实验中，他们创建了一个棘手的数学问题（一个具有复杂多层源项的泊松方程）。他们发现，他们的新型 HO-FNO 仅需一层 就能比拥有 16 层 的标准 FNO 更好地解决这个问题。这就像是一个天才解开了一个需要 16 个普通人花费数小时才能解开的谜题。
效率： 尽管进行了更复杂的“小组思考”，但新模型并没有变慢。它保持了旧方法的速度，因为它仍然使用同样高效的数学技巧（傅里叶变换）来处理数据。
超越巨头： 他们将 HO-FNO 与其他强大的 AI 模型（如著名的智能但沉重的 Transformer）进行了对比。HO-FNO 在保持或超越其准确性的同时，使用了更少的计算内存和时间。

他们的测试场景

作者不仅停留在理论层面，还在几个真实的物理场景中进行了测试：

流体力学： 模拟空气如何在飞机机翼上流动，或水如何在管道中移动。
应力与变形： 预测金属在压力下如何弯曲或断裂。
天气模式： 模拟球体上的水波（如地球）。
自定义数学测试： 他们创建了一个特定的测试，其中“源”是多个输入的乘积（例如， $Input_1 \times Input_2 \times Input_3$ ）。这正是新模型所设计的“小组交互”类型，它在此类测试中击败了竞争对手。

核心结论

论文指出，许多物理系统都依赖于特定类型的相互作用（例如，三波碰撞产生第四波）。旧的 AI 模型必须通过堆叠许多层来“猜测”这些相互作用。而新的 HO-FNO 模型则将这些相互作用直接构建在设计之中。

结果是，该模型在预测复杂物理系统行为方面变得更聪明、更快、更高效，特别是当这些系统涉及混乱的非线性相互作用时。作者甚至公开了他们的代码，以便他人可以进行尝试。

技术摘要：高阶傅里叶神经算子 (HO-FNO)

问题陈述

神经算子，特别是傅里叶神经算子 (FNO)，已成为学习函数空间之间映射的有效工具，在周期性定义域上提供了分辨率不变的性能和效率。然而，标准的 FNO 架构依赖于对傅里叶模态进行对角作用的谱卷积。这种设计假设模态是独立演化的，这与周期性定义域上的线性、常系数偏微分方程 (PDE) 非常吻可能。

本文指出一个关键局限性：非线性 PDE 通常表现出由多项式非线性（例如纳维尔-斯托克斯方程中的平流项或泊松方程中的多项式强迫项）驱动的有结构的傅里叶模态相互作用。在这种情况下，物理动力学涉及显式的模态混合（例如满足 $k_1 + k_2 = k_3$ 的三阶相互作用）。标准的 FNO 只能通过在线性谱层之后应用的逐点非线性来隐式地诱导这种混合。这迫使模型依赖于跨不同相互作用阶数和因子的权重共享，从而创造了一类“绑定”（tied）的相互作用，这类相互作用可能无法充分捕捉底层 PDE 非线性的特定结构。

方法论：高阶谱卷积

为了解决这个问题，作者提出了 高阶傅里叶神经算子 (HO-FNO)，它通过高阶谱卷积引入了一个显式模态混合器 (Explicit Mode Mixer)。

核心机制

该方法将标准谱卷积从对角调制扩展到显式的 $n$ 次线性模态混合。

物理空间表述： 与应用线性算子后接逐点非线性不同，HO-FNO 层在物理空间计算变换后输入场的 $m$ 次线性乘积：
$(H_\theta u)(x) = \int_\Omega \kappa_\theta(x-y) \mathcal{T}_M \left( (A_1 u)(A_2 u) \cdots (A_m u) \right)(y) dy$
这里， $A_i$ 是作用于通道维度的可学习线性算子， $\mathcal{T}_M$ 表示傅里叶截断。
傅里叶空间表述： 根据卷积定理，物理空间中的逐点乘积在傅里叶域中变为卷积。特定傅里叶模态 $k$ 的更新聚合了所有满足索引之和为 $k$ 的输入模态 $m$ 元组 $(k_1, \dots, k_m)$ ：
$\widehat{(H_\theta v)}(k) = R(k) \sum_{k_1 + \dots + k_m = k} A_1 \hat{v}(k_1) \odot \dots \odot A_m \hat{v}(k_m)$
这种结构显式地参数化了 $m$ 次线性混合的傅里叶系数，镜像了 PDE 中多项式非线性的代数结构。

架构细节

效率： 其计算复杂度保持为 $O(N \log N)$ 每层，与标准的基于 FFT 的算子相匹配，避免了与空间域中高阶注意力机制相关的 $O(N^m)$ 复杂度。
参数量： 由 $m$ 个线性映射 ( $A_i$ ) 引入的额外参数为 $mC^2$ （其中 $C$ 是通道维度），与标准谱卷积（其中 $M$ 是保留的模态数）的 $MC^2$ 参数相比可以忽略不计。
泛化性： 该框架通过使用拉普拉斯-贝尔特拉米算子的谱分解（球面谐波）替换标准傅里叶变换，将其扩展到非欧几里得几何（如球面），从而得到球面 HO-FNO (HO-SFNO)。

核心贡献

首个针对非线性 PDE 的显式谱混合器： 作者设计了第一个能够显式建模对应于多项式非线性的模态相互作用的谱神经算子，超越了标准 FNO 的对角调制。
理论一致性： 论文提供了一个理论论证（附录 C），表明逐点非线性会诱导一类“绑定”的相互作用，即相同的潜在线性映射被重复用于各个因子。相比之下，HO-FNO 实现了一类更广泛的相互作用，其中每个因子可以具有不同的线性变换，从而能够更精确地逼近 $n$ 次非线性 PDE 的解算子。
几何灵活性： 该方法通过将高阶混合与球面谐波卷积相结合，成功适配到了球面几何。
全面的基准测试： 作者在包括规则网格、结构化网格和点云在内的广泛标准基准测试中评估了 HO-FNO，并将其与超过 20 种最新的方法（Transformer、状态空间模型等）进行了对比。

实验结果

实验表明，HO-FNO 在保持 FNO 效率的同时，显著提高了精度，特别是在高度非线性的机制中。

多项式源泊松方程： 在一个具有 $p$ 次多项式强迫项的受控数据集上，单层 $p$ 阶 HO-FNO 的表现始终优于高达 16 层的 FNO。对于 $p=5$ ，HO-FNO 的测试损失比 FNO 低两个数量级。
纳维尔-斯托克斯方程： 在三种粘性机制（ $\nu \in \{10^{-3}, 10^{-4}, 10^{-5}\}$ ）下，HO-FNO 优于标准 FNO 和其他谱基准模型。值得注意的是，它达到了频率类模型的顶尖水平，并达到或超过了 Transformer 和状态空间模型 (SSM) 基准（如 LaMO 和 Transolver）。
标准基准测试： 在包括 Darcy 流、塑性 (Plasticity)、机翼 (Airfoil)、管道 (Pipe) 和弹性 (Elasticity) 在内的任务中，HO-FNO 在频率类模型中始终实现了最低的相对 $L_2$ $L_{2}$ 误差，并且与最强的 Transformer/SSM 基准具有竞争力。
- 示例： 在涉及非多项式、非光滑非线性的 Plasticity 数据集上，HO-FNO 实现了 0.0006 的误差，显著优于最佳频率基准 (0.0010) 和最佳 Transformer 基准 (0.0011)。
球面浅水方程 (SWE)： 在球面上，HO-SFNO 将展开误差（rollout error）从 $7.7 \times 10^{-1}$ (SFNO) 降低到 $7.0 \times 10^{-1}$ ，展示了改进的长时程稳定性。
效率： 与 FNO 相比，HO-FNO 增加的计算开销微乎其微（例如在纳维尔-斯托克斯方程上仅增加 +1.8% 的训练时间），同时仍比 Transformer 和 SSM 基准更快速且更节省内存。

意义与主张

论文声称 HO-FNO 弥合了谱方法的效率与复杂非线性动力学所需的表达能力之间的鸿沟。

归纳偏置： 其主要意义在于引入了一种与 PDE 中多项式非线性的代数结构相一致的归纳偏置。通过显式参数化模态混合，该模型捕获了流体力学和其他物理系统中固有的“三阶”（或 $n$ 阶）相互作用，而无需承担高阶注意力的计算成本。
深度效率： 结果表明，HO-FNO 具有显著的深度效率。单层 HO-FNO 就可以胜过深层堆叠的标准 FNO 层，特别是当网络的阶数与目标 PDE 的非线性次数相匹配时。
泛化性： 该方法保持了 FNO 的分辨率不变特性，证明了高阶混合不会损害跨不同离散化进行泛化的能力。

作者总结道，虽然 HO-FNO 是为多项式非线性设计的，但它在非多项式任务（如 Plasticity）上的成功表明，高阶谱相互作用为广泛的非线性 PDE 提供了一种稳健且可泛化的归纳偏置。