Reformulating Neural Operators in $d+1$ Dimensions for Embedding Evolution

本文引入了一种新颖的 $d+1$ 维神经算子框架，该框架通过辅助函数维度对嵌入演化进行建模，在实现多种物理基准测试中最先进的准确性与鲁棒性的同时，避免了传统嵌入缩放方法所带来的计算成本。

要点

想象一下，你正试图教会一台计算机去预测复杂物理系统的变化过程，比如热量如何在金属板中扩散，或者水流如何在风暴中旋转。在人工智能的世界里，这些系统通常由被称为偏微分方程 (PDEs) 的数学规则来描述。

长期以来，旨在解决这类问题的 AI 模型（被称为神经算子 (Neural Operators)）一直依赖于一种类似于“暴力破解”的策略。如果模型不够精确，工程师们就会简单地让模型变得更“胖”，即增加更多的内部通道或层数。这就像是为了多运水而把水桶做得更宽，即便这个水桶已经变得又重又笨拙。

这篇论文介绍了一种更聪明地运水的方法。作者并没有仅仅通过加宽水桶，而是提议为水桶本身增加一个新的维度。

核心思想：“影子”维度

想象一下，物理世界（比如一个城市的 2D 地图）就像一张平整的纸。传统的 AI 模型试图通过从上方逐层观察这张纸来学习其中的模式。

作者 Haoze Song 及其团队提出，我们不应该仅仅观察这张纸，而应该想象这张纸附着了一个影子或一个幽灵维度。他们称之为“辅助维度”（让我们称之为“p-维度”）。

• 旧方法： 想象你试图通过看一张 2D 照片来理解一个 3D 物体，并且只是通过更加用力地眯起眼睛（增加像素）来试图看清细节。
• 新方法 (SKNO)： 想象你有一张 2D 照片，但同时你还有一个特殊的“影子投影仪”，可以将这张照片的影子投射到旁边的墙上。通过同时研究照片及其影子，你可以更好地理解 3D 形状，而不需要一张更大的照片。

在这篇论文中，他们创建了一个名为 SKNO（薛定谔化核神经算子）的模型。它将数据视为存在于一个拥有额外维度的空间中。它不仅更新物理地图上的数据，还同时更新地图及其影子的数据。

它是如何工作的：“双视角”策略

SKNO 的魔力在于它如何更新这个额外的维度。作者使用了一种受量子物理学启发（具体来说是薛定谔方程，尽管他们只是将其作为设计蓝图，而非进行物理模拟）的巧妙技巧。

他们同时通过两种不同的方式来更新“影子”数据：

1. 原始视角： 观察数据原本的样子（就像用普通文本阅读一本书）。
2. 傅里叶视角： 将数据视为波和频率的混合体（就像将这本书读作一段声波的乐谱）。

通过结合这两个“影子维度”的视角，模型可以更高效地捕捉复杂的模式。这就像拥有一个同时精通“普通英语”和“诗意英语”的翻译员；比起只懂一种语言的人，他们能更好地理解句子的细微差别。

结果：更快、更小、更准确

团队在十多个具有挑战性的不同物理问题上测试了这个新模型，范围从简单的热传导方程到高度混沌的 3D 流体爆炸（瑞利-泰勒不稳定性）。

以下是他们的发现：

• 更低的误差： SKNO 的表现始终优于现有的最佳模型（如 FNO、Transolver 和 DeepONet）。
• 高效率： 它实现这些结果时并不需要变得更“胖”或更昂贵。事实上，它的训练速度通常更快，且所需的计算能力更少。
• 鲁棒性： 即使在面对从未见过的数据（例如预测训练集之外的日期或更高分辨率下的天气模式）时，它也比竞争对手表现得更稳健。当数据的“网格”大小发生变化时，它不会感到困惑。

总结

该论文指出，与其仅仅通过增大 AI 模型的规模和重量来解决困难的物理问题，我们应该改变它们观察数据的方式。通过增加一个“影子维度”并利用两种不同的数学视角（原始视角和基于频率的视角）来更新数据，该模型能够更自然地学习物理底层的规则。

这是一种从“向问题投入更多资源”到“寻找观察问题的更好角度”的转变。其结果是一个不仅更准确，而且更优雅、更高效的模型。

技术摘要

技术摘要：在 $d + 1$ 维中重构神经算子以实现嵌入演化

问题陈述

神经算子（Neural Operators, NOs）旨在学习函数空间之间的映射，特别是在求解偏微分方程（PDEs）方面。虽然近期的进展侧重于精炼 $d$ 维物理域上的核参数化，但提升嵌入（embedding）演化的研究仍处于欠开发状态。现有的架构通常通过暴力缩放（扩大嵌入宽度或增加多头结构）来补偿嵌入表达能力的不足。然而，这种策略会带来高昂的计算成本：密集的通道混合（channel mixing）随嵌入宽度的增加呈二次方增长，而分头因子化（head-wise factorization）虽然能部分缓解这一问题，但会引入导致跨头耦合减弱的块对角结构。本文指出，目前的差距在于缺乏对“如何”设计嵌入演化的直接研究，而非仅仅是增加其容量。

方法论

作者通过引入一个辅助函数维度 $p$，将神经算子流水线重新构建为 $d + 1$ 维 形式。该框架不再仅仅在物理域 $D_x$ 上演化嵌入，而是在乘积域 $D_x \times D_p$ 上演化潜在标量函数。

通用框架

1. 提升（Lifting）： 输入场 $a(x)$ 被提升为乘积域上的标量潜在函数 $v_0(x, p)$。这通过提升算子 $P$ 实现，通常实现为一个分离线性映射 $v_0(x, p) = w^\top(p)a(x)$。
2. $(d+1)$ 维演化： 潜在函数通过一系列可学习的线性算子 $\mathcal{L}$ 和非线性映射 $\sigma$ 进行演化。其核心组件是一个作用于物理坐标 $x$ 和辅助坐标 $p$ 的核积分算子 $\mathcal{K}$：
   $$\mathcal{K}_l[v_l](x, p) = \int_{D_x} \int_{D_p} \kappa_l(x, y, p, p') v_l(y, p') \, dp' \, dy$$
3. 恢复（Recovery）： 演化后的函数 $v_L(x, p)$ 通过恢复算子 $Q$ 映射回输出域，通常是对 $p$ 的积分：$u_{pred}(x) = \int_{D_p} \chi(p) v_L(x, p) \, dp$。

薛定谔化核神经算子 (SKNO)

论文使用一种名为 SKNO 的基于傅里叶的模型实例化了该框架。关键设计选择包括：

• 基底多样化的辅助演化： 对于每个空间位置，信号沿辅助维度 $p$ 的更新使用两种不同的坐标视图：
  1. 原始 $p$ 坐标混合： 在 $p$ 的空间域内进行线性混合。
  2. 傅里叶-$p$ 坐标混合： 在 $p$ 的频谱域内进行谱混合。
     这种双分支结构（$F_p^{-1} \tilde{A}_l F_p + B_l$）允许模型捕捉来自两种视图的特征，而不仅仅是简单地复制相同的通道混合路径。
• 物理域传播： SKNO 使用 $(L-1)$ 个全局传播器（在 $x$ 的傅里叶域中对角化的谱卷积算子）和一个最终的局部传播器（使用微分算子），以捕捉由全局谱方法丢失的局部信息。
• 残差连接： 线性块包含残差连接，以促进训练的稳定性和便利性。

核心贡献

1. 算子级重构： 作者通过在物理和辅助坐标上进行核积分来演化潜在函数，重新构建了 NO 流水线，建立了一种显式的基于算子的嵌入演化机制。
2. SKNO 架构： 他们提出了薛定谔化核神经算子，利用基底多样化的辅助演化（混合原始和傅里叶-$p$ 坐标）来提高表达能力，而非通过暴力缩放。
3. 全面评估： 该模型在涵盖从 1D 线性方程到高度非线性 3D 不稳定性的十余个基准测试中进行了评估。
4. 受控分析： 论文提供了与缩放及消融基准模型的严格对比，证明性能增益源于架构设计（基底多样性）而非单纯的参数量增加。

实验结果

在包括 1D 热传导/平流方程、1D Burgers、2D Darcy 流、2D Gray-Scott、2D/3D Navier-Stokes 以及 3D Rayleigh-Taylor 不稳定性在内的各项基准测试中，SKNO 始终取得了最低的相对 $L_2$ 误差，优于所评估的基准模型（DeepONet, FNO, Transolver, CNO）。

• 性能增益： 在 2D 不可压缩 Navier-Stokes ($\nu=10^{-5}$) 中，SKNO 相比 FNO 降低了约 37.1% 的相对 $L_2$ 误差。在 2D Gray-Scott 中，误差降低了 42.1%。在 3D Rayleigh-Taylor 中，SKNO 实现了 14.3% 的误差降幅。
• 容量效率： 受控实验表明，SKNO (A+B) 以更少的参数和 FLOPs 优于系统缩放的 FNO 变体以及并行堆叠的 FNO。一个“B+B”变体（复制原始-$p$ 分支）未能达到基底多样化“A+B”变体的性能，证实了双坐标视图的价值。
• 鲁棒性： SKNO 展示了卓越的分辨率不变性，在混合分辨率训练和零样本超分辨率推理（例如，在 128 网格上训练并在 8192 网格上测试）下均保持低误差。它还表现出对未见时间序列的强大零样本泛化能力。
• 效率： 尽管增加了维度，SKNO 仍保持了具有竞争力的训练时间，通常优于像 Transolver 这样在嵌入大小上存在二次方复杂度的 Transformer 模型。

重要性与主张

论文声称，辅助域算子演化是替代暴力缩放嵌入的一种极具前景的方案。通过沿辅助坐标应用算子设计原则，模型在不增加高昂计算成本的情况下，提高了表达能力和逼近能力。

作者强调，“薛定谔化”这一命名是作为沿辅助坐标进行结构化算子演化的设计灵感，而非声称其对 PDE 本身具有直接的经典数值加速机制。结果表明，所提出的 $d+1$ 维设计为提升神经算子性能提供了一条更直接且高效的路径，并得到了更低误差、更好分辨率鲁棒性和更高容量效率的实证支持。

论文最后指出，未来的工作应致力于开发超越最终测试误差来比较神经算子的定量标准，特别是研究不同的聚合设计如何影响优化轨迹以及在高维误差景观中局部极小值的选择。