🤖 machine learning

Feature Interaction Modeling for Physics-Informed Neural Networks and Neural Operators

本文提出将因子分解机中的特征交互模块集成到物理信息神经网络和神经算子中，以增强对变量耦合的建模，从而显著提高具有强跨场依赖、陡峭梯度或间断性的偏微分方程的建模精度，而对于平滑算子学习任务带来的收益则较为有限。

原作者： Quan Gu, Hongxia Liu

发布于 2026-08-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Quan Gu, Hongxia Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试教一台计算机如何预测物理系统的行为，比如热量如何在金属板中扩散、冲击波如何在空气中波动，或者交通拥堵如何在高速公路上形成。在现实世界中，这些现象受复杂的数学规则——偏微分方程（PDEs）的支配。几十年来，求解这些方程就像是在蒙着眼睛走迷宫：你需要一份详细的地图（网格）以及针对每一个转弯极其具体的指令。但如果计算机可以通过观察目的地来学习迷宫的规则呢？这就是新一代“智能”神经网络诞生的时刻。这些被称为物理信息神经网络（PINNs）和神经算子（Neural Operators）的网络，旨在直接学习物理语言，而不需要预先绘制好的地图。它们非常强大，但当物理情况变得“混乱”时——比如变量以复杂的方式相互作用，或者解具有尖锐、锯齿状的边缘时——它们有时会感到吃力。

研究人员一直在思考的一个大问题是：我们如何让这些网络更好地理解问题的不同部分是如何相互沟通的？这可以类比为一个小组项目。如果你有一个由学生组成的团队（变量如时间、空间和温度），标准的方法可能会要求每个学生独立完成自己的部分，然后将纸张粘在一起。但在现实中，学生通常需要协作、辩论并互相影响彼此的工作，才能取得最好的结果。这篇论文探讨了一种借鉴自不同领域（推荐系统）的巧妙技巧，旨在帮助这些物理网络更有效地进行“协作”。通过强制网络显式地建模这些变量如何相互作用——例如，时间的改变如何改变空间变化的影响——作者希望构建一个更聪明、更准确的物理世界预测器。

这篇论文的核心思想：教网络如何让它们的变量“约会”

论文的作者 Quan Gu 和 Hongxia Liu 决定给这些学习物理的网络一个“约会软件”。好吧，不是真正的约会软件，而是一种叫做**因子分解机（Factorization Machines, FMs）*的数学机制。在数据科学领域，FMs 以识别不同事物如何配对而闻名。例如，如果你喜欢“科幻”电影和“动作”电影，标准系统可能只是将这两个分数相加。但因子分解机会问：“你是否真的*更喜欢‘科幻动作’片，而不仅仅是这两者的总和？”它在寻找当两个特征结合时产生的特殊“火花”。

研究人员问道：如果我们教物理网络去寻找变量之间的这些火花会怎样？他们没有仅仅向网络输入一串数字（如 $x, y, z$ 和 $t$ ），而是将这些数字分解为不同的“场”（fields），并强制网络在做出预测之前，计算每一对“场”是如何相互作用的。他们构建了三个新版本的网络：

FM-PINN：用于解决特定网格上的物理问题。
FM-Operator：一种学习系统通用“规则”而非仅仅是某个特定解的新型网络。
FM-DeepONet：对现有的流行网络 DeepONet 进行微调，以增加这种交互超能力。

他们的发现：“高维”碰撞的魔力

当他们用这些新网络进行测试时，结果既有“哇！”也有“嗯，不怎么样”。

大获全胜：当情况变得复杂时
当问题变得高维且平滑时，新网络表现出色。想象一下尝试预测 4D 或 5D 空间中的温度（这听起来不可能，但在数学中，这仅意味着同时追踪许多变量）。在这些场景下，变量不断地相互碰撞。作者发现，通过显式建模这些相互作用，FM-PINN 在一个 4D 对流扩散问题上将误差降低了 43.98%，在 5D 线性平流问题上降低了 55.43%（与标准版本相比）。这就像是给了网络一副眼镜，让它能看见变量之间隐藏的联系。

冲击测试：处理“锯齿状”的内容
物理并不总是平滑的；有时它会有尖锐的冲击，比如音爆或突然的交通拥堵。作者在产生这些尖锐边缘的方程（如 Burgers 方程和模拟油水混合的 Buckley-Leverett 方程）上测试了他们的网络。在这里，FM-Operator 和 FM-DeepONet 绝对是冠军。

在一个棘手的“参数化 Burgers”问题（流体的粘性会发生变化）中，新的 FM-Operator 实现了 0.0328 的误差，而标准的 DeepONet 则在 0.0794 处挣扎。这是 58.61% 的提升！
更令人印象深刻的是，FM-Operator 仅用了 42,826 个参数（网络的“脑细胞”），而标准 DeepONet 为了完成同样的工作需要 108,161 个参数。这就像是一个精简高效的小型团队击败了一个臃肿昂贵的团队。

“不怎么样”的地带：平滑且简单的情况
然而，论文谨慎地指出，这并不是解决一切问题的灵丹妙药。当问题简单、低维或非常平滑（如 Helmholtz 方程或基础的 1D 热传导方程）时，新网络并不总是胜出。事实上，在某些平滑问题上，标准网络反而更好。作者认为，如果变量之间不需要太多“交流”，强制它们相互作用只会增加不必要的噪声和混乱。这就像试图与一个只想说声“你好”的人进行深度对话。

结论：一种专门的工具，而非通用方案

论文总结道，这些特征交互模块是一个强大的工具，但它们在物理问题具有强烈的、复杂的变量依赖关系时最为有用。如果你处理的是高维平滑问题或充满冲击的混乱方程，添加这种“交互层”有助于网络更好地理解物理，通常还能使用更少的参数。但如果问题很简单，或者变量彼此独立，那么标准方法可能仍然是更好的选择。

作者还将他们的工作与其他先进方法（如 Shift-DeepONet，它尝试移动网络的“基函数”以跟随冲击波）进行了比较。他们发现，在处理 Burgers 方程时，他们的 FM-Operator 仍然更准确且更高效，在减少 28.0% 误差的同时，使用的参数减少了 70%。

简而言之，这篇论文表明，教神经网络显式地建模其输入如何相互“约会”，是解决最难物理问题（尤其是涉及剧烈变化或多变量交互的问题）的一个充满前景的方向。它不是一种一劳永逸的解决方案，但对于正确的、复杂且混乱的物理问题，它是一个游戏规则的改变者。

技术摘要：用于物理信息神经网络与神经算子的特征交互建模

问题陈述

高效且准确地求解参数化偏微分方程（PDEs）仍然是科学与工程领域面临的一个基本挑战。传统的数值方法依赖于预定义的网格和特定问题的方案。虽然物理信息神经网络（PINNs）和神经算子（如 DeepONet、傅里叶神经算子）提供了无网格的替代方案，但现有方法主要侧重于领域分解、谱分解或输入编码（如傅里叶特征）。一个关键的空白在于如何建模输入特征本身之间的交互作用。尽管张量分解（CP、Tucker）暗示了跨特征交互的重要性，但标准的架构通常将输入坐标、传感器数值和物理参数视为拼接向量，而未能显式捕捉它们的成对耦合。对于高维 PDE 以及具有剧烈梯度或不连续性的问题，这种局限性尤为显著，因为在这些问题中变量间的耦合非常强。

方法论

作者提出将源自因子分解机（Factorization Machines, FMs）的特征交互模块嵌入到 PINNs 和神经算子中。其核心机制是**双向交互池化（bi-interaction pooling）**层，该层显式地对输入语义场之间的成对交互进行建模。

理论动机

该方法受到多元函数二阶泰勒展开式的启发。对于依赖于场块 $F = (F_1, \dots, F_M)$ 的目标函数 $g(F)$ ，其展开式包含了跨场 Hessian 项 $\sum_{i<j} \delta F_i^\top H_{ij} \delta F_j$ 。所提出的双向交互块定义为 $z_{BI} = \sum_{i<j} e_i \odot e_j$ （其中 $e_i$ 是场嵌入， $\odot$ 是 Hadamard 积），显式地构建了这些混合块乘积。这提供了一种归纳偏置，使其与 PDE 解流形的局部结构相一致，特别是在跨坐标或传感器-查询依赖关系显著的情况下。

提出的架构

论文引入了三种特定的架构：

FM-PINN:
- 结构： 将每个坐标分量（例如 $x, t$ 或 $x_1, \dots, x_D$ ）视为一个独立的语义场。
- 机制： 每个场被嵌入到一个共享的潜在空间中，通过双向交互池化聚合成对交互，然后传递给 MLP 解码器。
- 目标： 显式捕捉时空变量的交互作用，从而提高对平滑、高阶和高维 PDE 的逼近能力。
FM-Operator:
- 结构： 一种直接的算子架构（非分支-干部分支），将传感器输入函数 ( $s$ )、查询坐标 ( $y$ )、统计量 ( $q(s)$ ) 和物理参数 ( $\eta$ ) 视为不同的场。
- 机制： 它对输入函数与查询位置之间的跨组交互进行建模。预测结果结合了一个在池化后的跨场乘积上运行的 MLP 路径，以及一个保留原始一阶效应的线性路径。
- 目标： 通过建模传感器值与查询坐标如何共同决定解，来处理具有剧烈梯度或不连续性的非线性守恒定律。
FM-DeepONet:
- 结构： 将特征交互模块注入到标准的 DeepONet 框架中。
- 机制： 从分支特征 ( $b$ )、干部分支特征 ( $\phi$ )、传感器统计量和参数中构建一个场集。交互块细化这些特征，生成修正项 ( $\Delta b, \Delta \phi$ )，并将其加回原始特征中，然后再进行最终的内积投影。
- 目标： 通过允许分支特征、干部分支特征及辅助输入之间的成对交互来增强标准的分支-干部分支分解，从而精细化预测。

核心贡献

集成因子分解机： 本研究将来自推荐系统（FMs/NFMs）的双向交互机制适配到连续的 PDE 输入中，将此方法扩展到了超越近期符号或基于表达式的方法（如 PI-MFM）的范畴。
显式交互建模： 与标准的拼接方式不同，所提出的架构显式地建模了空间坐标、时间、传感器值和物理参数之间的成对关系。
三种新颖架构： 开发了 FM-PINN、FM-Operator 和 FM-DeepONet，为不同 PDE 求解范式下的特征交互提供了一套统一策略。
参数效率： FM-Operator 在具有挑战性的基准测试中实现了卓越的精度，同时使用了显著更少的参数（约 43K），相比之下，标准 DeepONet 约为 108K，Shift-DeepONet 约为 141K。

实验结果

FM-PINN vs. PINN

高维平滑问题： FM-PINN 在多维平滑 PDE 上表现出显著的精度提升。例如，与 Vanilla PINN 相比，它在 2D 对流扩散方程上的相对 $L_2$ 误差降低了 45.69%，在 4D 线性平流方程上降低了 63.26%，在 5D 线性平流方程上降低了 55.43%。
局限性： 该方法在 1D 问题（不存在跨坐标对）以及特定的 2D 问题（如 Darcy 和反应扩散方程）上表现出不一致或负向的收益。它并未从本质上解决基于残差训练下针对冲击主导的 1D Burgers 方程的优化难题，但在平滑的 4D Burgers 变体上表现良好。

神经算子 (FM-Operator & FM-DeepONet)

冲击与不连续性处理： FM-Operator 和 FM-DeepONet 在特定的具有冲击的非线性守恒定律（如 Buckley-Leverett、Cubic Conservation、LWR、参数化 Burgers）上表现出色。与 DeepONet 相比，FM-Operator 在参数化 Burgers 方程上的误差降低了 54.37%，在三次守恒方程上降低了 38.06%。然而，该方法并非在所有非线性案例中都具有一致优势；值得注意的是，在 Kuramoto–Sivashinsky 方程上，它表现不如标准 DeepONet，后者达到了最低误差。
与 Shift-DeepONet 的比较： 在粘性 Burgers 方程 ( $\nu=0.001$ ) 中，FM-Operator 在使用约 70% 更少参数的情况下，实现了比 Shift-DeepONet 低 28.0% 的平均误差。
平滑基准测试： 在平滑算子学习任务（如 Helmholtz、Heat、Poisson）中，优势并不一致。DeepONet 在低维平滑问题上通常优于 FM 变体，这表明当存在强烈的跨场依赖关系时，交互机制才最具价值。
消融实验：
- 拆分 vs. 非拆分： 将查询坐标拆分为单独的场产生的差异极小，这表明传感器-查询之间的交互比查询-查询之间的交互更为关键。
- 参数量： 降低 DeepONet 的容量并未缩小与 FM-Operator 的精度差距，这表明收益源于交互结构，而非仅仅是参数数量。
- 统计量： 将传感器统计量（均值、标准差、最大值）添加到标准 DeepONet 中并未重现 FM 模型的性能增益，这证实了收益来自于交互机制本身。

重要性与主张

论文声称，特征交互建模提供了一种简单且参数高效的方式，可以改进 PDE 学习，特别是在解算子包含输入函数与查询位置之间存在强依赖关系的场景下。

条件效用： 作者强调，该方法并非一种普遍的改进。它对于高维平滑 PDE（其中跨坐标耦合显著）以及特定的具有冲击的非线性守恒定律（其中传感器值与查询位置必须相互作用以追踪移动前沿）特别有效。然而，它在平滑算子学习基准测试中没有表现出一致优势，并且在特定的非线性案例（如 Kuramoto–Sivashinsky）中可能会失效。
归纳偏置： 该工作将双向交互块定位为一种特定的归纳偏置，它与 PDE 解流形的二阶结构相一致，为通用的深度学习架构提供了一个有针对性的替代方案。
未来方向： 论文指出，目前的结果是基于特定基准测试的，并建议未来的工作可以探索自适应场分组，以便仅在有益处的地方添加交互项，并进一步研究目标解的数值秩，以更好地预测何时该架构能优于可分离或标准的算子模型。