🤖 machine learning

GENERIC-FNO: Embedding Energy Conservation and Entropy Production into Fourier Neural Operators

本文介绍了 GENERIC-FNO，这是首个通过利用对角傅里叶乘子构建精确的简并条件，从而将非平衡热力学的完整 GENERIC 结构直接嵌入函数空间的神经算子，进而保证了在不同偏微分方程和分辨率下，无需惩罚项即可实现机器精度级的能量守恒与熵增。

原作者： Jason Sulskis, Sathya Ravi

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jason Sulskis, Sathya Ravi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试教一台计算机如何预测流体如何运动、热量如何扩散，或者波浪如何破碎。你给了计算机大量数据，它通过学习来猜测下一步的变化。但问题在于，标准的计算机模型就像一个在凹凸不平的地面上玩玩具车的孩子。它们可能掌握了大体思路，但随着时间的推移，它们会产生偏差。它们可能会让小车跑得比物理定律允许的速度更快，或者让热量凭空出现。在现实世界中，能量是守恒的（它不会凭空消失或出现），而熵（无序度）总是增加或保持不变。标准的 AI 模型往往会忘记这些规则，导致它们的预测在最初一秒看起来还不错，但过一会儿就会崩溃。

这篇论文介绍了一种名为 GENERIC-FNO 的新 AI 模型。你可以把它想象成一个“具备物理感知能力”的模型，它不仅仅是在进行猜测，而是从构建之初就被硬编码为必须遵守热力学定律。

以下是它的工作原理，通过简单的类比进行拆解：

1. 两股力量：可逆与不可逆

在现实世界中，事物的发生有两种方式：

可逆（完美的摆动）： 想象一个在真空中摆动的单摆。它会永远前后摆动，不会损失能量。这就是“可逆”。
不可逆（融化的冰块）： 想象一杯热咖啡正在冷却。它向房间散热，且永远不会自发地重新变热。这是“不可逆”，并且会产生熵。

大多数 AI 模型试图同时学习这两者，但它们经常会感到困惑，将两者混淆，或者违反规则。GENERIC-FNO 将它们清晰地分离开来。它拥有两只截然不同的“手”：

可逆之手： 处理那些摆动、能量守恒的部分。
不可逆之手： 处理那些冷却、能量耗散的部分。

2. “三明治”技巧（核心秘诀）

该论文最大的创新在于如何强制这两只手在不破坏规则的前提下和谐共处。

通常，如果你想让 AI 遵循规则，你会告诉它：“嘿，如果你违反了规则，我会给你差评”（这被称为惩罚）。但作者说，这就像告诉一个孩子“不要跑”，但随后又任由他跑，只是事后责备他一样。孩子还是会跑，并最终摔倒。

相反，GENERIC-FNO 使用了**“三明治”结构**：

想象“可逆之手”是一片面包。
想象“不可逆之手”是另一片面包。
在中间，他们放入了一个特殊的“填充物”（一个数学滤波器）。

这个填充物经过设计，使得“可逆之手”无法触碰系统的“熵”（无序度）部分，而“不可逆之手”无法触碰“能量”部分。这就像是在机器内部建造了一道墙，从物理上阻止了错误的手触碰错误的对象。

由于代码中内置了这种物理性的“墙”：

模型无法意外地凭空创造能量。
模型无法意外地破坏能量。
它不需要被“责备”（惩罚）来遵守规则；它在物理结构上就无法违背规则。

3. “机器精度”保证

作者测试发现，由于规则被构建在结构之中，该模型能以机器精度遵循物理定律。

类比： 如果你的银行账户在数学逻辑上被硬性规定不允许出现负余额，那么你就不需要每天检查余额来确保自己不会负债。数学本身保证了这一点。
在他们的测试中，模型的能量守恒精度达到了 13 位小数。这就像是一个完美的会计师，永远不会出现舍入误差。

4. “缩放”超能力

它最酷的特性之一是超分辨率（Super-Resolution）。

类比： 想象你教一个孩子用一个小型的、低分辨率的网格（比如 10x10 像素网格）画一张城市地图。通常，如果你要求他在一个巨大的、高清晰度的屏幕（256x256 像素）上画同一座城市，他会不知所措，或者画出来的图会变得模糊。
GENERIC-FNO 则不同。因为它学习的是城市的“规则”（物理学），而不是仅仅记忆像素，所以它可以观察小网格，并立即绘制出一个完美的高清版本，而无需额外的训练。它在小网格和大网格上的表现同样出色。

5. “规范”之谜（一个微妙的点）

论文提到了一个复杂的概念——“规范自由度（Gauge Freedom）”。

类比： 想象你在描述一段旅程。你可以说，“我向北走了 5 英里”，或者你可以说，“我向北走了 5 英里，然后向东走了 10 英里，但由于地球自转，我最终回到了原点。” 这两种描述会导致相同的结果，但数字看起来不同。
在这个模型中，AI 学习的是“能量”和“熵”，但并不存在仅仅一种正确的数学定义方式。作者承认，虽然结果（流体的运动）是完美的，但 AI 分配给“能量”的具体数值可能会根据观察方式的不同而有所变化。
然而，他们创建了一个特殊的“检测器”，可以忽略这些令人困惑的数字，只检查：“这个系统是在损失能量（耗散），还是仅仅在前后摆动（可逆）？” 这个检测器运行完美，能够揭示物理真相，无论底层的数学逻辑多么混乱。

6. 哪里表现欠佳（诚实的局限性）

作者非常坦诚地说明了该模型目前还不完美的地方。

“纯滑动”问题： 如果你有一个完全可逆的系统（比如一个无摩擦的滑梯），该模型的表现会比标准的、“无约束”的 AI 稍逊一筹。
为什么？ 因为标准的 AI 被允许通过一点点“作弊”来完美拟合数据。而 GENERIC-FNO 则拒绝作弊，因为它受规则约束。这就像一位严苛的厨师，即使顾客喜欢，也拒绝为了让菜品更好吃而额外加盐。这道菜是“物理正确”的，但可能不是针对特定数据集的“最佳口味”。
“粗糙网格”问题： 如果你尝试在非常低质量、模糊的网格上运行该模型，数学计算会变得有些不稳定。作者发现这是由于他们用于推进时间步长的“步进”方法导致的，而非物理规则本身的问题。

总结

GENERIC-FNO 是一种新型 AI，它将热力学定律（能量守恒和熵）直接构建在它的骨架之中。

它不仅学习预测，更学习如何根据物理定律进行正确的预测。
它可以在大小网格之间无缝切换，无需重新训练。
它防止了导致其他 AI 模型失效的“漂移”现象。
它用微小的拟合能力换取了物理规律永不破裂的保证。

这是迈向一种不仅能模仿世界，而且能尊重维系宇宙基本规则的 AI 的重要一步。

技术摘要：GENERIC-FNO

问题陈述

神经算子（如傅里叶神经算子 FNO 和 DeepONet）已在作为偏微分方程（PDE）解算子的代理模型方面取得了成功，它们学习了函数空间之间的映射，并能在不同离散化方案间进行泛化。然而，当以自回归方式部署用于预测长程轨迹时，不受约束的神经算子积累的误差不仅是数值上的，更是物理层面的。它们缺乏内在的守恒律和耗散律概念，导致能量漂移以及本应单调衰减的物理量发生伪增。

虽然现有的函数空间结构保持方法可以强制执行单一守恒律或纯可逆（哈密顿）动力学，但它们无法捕捉到对于真实耗散过程至关重要的不可逆熵增过程。相反，基于 GENERIC（非平衡态可逆-不可逆耦合的一般方程）形式的热力学一致性学习，目前主要局限于有限维状态向量、图或粒子系统。目前尚不存在能够直接在函数空间中嵌入完整 GENERIC 结构（即通过退化条件将可逆的、能量守恒的动力学与不可逆的、熵增的动力学耦合在一起）的神经算子。

方法论：GENERIC-FNO

作者引入了 GENERIC-FNO，这是首个在函数空间中嵌入完整 GENERIC 结构的神经算子。场 $u(x,t)$ 的动力学建模为：
$\partial_t u = L \frac{\delta E}{\delta u} + M \frac{\delta S}{\delta u}$
其中 $E$ 是能量泛函， $S$ 是熵泛函， $L$ 是反对称算子（可逆）， $M$ 是正半定算子（不可逆）。热力学一致性（第一和第二定律）由两个退化条件保证： $L \frac{\delta S}{\delta u} = 0$ 且 $M \frac{\delta E}{\delta u} = 0$ 。

核心架构组件

学习泛函： 能量 $E_\theta[u]$ 和熵 $S_\phi[u]$ 被学习为标量值神经算子。它们将输入场映射到特征密度，随后进行空间平均处理并接一个小型 MLP 头。这种空间平均确保了泛函具有分辨率无关性。它们的变分导数（ $\delta E/\delta u$ , $\delta S/\delta u$ ）通过反向模式自动微分计算。
通过构造实现结构保持算子： 为了避免学习随网格规模增长的稠密矩阵， $L$ $L$ 和 $M$ $M$ 被参数化为作用在固定低频模态带上的对角傅里叶乘子。
- 可逆算子基底是反对称的（ $i a(k)$ ）。
- 不可逆算子基底是正半定的（ $|b(k)|^2$ ）。
精确的退化强制执行： 为了在不使用惩罚项或最终更新投影的情况下精确满足退化条件，作者将对角乘子“夹心”在秩为 1 的 $L^2$ $L^{2}$ 投影之间。
- 可逆算子 $L$ 被投影掉熵梯度方向： $L = (I - P_S) D_L (I - P_S)$ 。
- 不可逆算子 $M$ 被投影掉能量梯度方向： $M = (I - P_E) D_M (I - P_E)$ 。
- 这种构造确保了对于任何初始化、维度或分辨率， $L \frac{\delta S}{\delta u} = 0$ 和 $M \frac{\delta E}{\delta u} = 0$ 均能恒等成立（达到机器精度）。

规范不变性与诊断

论文承认，实现给定流的元组 $(E, S, L, M)$ 并不唯一（规范自由度）。虽然结构保证是规范不变的，但动力学归属于可逆还是不可逆通道的属性则不是。为了解决这一问题，作者引入了一种基于固定二次能量 $Q[u] = \frac{1}{2}\|u\|^2$ （而非学习到的泛函）的规范不变耗散诊断指标（ $r_{mech}$ ）。该指标能够独立于学习到的分解，区分真正的可逆动力学与耗散动力学。

核心贡献

首个函数空间 GENERIC 算子： 第一个在函数空间中嵌入完整 GENERIC 结构（学习能量/熵及耦合的可逆/不可逆算子）的神经算子，实现了场论的热力学一致性学习。
通过构造实现的退化： 一种利用投影夹心对角傅里叶乘子的创新参数化方法，实现了退化条件的精确强制执行。这消除了对软惩罚、更新投影或自由残差的需求，确保结构恒等式无论在何种初始化或分辨率下都能达到机器精度（ $\sim 10^{-13}$ ）。
规范不变诊断： 识别了学习分解的非唯一性，并提出了一个可证伪的、规范不变的诊断工具，用以在不引用学习量的情况下测量物理耗散。
分辨率与维度无关性： 证明了其结构保证和精度在 $4\times$ 超分辨率范围（例如 $64 \to 256$ ）以及不同空间维度（1D 和 2D）之间实现了零样本（zero-shot）迁移。
全面的实证研究： 在三种算子骨干（2D FNO, 1D FNO, DeepONet）和四种 PDE（热传导、平流、Burgers、阻尼波）上进行了评估，明确报告了结构约束何时提升精度以及何时产生代价。

实验结果

模型在涵盖可逆、耗散和混合机制的四种 PDE 上进行了评估：

准确性与稳定性： 在耗散型（热传导）和混合型（Burgers, 阻尼波）问题上，GENERIC-FNO 优于不受约束和能量惩罚的基准模型，且通常参数量更少。例如，在 2D FNO 骨干下，它将 Burgers 展开误差降低了 85%（相比标准 FNO）。
长程稳定性： 在 200 步展开（远超 15 步训练时长）中，不受约束的基准模型出现显著发散（热传导问题的能量增长约 9 倍），而 GENERIC-FNO 保持有界且符合物理可行性。
超分辨率： 模型在零样本评估至比训练网格细 4 倍的网格时，仍保持了高精度和结构保证。
可逆传输： 在纯线性平流（纯可逆系统）任务中，GENERIC-FNO 在 FNO 骨干下的误差略高于不受约束的基准模型。作者将其归因于约束限制了模型利用不可逆通道进行拟合灵活性的能力，并结合了粗网格上的显式积分器限制。
耗散诊断： 规范不变诊断指标 $r_{mech}$ 正确识别了可逆系统（值为 $\approx 0$ ），并成功恢复了所有 PDE 中真实的物理耗散排序。

意义与主张

论文声称 GENERIC-FNO 弥补了热力学一致性学习（此前局限于有限维系统）与函数空间神经算子之间的差距。通过通过构造而非通过惩罚来强制执行热力学第一和第二定律，该方法确保了学习到的动力学始终保持在物理可行的流形上。

作者强调，这些结构保证是精确且可迁移的，这使得模型对于长程预测具有鲁棒性，而不受约束的代理模型在此类场景下往往会失效。他们也明确指出了权衡：如果骨干网络容量不足，该方法可能会降低纯可逆传输任务上的表达能力，且目前的实现使用了显式积分器，这限制了可逆系统在粗网格上的精度。然而，能够在函数空间中无需惩罚项即可学习热力学一致动力学的能力，标志着向复杂场问题（如湍流和复杂流体）的稳定、物理驱动代理迈出了重要一步。