Walsh-Hadamard Neural Operators for Solving PDEs with Discontinuous Coefficients

本文介绍了沃尔什 - 哈达玛神经算子（WHNO），这是一种利用沃尔什 - 哈达玛变换有效求解具有不连续系数偏微分方程的新型架构，它克服了基于傅里叶方法的局限性，并证明将 WHNO 与傅里叶神经算子集成到集成学习中，在捕捉锐利界面和平滑特征方面能产生显著更优的精度。

要点

想象一下，你正在尝试教计算机预测热量如何在复杂机器中流动，或者冲击波如何在水中传播。这些问题都由**偏微分方程（PDEs）**支配。通常，计算机通过将这些问题分解成微小部分并逐步计算答案来解决它们，但这非常缓慢。

神经算子是一种新型人工智能，旨在学习这些方程的“规则”，从而能够像超快速捷径一样即时预测答案。

然而，这里有一个陷阱。大多数这类人工智能捷径都依赖一种称为傅里叶变换的数学工具。将傅里叶变换想象成一组平滑、起伏的正弦波（如同温和的海洋涌浪）。这些波非常适合处理平滑、连续的事物，但当问题涉及尖锐、突变的跳跃时，它们就会显得力不从心——例如，河水中突然出现一堵冰墙，或者材料瞬间从木头变为金属。

当你试图仅用平滑的波来描述一个尖锐的方形边缘时，这些波就会陷入混乱。它们开始在边缘附近“震荡”或剧烈振动，从而产生误差。在数学中，这被称为吉布斯现象。这就像试图仅用圆形画笔来画一个完美的正方形；你得到的永远会是模糊、摇晃的边角。

新解决方案：沃尔什 - 哈达玛神经算子（WHNO）

本文的作者介绍了一种名为WHNO的新型人工智能模型。他们不再使用平滑的波，而是将画笔换成了一组矩形块。

• 类比：想象你在铺设地板。
  • 旧方法（傅里叶）试图仅用弯曲、波浪形的瓷砖来铺设一个方形房间。为了形成笔直的墙壁，你必须堆叠成千上万块微小的弯曲瓷砖，但它们永远无法完美对齐。
  • 新方法（WHNO）使用方形瓷砖。如果你需要笔直的墙壁或尖锐的角落，只需将方形瓷砖并排摆放即可。它们完美契合，没有任何摇晃的边缘。

由于许多现实世界的问题涉及突变（例如地下的岩层或温度的急剧跳跃），这些“矩形波”瓷砖在捕捉真实情况时表现更佳，不会产生令人困惑的振动。

“兼收并蓄”策略

研究人员并没有止步于新方法。他们意识到，虽然“方形瓷砖”（WHNO）擅长处理尖锐边缘，但“平滑波”（傅里叶）在描述边缘之间平滑、柔和的部分方面仍然非常出色。

因此，他们创建了一个团队（集成）。

• 他们训练了两个独立的人工智能：一个使用方形瓷砖（WHNO），另一个使用平滑波（FNO）。
• 随后，他们将两者的预测结果混合在一起，就像混合两种颜色的油漆。
• 他们利用一种智能测试过程（交叉验证）来为每个特定问题找到完美的“混合比例”。

结果：
在他们进行的每一次测试中——无论是热量在形状奇特的材料中流动，还是冲击波在流体中传播——混合团队的表现都优于单独工作的任何一个人工智能。

• 有时混合比例是 57% 的方形瓷砖和 43% 的平滑波。
• 其他时候则是 65% 的方形瓷砖和 35% 的平滑波。

即使在“方形瓷砖”人工智能单独表现并非明显优胜的情况下，加入少量的“平滑波”人工智能仍然能使最终答案更加准确。

论文要点

1. 工具至关重要：将数学“画笔”从平滑波改为矩形块，显著提高了处理具有尖锐跳跃问题的准确性，同时并未降低计算机的速度。
2. 团队合作获胜：结合两种不同的方法（新的矩形方法和旧的平滑方法）总是能产生最佳结果。这两种方法互相弥补了彼此的弱点。
3. 并非魔法，只是数学：该论文在特定的物理问题（热传导和流体冲击波）上进行了测试。它并未声称这适用于医疗诊断或其他无关领域，而是指出，对于这类特定的“尖锐跳跃”物理问题，这种新组合是迄今为止测试过的最准确方法。

简而言之，论文指出：如果你面临一个具有尖锐边缘的问题，不要仅仅使用旧的平滑波人工智能。使用基于块的新人工智能，或者更好的是，让基于块的人工智能和平滑波人工智能作为团队共同工作。

技术摘要

技术摘要：用于求解具有不连续系数偏微分方程的沃尔什 - 哈达玛神经算子

问题陈述
神经算子已成为学习参数化偏微分方程（PDE）解算子的强大工具，提供了可跨分辨率泛化的离散化不变代理模型。然而，标准谱方法，特别是傅里叶神经算子（FNO），在应用于涉及不连续系数或初始条件的偏微分方程时面临显著局限。由平滑三角函数组成的傅里叶基在表示锐利界面或阶跃函数时会遭受吉布斯现象（Gibbs phenomenon）的影响。这导致振荡伪影、逐点收敛缓慢以及误差在材料边界附近局部化。这些问题在以下应用中至关重要：多孔介质中的地下流动（渗透率突变）、复合材料的热管理（电导率急剧跳变）以及流体动力学（激波）。

方法论
作者引入了沃尔什 - 哈达玛神经算子（WHNO），这是一种谱神经算子架构，用沃尔什 - 哈达玛变换（WHT）替代了傅里叶变换。

• 谱基： 与 FNO 的全局三角函数基不同，WHT 利用正交的矩形波函数基。这些函数是分段常数函数，使其天然适合表示阶跃不连续性而无需振荡振铃。WHT 能够精确分解分段常数场的信号，并允许进行激进的谱压缩。
• 架构： WHNO 架构镜像了 FNO 结构，但在沃尔什 - 哈达玛域中运行。
  • 输入编码： 输入场（如电导率或初始速度）与常数通道拼接。
  • 谱层： 网络的核心由谱层组成，这些层通过快速沃尔什 - 哈达玛变换（FWHT）转换输入。可学习权重应用于低序数系数（类似于 FNO 中的低频模态）以捕捉全局依赖关系。随后将变换逆变换回空间域。
  • 空间细化： 膨胀卷积解码器处理谱特征，以解析不连续性处的细尺度特征。
  • 复杂度： FWHT 具有与快速傅里叶变换（FFT）相同的 $O(n \log n)$ 计算复杂度，确保 WHNO 保持与 FNO 相同的单次传递效率。
• 集成策略： 鉴于沃尔什 - 哈达玛基在锐利界面方面表现出色，而傅里叶基在平滑区域保持高效，作者提出了 WHNO 和 FNO 的加权集成。集成预测定义为 $u_{ensemble} = w \cdot u_{WHNO} + (1-w) \cdot u_{FNO}$，其中权重 $w^* \in [0, 1]$ 通过五折交叉验证确定，以最小化验证集上的均方误差（MSE）。

主要贡献

1. 架构开发： 提出了 WHNO 的公式，该公式将沃尔什 - 哈达玛谱处理与作用于低序数系数的可学习权重相结合。
2. 不连续偏微分方程的验证： 在两个不同问题上进行了严格测试：
   • 热传导： 具有不连续热导率（矩形夹杂物）的准稳态扩散。
   • 2D 伯格斯方程： 具有不连续初始条件（方形块）的非线性对流 - 扩散。
3. 受控比较： 与参数数量匹配（1,555,153 个参数）且训练协议相同的 FNO 基线进行了直接评估。
4. 集成框架： 证明通过单一交叉验证标量权重结合 WHNO 和 FNO 的简单方法，在所有测试配置中产生的性能严格优于任一单独模型。

结果
该研究评估了七种配置下的性能：四种热传导几何形状（轴对齐、旋转、圆盘、沃罗诺伊）和三种伯格斯初始条件族（块状、平滑正弦、斜向前沿）。

• 单模型性能：

  • 在热传导问题上，与 FNO 相比，WHNO 实现了更低平均绝对误差（MAE）和更低的 $H^1$（梯度均方误差）误差。具体而言，WHNO 将 MAE 降低至 $0.0153 \pm 0.00097$，而 FNO 为 $0.01663 \pm 0.00183$。
  • 在伯格斯方程上，WHNO 同样在 MAE（$0.00642$对比$0.00843$）和$H^1$ 误差方面优于 FNO。
  • 误差分析显示，FNO 的误差集中在材料界面处（吉布斯现象），而 WHNO 的误差分布更为均匀。
  • 在不连续性未与沃尔什基对齐的配置中（例如旋转矩形、斜向前沿），WHNO 的单模型优势在 $H^1$ 指标中减弱或逆转，尽管它通常在 MAE 方面仍保持优势。

• 集成性能：

  • 交叉验证的集成始终优于两个单模型。
  • 热传导： 最优权重为 $w^* = 0.572 \pm 0.016$。集成测试 MSE 达到 $3.65 \times 10^{-4}$，严格低于仅 WHNO（$4.71 \times 10^{-4}$）和仅 FNO（$5.66 \times 10^{-4}$）。
  • 伯格斯方程： 最优权重为 $w^* = 0.648 \pm 0.020$。集成 MSE 为 $6.6 \times 10^{-5}$，优于仅 WHNO（$9.4 \times 10^{-5}$）和仅 FNO（$1.59 \times 10^{-4}$）。
  • 至关重要的是，即使在 WHNO 单独未能明确击败 FNO 的配置中（例如具有圆盘夹杂物的热传导、具有斜向前沿的伯格斯方程），集成也实现了比两个基线更低的 $H^1$ 误差。

意义与主张
该论文声称从这些发现中得出了两个主要原则：

1. 谱基至关重要： 在参数数量匹配的情况下，用沃尔什 - 哈达玛基替代傅里叶基可降低具有不连续结构的偏微分方程的误差指标（MAE 和 $H^1$），且不增加每次前向传递的计算成本。
2. 基的互补性： 沃尔什 - 哈达玛和傅里叶表示捕捉了解场中部分互补的特征（锐利界面与平滑变化）。通过单一交叉验证标量权重将它们结合，提供了一种稳健的方法，在所有测试的问题变体中严格优于傅里叶基线。

作者将 WHNO+FNO 集成定位为一种实用、低风险策略，供已经使用基于傅里叶的基线的从业者使用，以便在具有不连续系数或初始条件的问题上获得可测量的精度提升，前提是拥有可用于权重调整的验证集。该工作承认了局限性，包括对 dyadic（2 的幂次）网格的要求，以及沃尔什优势对基与不连续性几何形状之间对齐的敏感性。