技术摘要：基于深度学习的混合 PDE 求解器的可靠性

问题陈述

基于深度学习的混合迭代方法（DL-HIMs）旨在通过结合经典的平滑算子（如 Jacobi、Gauss-Seidel）与神经算子（如 DeepONet、Fourier Neural Operators），来加速大规模线性方程组（源自偏微分方程 PDE 离散化）的求解。尽管这些方法利用了经典组件与神经组件互补的谱偏差（spectral biases），但它们经常遭受**收敛停滞（convergence stagnation）**的问题。

核心问题在于**“伪不动点（false fixed points）”**的出现。在这种场景下，迭代更新 $\delta^{(k)} = G_\theta(u^{(k)}) - u^{(k)}$ 趋于零（表明存在数学上的不动点），但物理残差 $r^{(k)} = f - Au^{(k)}$ 仍然很大。这种脱节源于经典平滑器与神经算子之间的谱间隙（spectral gap）：神经组件无法修正平滑器未能解决的误差模式，或者训练目标与求解器的动力学过程不一致。此外，旨在最小化固定点更新量的标准加速技术——安德森加速（Anderson Acceleration, AA），可能会在无意中加速向这些“伪不动点”而非真实 PDE 解的收敛。

方法论

本文对两种具有代表性的 DL-HIM 求解器进行了系统分析：

1. HINTS (Hybrid Iterative Numerical Transferable Solver): 一种非线性求解器，使用 DeepONet，通过交替进行 $n$ 步平滑器步骤与一次神经修正步骤进行工作。
2. FNS (Fourier Neural Solver): 一种线性求解器，使用专门的基于 FFT 的架构，同样交替进行平滑步骤与神经修正。

本研究从三个关键维度进行了调查：

• 不动点公式化： 将 DL-HIM 循环形式化为固定点迭代 $u^{(k+1)} = G_\theta(u^{(k)})$。作者分析了误差传播算子 $E$ 和残差传播算子 $R$，并指出对于非线性算子，误差与残差传播之间的谱等价性会失效。
• 训练范式：
  • 静态训练： 神经算子在预解数据集（粗网格）上进行离线训练，以近似单步修正。研究对比了基于误差的损失（Error-Based Loss）（最小化与参考解的距离）和基于残差的损失（Residual-Based Loss）（最小化 PDE 违背度且无需参考解）。
  • 动态训练： 求解器在可微图中展开 $K$ 步，直接优化多步收敛。这缓解了训练（初始残差）与推理（演化后的残差）之间的分布不匹配问题，但会带来高昂的内存和计算成本。
• 更新策略：
  • 固定/自适应步长： 评估了常数步长与针对对称正定（SPD）系统推导出的线搜索策略。
  • 加速： 对比了标准的安德森加速（AA，旨在最小化更新范数 $\|\delta^{(k)}\|$）与提出的物理感知安德森加速（Physics-Aware Anderson Acceleration, PA-AA）。PA-AA 修改了加速目标，使其显式地最小化物理残差范数 $\|f - Au\|$。

核心贡献

1. 对停滞现象的机制理解： 本文刻画了“伪不动点”现象，证明了由于谱间隙和训练目标失配，迭代器 $G_\theta$ 的数学不动点并不一定与真实的 PDE 解重合。
2. 架构相关的训练目标： 通过广泛实验，作者揭示了最优训练损失具有高度的上下文相关性：
   • 基于 DeepONet 的求解器（HINTS） 在使用基于残差的损失时表现最好，这种损失能自然处理谱偏差，且无需昂贵的参考解。
   • 基于 FFT 的求解器（FNS） 在静态训练下，使用基于残差的损失往往会导致性能下降，而使用基于误差的损失表现更好，这可能是因为对于该特定架构，基于残差的目标会在谱域内诱发不稳定且激进的修正。
3. 动态训练的成本效率： 研究量化了动态训练的权衡。虽然动态训练在理论上可以减少分布不匹配，但实验表明，对于 HINTS，将展开步数增加到 $K=5$ 会使训练时间增加约 8.6 倍，内存增加约 1.3 倍，却并未比经过良好调优的静态训练带来显著的收敛改进。
4. 物理感知安德森加速（PA-AA）： 作者引入了 PA-AA，将加速重心从最小化更新步转向最小化物理残差。这一策略有效地打破了由伪不动点导致的停滞障碍。

结果

数值实验在 1D 随机扩散（SPD）和不定 Helmholtz 方程上进行：

• 伪不动点： 在标准 HINTS 迭代中，更新范数降至 $\approx 10^{-4}$，而物理残差停滞在 $\approx 10^{1}$，证实了伪不动点的存在。
• 损失函数的影响： 对于 HINTS，基于残差的 $\ell_2$ 损失达到了最低的残差水平。相反，对于静态训练下的 FNS，基于残差的损失会导致发散或性能不佳，而基于误差的损失则更为稳定。
• 更新策略表现：
  • 标准 AA 无法显著改善 HINTS，也无法逃离伪不动点。
  • 源自共轭梯度法的自适应步长在非 SPD 的 Helmholtz 问题中会出现发散。
  • PA-AA 成功恢复了可靠的收敛。在 Helmholtz 实验中，当标准 AA 停滞在 $10^{-3}$ 以上时，PA-AA 使 HINTS 能够以显著更少的迭代次数稳健地收敛至 $10^{-9}$。
• 动态 vs. 静态： 动态训练在最终收敛性方面并未优于经过优化损失函数和更新策略处理的静态训练，这验证了低成本干预（更好的目标函数和更新方案）比昂贵的动态展开更有效。

意义与主张

论文得出结论，DL-HIMs 的可靠性不仅取决于神经架构的表达能力，更关键地取决于具有物理信息的训练目标和更新策略。

作者断言：

• 可靠性是整体性的： 一个鲁棒的 DL-HIM 需要根据特定的 PDE 和计算预算，综合选择网络架构、训练范式和迭代策略。
• 澄清误区： 所谓的收敛失败往往并非归因于神经架构，而是由失配的训练范式（例如，针对特定架构使用了错误的损失函数）以及不充分的更新策略（例如，在非线性算子上使用标准 AA）驱动的。
• 实践指导： 对于从业者，本文建议优先考虑将训练目标与求解器动力学对齐（例如，针对 DeepONet 使用基于残差的损失，针对 FNS 使用基于误差的损失），并采用物理感知加速以避免伪不动点，而不是仅仅依赖于动态训练或复杂的架构。

这项工作为有关 AI 求解器 PDE 的持续争议提供了具体的解答，证明了通过正确的方案设计，这些方法可以实现稳定且可靠的收敛。