🔢 mathematics

Neural operators for solving nonlinear inverse problems

本文通过平衡近似误差、正则化参数与噪声，利用神经算子作为代理求解病态无限维逆问题，同时拓展神经算子逼近理论至索伯列夫空间与勒贝格空间，并讨论网络结构的选择。

原作者： Otmar Scherzer, Thi Lan Nhi Vu, Jikai Yan

发布于 2026-04-29

📖 1 分钟阅读🧠 深度阅读

原作者： Otmar Scherzer, Thi Lan Nhi Vu, Jikai Yan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图拼凑一个巨大而复杂的拼图，但你没有盒子上的参考图，而且你手中的拼图块还有些模糊和破损。这就是科学家所称的逆问题。

在现实世界中，当你仅根据从“黑箱”（如人体或地质层）发出的信号（如 X 射线或声波）来推断其内部结构时，就会遇到这种情况。其背后的数学以 notoriously 困难著称，因为信号中的微小误差可能导致你对内部结构的描绘出现巨大且荒谬的偏差。这就像试图仅凭掉在地上的面包屑来猜测蛋糕的确切配方；如果面包屑稍微有点烤焦，你可能会误以为整个蛋糕都烤焦了。

旧方法：“僵硬的蓝图”

传统上，为了解决这些拼图难题，数学家使用一种称为Tikhonov 正则化的方法。你可以将其想象成一本严格的规则手册，它强制解必须是“平滑”且合理的，从而防止那些荒谬的猜测。

为了让数学能在计算机上运行，他们通常将问题分解成微小而僵硬的块，就像乐高积木的网格（这被称为有限元方法）。他们利用这些积木构建一个“正向模型”（即模拟蛋糕如何烘烤的模型）。如果积木足够小，模拟效果就会很好。但如果拼图过于复杂，所需的积木数量会让计算机不堪重负，或者网格本身会引入误差。

新方法：“聪明的学徒”（神经算子）

本文介绍了一种新工具：神经算子。与其使用僵硬的乐高积木网格，不如想象雇佣了一位聪明的学徒，他观察过成千上万次蛋糕是如何烘烤以及它们的味道如何。

训练：你向这位学徒展示大量“输入 - 输出”对（例如，“这是面团，这是烤好的蛋糕”）。学徒无需了解热传递的物理原理或化学知识，就能学习它们之间的关系。
代理：一旦训练完成，这位学徒就充当了复杂数学的代理（替身）。当你给它新的面团时，它能立即预测出蛋糕的样子。

重大挑战：“视力模糊”问题

作者意识到，虽然这些“聪明的学徒”非常擅长学习，但用于解决逆问题的旧规则手册（数学理论）是为僵硬的乐高积木编写的，而不是为这些灵活的学徒编写的。

具体来说，旧的数学假设学徒可以观察面团上的每一个微小点。但在现实中，我们处理的数据（如声波或 X 射线）往往是“模糊”的，或者存在于一种无法指向单个像素并说“这就是数值”的空间中。这就像试图仅用点的列表来描述一条平滑曲线；有时这些点完全错过了曲线。

本文做了什么：弥合差距

作者做了三件主要事情来使这项工作成为可能：

更新规则手册：他们重写了数学理论，允许这些“聪明的学徒”在真实世界数据所在的“模糊”空间（称为 Sobolev 空间和 Lebesgue 空间）中工作。他们证明，即使数据有些模糊，学徒仍然能够足够准确地学习模式以解决拼图。
平滑输入：针对最模糊的情况，他们引入了一种“平滑滤波器”（就像给相机装上柔焦镜头）。这将锯齿状、难以处理的数据转化为学徒可以理解的内容，从而解决拼图，而结果依然准确。
平衡操作：他们找到了混合三种成分的完美配方：
- 数据中有多少噪声？
- 学徒的准确度如何？
- “规则手册”（正则化）应该有多严格？
  他们表明，如果正确平衡这些因素，即使数据有噪声，你也能获得清晰的内部图像。

实验：测试学徒

作者在两个经典拼图（热和波问题的数学模型）上测试了这种方法。他们比较了三种方法：

旧方法：僵硬的乐高网格（有限元）。
线性学徒：神经网络的简化版本，它不学习复杂模式，只处理直线。
完整神经学徒：复杂的、经过训练的神经算子。

结果：

准确度：完整神经学徒通常优于僵硬的乐高网格，尤其是在初始猜测偏差较大时。它更灵活，不易陷入困境。
噪声：当数据有噪声（模糊）时，僵硬的乐高网格往往会崩溃或产生锯齿状、无用的图像。神经学徒要稳定得多，尽管如果噪声非常高，它确实会显得有些“抖动”。
速度：“线性学徒”速度快得惊人，因为它不需要训练，但它不太擅长解决困难的非线性拼图。完整神经学徒需要一点时间进行训练（在他们的测试中约为 10 秒），但一旦训练完成，它就是一股强大的力量。

结论

本文就像一本手册，教导我们如何雇佣一位“聪明的学徒”来解决世界上最困难的拼图，即使指令模糊不清。它证明我们不必完全依赖僵硬的、老式的网格。通过训练神经网络来理解输入与输出之间的关系，并调整我们的数学以适应这一新工具，我们可以为以前极难解决的问题获得更清晰、更稳定的答案。

然而，本文也警告：更多的训练数据并不总是更好。 超过某个点后，给学徒添加更多示例并不会让它变得更聪明；只会浪费时间。而且，虽然学徒很出色，但它仍然需要一个良好的起点（“先验猜测”）才能发挥魔力。

以下是论文《用于求解非线性逆问题的神经算子》（作者：Otmar Scherzer, Thi Lan Nhi Vu, Jikai Yan）的详细技术总结。

1. 问题陈述

本文解决了将非线性逆问题表述为算子方程的挑战：
$F[x] = y$
其中 $F: D(F) \subseteq X \to Y$ 是无限维函数空间（通常是索伯列夫空间或勒贝格空间）之间的非线性算子。这些问题是适定性缺失的，意味着解不连续依赖于数据 $y$ ，且噪声（ $y^\delta$ ）可能导致解的不稳定。

核心挑战：
传统上，求解这些问题涉及使用经典离散化方法（例如有限元方法 - FEM）的 Tikhonov 正则化来近似前向算子 $F$ 。然而，在许多现代应用中，算子 $F$ 并非通过物理定律显式已知，而是通过训练数据（输入 - 输出对）间接指定。作者旨在用从数据中学习到的神经算子（具体为 DeepONet 架构）替代经典的离散化算子 $F_n$ ，并在 Tikhonov 正则化框架内严格分析该方法的收敛性和稳定性。

2. 方法论

本文开发了一个结合Tikhonov 正则化与神经算子的理论框架和数值策略。

A. 正则化框架

作者利用 Tikhonov 正则化来稳定逆问题。他们寻求泛函 $T_{\alpha}^\delta[x]$ 的最小化器 $x_{\alpha}^\delta$ ：
$T_{\alpha}^\delta[x] := \|F_n[x] - y^\delta\|_Y^2 + \alpha \|x - x^{(0)}\|_X^2$
其中：

$F_n$ 是代理算子（神经算子）。
$y^\delta$ 是噪声水平为 $\delta$ 的噪声数据。
$\alpha$ 是正则化参数。
$x^{(0)}$ 是先验猜测（通常为 0）。

B. 神经算子构建

本文基于DeepONet架构定义了神经算子 $F_n$ ，该架构用于近似函数空间之间的映射算子。

架构： 算子由“分支”网络（近似输入的泛函）和“主干”网络（近似输出函数）构建。
训练策略： 作者提出了一种两步策略来确定网络系数（先验），而不是将网络视为黑盒：
1. 线性化： 在参考点附近对非线性算子 $F$ 进行线性化。
2. 正交化： 对训练数据使用 Gram-Schmidt 正交化，显式构建线性代理 $F_N^\#$ 。
3. 神经近似： 使用神经网络近似 $F_N^\#$ 的线性泛函和输出函数。这使得能够预先确定某些网络参数（例如采样点、由求积规则导出的权重），从而显著简化训练过程。

C. 扩展到索伯列夫和勒贝格空间

一个关键的方法论贡献是扩展了神经算子的通用近似定理。

标准定理适用于连续函数空间（ $C(\Omega)$ ）。
逆问题通常需要在索伯列夫空间（ $H^s$ ）或勒贝格空间（ $L^2$ ）中求解，在这些空间中逐点评估并不总是良定义的。
$L^2$ 的解决方案： 作者引入了一种平滑化（mollification）技术。在将解 $x$ 输入神经算子之前，先用平滑函数 $x_\xi$ （通过与平滑核卷积）近似解 $x$ 。这确保了逐点评估的有效性，同时保持了 $L^2$ 范数下的收敛性质。

3. 主要贡献

理论收敛率：
本文推导了使用神经算子代理时正则化解 $x_{\alpha}^\delta$ 的严格误差估计。他们建立了以下因素之间的最佳平衡：
- 噪声水平（ $\delta$ ）。
- 神经算子的近似误差（ $\rho_n$ ）。
- 正则化参数（ $\alpha$ ）。
- $L^2$ 空间的平滑化参数（ $\xi$ ）。
  主要结果表明，通过适当的参数选择（例如 $\alpha \sim \delta$ , $\rho_n \sim \delta$ ），收敛率为 $O(\sqrt{\delta})$ ，与经典结果一致。
推广到非连续空间：
作者证明了神经算子可以通过利用紧嵌入定理和平滑化技术，近似定义在索伯列夫空间（ $H^s$ ，其中 $s > m/2$ ）和勒贝格空间（ $L^2$ ）上的算子。这弥合了神经算子理论（通常定义在 $C(\Omega)$ 上）与逆问题正则化需求之间的差距。
结构化训练（先验）：
本文提出了一种基于训练数据几何结构（正交化）和经典积分规则来预先计算神经算子结构部分的方法。这降低了非线性训练问题的复杂性，并为网络架构提供了理论基础。
代理的定量分析：
作者分析了训练样本数量（ $N$ ）、网络系数数量（ $n$ ）与近似误差之间的权衡，为线性和非线性情况提供了明确的界限。

4. 数值结果

作者在两个基准逆问题上验证了其理论：

示例 3.1（"a-example"）： 一个非线性微分方程，其中系数 $x$ 属于 $H^1$ 。
示例 3.2（"c-example"）： 一个薛定谔型方程，其中系数 $x$ 属于 $L^2$ 。

实验中的关键发现：

准确性： 神经算子代理（ $F_n$ ）在均方误差（MSE）方面通常优于经典有限元方法（FEM），特别是在初始猜测远离真实解时。
对初始化的鲁棒性： 基于 FEM 的优化对初始猜测高度敏感。神经算子方法更具鲁棒性，在不同初始化下均保持低误差。
噪声稳定性：
- 线性代理（ $F_N^\#$ ）对噪声极其稳定，但对复杂非线性问题的灵活性较差。
- 训练好的神经算子（ $F_n$ ）能很好地处理非线性，但由于优化器（AdamW）的随机性，在高噪声下显示出一些振荡。
- FEM 性能随噪声显著下降，通常需要更细的网格，但这反而因过拟合噪声而恶化结果。
训练效率： 对于 $N=20$ 个样本，神经算子的总训练时间（包括数据生成）约为 10 秒，展示了这些一维问题的高效率。
数据饱和： 将训练样本数量增加到一定点之后（例如从 $N=30$ 到 $40$），收益递减，表明模型已捕捉到算子的基本特征。

5. 意义

连接理论与实践： 这项工作具有重要意义，因为它将神经算子从一种“黑盒”启发式方法转变为解决适定性缺失逆问题的数学严谨工具。它提供了实际部署所需的收敛率和参数选择规则。
处理无限维度： 通过将近似理论扩展到索伯列夫和 $L^2$ 空间，本文解决了先前神经算子文献的主要局限性，使其适用于基于偏微分方程（PDE）的标准逆问题。
效率： 提出的“结构化训练”（使用先验和正交化）提供了一条降低神经算子训练计算成本和复杂度的途径，而这通常是一个瓶颈。
FEM 的替代方案： 结果表明，对于前向算子模拟昂贵或未知的情况，学习神经算子代理可以提供比传统离散化方法更稳健和准确的重建，前提是训练数据可用。

总之，本文为在 Tikhonov 正则化中使用神经算子作为代理奠定了坚实的理论基础，证明了其收敛性，将其适用范围扩展到必要的函数空间，并通过数值实验展示了其相对于经典方法的优越性能。