🤖 machine learning

Solver-Integrated Adversarial Attacking and Training of Neural Operators

本文介绍了一种求解器集成型神经算子框架，该框架重新定义了泛化性与鲁棒性指标，开发了相应的对抗攻击与训练方法，并证明了数值求解器的深度集成能显著增强模型在偏微分方程（PDE）基准测试上的泛化能力与鲁棒性。

原作者： Yifei Sun

发布于 2026-06-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Yifei Sun

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大局观：教学生模仿大师

想象一下，你正在试图教一个才华横溢但缺乏经验的学生（神经算子/Neural Operator）如何预测天气。你拥有一台超级计算机（数值求解器/Numerical Solver），它计算天气的精度极高，但运行一次预报需要数小时。而这个学生反应很快——他可以在瞬间给出答案——但他需要学习如何像超级计算机一样精准。

通常情况下，我们通过向学生展示过去的天气数据，并检查他的答案是否与超级计算机在那一天给出的答案一致来进行训练。

问题在于：
这篇论文认为，这还远远不够。如果天气条件发生微小的变化会怎样？在现实世界中，如果风稍微吹强了一点点，风暴的移动路径也会随之改变。超级计算机（大师）会正确地计算出这个新的、略有不同的风暴。但学生可能会感到困惑，从而预测出一个完全不同的结果，或者更糟的是，尽管风向变了，他预测的还是旧的风暴。

论文提出了一个问题：我们如何确保学生不仅仅是在死记硬背答案，而是真正学会了在条件变化时随“大师”一起律动？

核心思想：“求解器集成”方法

作者引入了一种新的测试和训练学生的方法，称为求解器集成对抗训练（Solver-Integrated Adversarial Training）。

1. “对抗攻击”（压力测试）

在计算机科学中，“对抗攻击”就像是一个试图破坏系统的骗子。

旧方法： 骗子试图通过轻微改变输入来迷惑学生，但他们假设“正确答案”（地面真值）保持不变。这就像是在问学生：“如果我把风速改变1%，风暴会是什么样？”并期望得到的答案是之前那个完全相同的风暴。对于天气预报来说，这是错误的！
新方法（求解器集成）： 骗子改变了风速，并且他们要求超级计算机（大师）立即计算出新的正确风暴应该是怎样的。然后，他们检查学生的答案是否与这个新的正确答案相匹配。

类比：
想象一位舞蹈教练（求解器）和一名学生（神经算子）。

旧攻击： 教练稍微改变了音乐节奏。学生试图保持跳出完全相同的舞步。教练说：“错了！你没有改变你的舞步！”
新攻击： 教练改变了节奏。同时，教练也立即开始跳出新的正确舞步。学生接受测试的标准是，看他能否跟上教练的新动作。如果学生还在跳旧的舞步，他就失败了。

论文表明，这种“求解器集成”式的攻击对学生来说更难通过，这意味着它能更好地测试出学生真实的理解能力。

2. “对抗训练”（体能训练）

一旦你知道了如何击败这个学生，你就可以利用这一点来训练他。这被称为对抗训练。

过程：
1. 学生尝试解决一个问题。
2. “骗子”（使用新的求解器集成方法）寻找能让学生失败的最坏情况下的微小输入变化。
3. 学生被迫练习解决那个特定的、棘手的问题。
4. 重复上述过程。

类比：
想象一个武术道场。

标准训练： 你对着一个不会移动的重型沙袋练习。你变得很强壮，但你可能不知道如何应对移动的对手。
对抗训练： 你对着一个专门训练寻找你的弱点并攻击那里的陪练进行练习。
求解器集成训练： 你的陪练是一位宗师，他不仅会攻击你，还会以一种迫使你学习如何应对变化情况的方式来攻击你。如果你踉跄了，他会立即展示完美的应对招式。

他们发现了什么？

研究人员在三个著名的物理问题（管道中的流体流动、平整表面上的风、以及旋转的水流）上测试了该方法。

更好的鲁棒性： 使用“求解器集成”方法训练的学生在处理变化时表现得更好。如果你微调输入，他们的答案仍能与超级计算机的答案保持接近。
更好的泛化能力： 这些学生在解决从未见过的（例如从未练习过的风暴模式）问题时表现得更好。
“深度”集成至关重要： 论文发现，超级计算机参与训练循环的程度越深（即在攻击过程中计算出新答案），效果就越好。浅层方法（即超级计算机只提供静态答案）的效果并不理想。

代价（成本）

这其中存在权衡。

旧方法： 快速且廉价。
新方法： 速度慢且昂贵。因为计算机每当想要测试或训练学生时，都必须运行那个极其缓慢的“主求解器”，这需要耗费更多的时间和计算内存。

作者承认这是一个沉重的代价，但结果表明，为了构建可靠的物理AI模型，为了让模型在现实世界发生微小变化时不会崩溃，支付这笔额外的费用是值得的。

一句话总结

这篇论文通过教AI模型应对“正确答案会随问题同步变化”的“陷阱题”，来训练它们模仿复杂的物理模拟，从而确保AI学会的是动态适应而非死记硬背静态答案。

技术摘要：集成求解器的神经算子对抗攻击与训练

问题定义
神经算子（如傅里叶神经算子、DeepONet）作为数值偏微分方程（PDE）求解器的快速数据驱动代理，负责将输入函数（如初始条件、系数）映射到解函数。尽管这些算子非常有效，但在算子学习设定下，其泛化能力和鲁棒性与传统分类任务中的对抗鲁棒性相比，仍缺乏明确的定义。

在 PDE 算子学习中，一个关键的区别在于“地面真值”（ground truth）并非固定的标签，而是数值求解器 $G$ 的输出。在传统的回归或分类任务中，对抗攻击假设在输入扰动下地面真值保持不变。然而，在 PDE 设定中，扰动输入函数 $x$ 本质上会改变真实的解 $G(x)$ 。因此，模型 $F_\theta$ 不应被要求在孤立状态下具有鲁棒性（即其输出不应发生变化），而是误差算子 $E_\theta = F_\theta - G$ 必须是鲁棒的。现有方法通常无法处理这种动态变化的地面真值，要么将求解器输出视为固定标签，要么在生成攻击时忽略了求解器的梯度。

方法论

1. 形式化泛化与鲁棒性
作者通过模型-求解器误差算子 $E_\theta$ 的视角来定义鲁棒性和泛化性：

泛化性： 在静态层面定义为误差算子在固定输入下的范数： $L_{gen}(x) = \|F_\theta(x) - G(x)\|_Y$ 。
鲁棒性： 在动态层面定义为误差算子的输出在输入扰动下的放大程度。论文提出了三种局部度量指标：
- 雅可比算子范数： 误差算子导数的诱导范数， $\|DE_\theta[x]\|$ 。
- 有限对抗攻击损失增量： 在范数有界的扰动球内，误差损失的最大增量。
- 雅可比-误差度量： 一个计算高效的代理指标，定义为 $\|g_\theta(x)\|_X$ ，其中 $g_\theta(x) = DE_\theta[x]^* e_\theta[x]$ 。该指标结合了误差场与局部雅可比矩阵，并在小预算极限下与有限预算攻击方向高度一致。

2. 集成求解器的对抗攻击
论文指出，标准的攻击目标（例如最大化模型输出的变化或对比固定地面真值）是不充分的，因为它们无法反映扰动下的真实模型-求解器差异。作者根据求解器集成程度提出了一个攻击目标层级：

$L_1$ （仅限模型）： 最大化模型输出的变化（ $\|F_\theta(x+\delta) - F_\theta(x)\|$ ）。
$L_2$ （固定地面真值）： 最大化相对于干净求解器输出的误差（ $\|F_\theta(x+\delta) - G(x)\|$ ）。
$L_3$ （全集成求解器）： 最大化相对于扰动后求解器输出的误差（ $\|F_\theta(x+\delta) - G(x+\delta)\|$ ）。

核心贡献在于 $L_3$ 目标，它要求数值求解器 $G$ 是可微的，并集成到攻击循环中。这使得攻击能够计算通过求解器的梯度 $DG $，从而确保扰动$ \delta$ 的优化旨在最大化模型与扰动输入后的实际解之间的分歧。论文还详细介绍了适应不同损失景观几何形状（如 Burgers 方程较宽，Navier-Stokes 方程较窄）的优化策略（例如“替换”与“添加”更新）。

3. 集成求解器的对抗训练
基于 $L_3$ 攻击，作者提出了一个对抗训练框架，其训练循环作为一个极小-极大（min-max）问题运行：
$\min_\theta \mathbb{E}_{x \sim \mu_X} \left[ \max_{\|\delta\| \le \epsilon} \|F_\theta(x+\delta) - G(x+\delta)\|^2 \right]$
在该流水线中，当前模型被冻结以通过最大化 $L_3$ 损失来生成对抗样本。这些样本与其对应的求解器输出（由求解器重新标记）一起用于更新模型。这一过程充当了“教师-学生”蒸馏，其中数值求解器充当教师，神经算子学习如何在扰动输入下成为求解器忠实的行为孪生体。

主要贡献

新的鲁棒性定义： 基于模型-求解器差异而非仅基于模型自身稳定性，对算子学习中的泛化性和鲁棒性进行了形式化定义。
集成求解器的攻击目标： 确定了 $L_3$ 损失（全求解器集成）是 PDE 设定下最准确的对抗攻击目标，并证明了忽略求解器对扰动响应（ $L_1, L_2$ ）或使用固定标签的攻击是次优的。
集成求解器的对抗训练框架： 一种在线生成求解器重标记对抗批次的方法，与基准模型或使用随机扰动/非集成损失的模型相比，提高了对偏移分布的泛化能力和对扰动的鲁棒性。
度量分析： 证明了雅可比-误差度量是一个实用的、轻量级的有限预算攻击性能代理，并且标准的谱范数不足以衡量 PDE 算子的鲁棒性。

实验结果
该框架在三个经典的 PDE 基准测试上进行了评估：1D Burgers、2D Darcy Flow 和 2D Navier-Stokes。

攻击有效性： 使用全 $L_3$ 目标的攻击在模型-求解器损失增加方面始终显著高于 $L_1$ 、 $L_2$ 、物理残差或基于字典的攻击。 $L_3$ 攻击还会生成更高频的扰动，从而暴露特定的模型-求解器失配。
训练性能：
- 泛化性： 与基准模型以及使用随机扰动或非集成损失训练的模型相比，使用 $L_3$ 对抗训练的模型在偏移输入分布（例如不同的相关长度、核参数或边界条件）上表现出更优越的性能。
- 鲁棒性： $L_3$ 训练的模型表现出最小的攻击损失增量和最低的雅可比-误差范数，表明其具有更强的鲁棒性。
- 效率： 虽然集成求解器增加了计算成本（由于需要通过求解器的前向和反向传播），但与启发式采样方法相比，该方法能产生更具信息量的样本并更快地收敛到鲁棒解。

意义与主张
论文声称提供了一个利用现有数值求解器作为“信任预言机”来实现鲁棒算子训练的通用框架。通过将求解器直接集成到攻击和训练循环中，该方法可以自动选择困难样本，并将神经算子的行为与求解器的物理特性对齐，减少了对人工干预或手工构建偏移数据集的需求。

作者承认，主要的限制在于计算成本，特别是对于时间相关 PDE，通过长时程求解器展开进行微分需要大量的 GPU 显存。他们建议未来的工作可以探索层次化方法（例如隐式神经展开）来减轻这种成本。本文并不声称解决了所有科学机器学习中的鲁棒性问题，但确立了集成求解器是定义并实现算子学习设定下真正鲁棒性的必要组成部分。