Regularized Random Fourier Features and Finite Element Reconstruction for Operator Learning in Sobolev Space

技术摘要：用于 Sobolev 空间算子学习的正则化随机傅里叶特征与有限元重构

问题陈述
算子学习旨在逼近无限维函数空间之间的映射，例如偏微分方程（PDE）的解算子。虽然基于核的方法提供了具有理论依据的逼近能力和强大的收敛保证，但在应用于大规模训练集时，由于其 $O(m^2)$ 的复杂度，面临着计算上的限制；此外，这些方法对噪声也表现出敏感性。标准的神经算子（如 DeepONet、FNO）解决了可扩展性问题，但通常需要大量的训练资源，且缺乏关于在噪声机制下的调节性和泛化能力的显式理论保证。此外，许多现有的随机特征方法假设数据是无噪声的，或者需要可能无法获取的频域样本。本研究旨在解决在保持计算效率的同时，从含噪声数据中学习算子的挑战。

方法论
作者提出了一种正则化随机傅里叶特征（RRFF）方法，并结合了有限元重构映射（RRFF-FEM）。该框架将算子学习问题分解为两个阶段：学习一个有限维映射 $\hat{f}$，并通过恢复映射重构输出函数。

1. 正则化随机傅里叶特征 (RRFF)：

   • 不同于标准的最小范数插值，该方法采用了频率加权 Tikhonov 正则化。随机特征展开的系数 $c^{(j)}$ 通过求解以下问题获得：
     $$c^{(j)} = \arg\min_{x \in \mathbb{R}^N} \|Ax - v^{(j)}\|_2^2 + \alpha \sum_{k=1}^N \|\omega_k\|_2^p |x_k|^2$$
     其中 $A$ 是随机特征矩阵，$v^{(j)}$ 代表带噪声的目标数据，正则化项惩罚了与高频权重 $\omega_k$ 相关的系数。这专门用于抑制高频噪声。
   • 特征权重： 随机特征权重 $\{\omega_k\}$ 从多元 Student's $t$ 分布中采样，自由度为 $\nu$。这推广了先前的研究，涵盖了从 Cauchy（$\nu=1$）到 Gaussian（$\nu \to \infty$）分布的范围，从而为编码函数正则性提供了灵活性。

2. 有限元恢复映射 (FEM)：

   • 为了处理任意空间域和网格，该方法利用 Lagrange 有限元插值作为恢复映射 ($R_V$)。它将函数评估的向量（随机特征模型的输出）映射回目标空间 $V$ 中的连续函数。这使得学习到的算子可以在空间域内的任意点进行评估，而不仅仅是在训练配置点上。

3. 理论框架：

   • 本文建立了与关联于 Student's $t$ 分布的随机特征矩阵 $A$ 的极值奇异值的高概率界限。
   • 作者证明了如果特征数量 $N$ 随样本量 $m$ 按 $N \sim m \log m$ 的比例缩放，则该矩阵以高概率是良置的（well-conditioned）。这确保了估计的稳定性，并提供了泛化保证。

核心贡献

• 新颖算法： 引入了 RRFF-FEM，这是一种专门为含噪声算子学习设计的结合了正则化随机特征与有限元重构的方法。
• 理论泛化： 推导了随机特征矩阵在多元 Student's $t$ 分布下其条件数的集中不等式。这统一并扩展了以往关于高斯分布和 Cauchy 分布的研究结果。
• 调节性分析： 证明了当复杂度比率 $N/m$ 随样本量呈对数缩放时，系统能保持良置性，为该方法的稳定性提供了理论基础。
• 噪声鲁棒性： 通过实验证明，频率加权正则化能有效抑制高频噪声，在噪声环境下优于未正则化的随机傅里叶特征 (RFF)。

实验结果
作者在基准 PDE 问题上进行了广泛的数值实验：平流方程 (I, II, III)、Burgers 方程、Darcy 流、Helmholtz 方程、Navier-Stokes 方程以及结构力学。

• 性能对比未正则化 RFF： 在所有基准测试中，正则化 RRFF 方法始终实现了比未正则化 RFF 更低的相对测试误差和更快的训练时间。正则化改善了线性系统的调节性，加速了收敛。
• 与核方法对比： 对于 Burgers 和 Darcy 流问题，RRFF 方法达到了与径向基函数 (RBF) 和 Matérn 核方法相当的测试误差，但所需的训练时间显著减少（例如，对于 Darcy 流，速度提升了数个数量级）。
• 与神经算子对比： 虽然论文指出先前文献中引用的 DeepONet 和 FNO 在无噪声数据上的结果显示出具有竞争力的精度，但 RRFF 方法在处理含噪声数据时，能在不使用高昂计算成本训练深度神经网络的情况下，达到相似的精度。
• Student's $t$ 分布： 实验使用了不同的自由度（$\nu = 2, 3, \infty$）。结果表明，$\nu = \infty$（高斯分布）通常产生最低误差，尽管具有有限 $\nu$ 的 Student's $t$ 分布仍表现出稳健的性能。
• 噪声抗性： 点对点误差的可视化证实，与未正则化的对应物相比，RRFF-FEM 有效减少了重构解中的噪声伪影。

意义与主张
论文声称，所提出的 RRFF-FEM 方法为从含噪声数据中学习算子提供了一个计算高效且鲁棒的替代方案，可以替代传统的基于核的方法或神经算子。通过利用带有正则化的随机特征和有限元重构，该方法：

1. 避免了核方法中 $O(m^2)$ 的计算瓶颈。
2. 为学习问题的调节性提供了理论保证。
3. 在显著减少训练时间的同时，保持了具有竞争力的精度。
4. 不需要专门的硬件（如 GPU）或昂贵的计算资源，使其适用于广泛的科学计算应用。

作者总结道，该方法在数据受噪声干扰的情景下特别有效，而在实际的科学和工程应用中，控制方程可能未知或数据是不完美的。