Regularized Random Fourier Features and Finite Element Reconstruction for Operator Learning in Sobolev Space

技術要約：ソボレフ空間におけるオペレーター学習のための正則化ランダムフーリエ特徴量および有限要素再構成

問題提起
オペレーター学習は、偏微分方程式（PDE）の解作用量のような、無限次元関数空間間の写像を近似することを目的としている。カーネルベースの手法は、理論的に正当化された近似手法を提供し、強力な収束保証を持つ一方で、大規模な訓練セットに適用する場合、計算上の制約（カーネル行列の $O(m^2)$ の複雑さによるもの）に直面する。また、ノイズに対して敏感である。標準的なニューラルオペレーター（DeepONet、FNOなど）はスケーラビリティの問題に対処しているが、膨大な訓練リソースを必要とすることが多く、条件付けやノイズが存在する領域での汎化に関する明示的な理論的保証に欠けている。さらに、既存の多くのランダム特徴量手法は、ノイズのないデータ、あるいはアクセス可能な周波数領域のサンプルを想定している。本研究は、計算効率を維持しつつ、ノイズを含むデータからオペレーターを学習するという課題に取り組む。

手法
著者らは、**正則化ランダムフーリエ特徴量（RRFF）と有限要素再構成マップ（RRFF-FEM）**を組み合わせた手法を提案している。このフレームワークは、オペレーター学習の問題を、有限次元写像 $\hat{f}$ の学習と、出力関数の復元マップによる段階に分解する。

1. 正則化ランダムフーリエ特徴量 (RRFF):

   • 標準的な最小ノルム補間ではなく、本手法は周波数重み付きティコノフ正則化を採用している。ランダム特徴量展開の係数 $c^{(j)}$ は、以下の問題を解くことで得られる：
     $$c^{(j)} = \arg\min_{x \in \mathbb{R}^N} \|Ax - v^{(j)}\|_2^2 + \alpha \sum_{k=1}^N \|\omega_k\|_2^p |x_k|^2$$
     ここで、$A$ はランダム特徴量行列であり、$v^{(j)}$ はノイズを含むターゲットデータである。正則化項は、高周波の重み $\omega_k$ に関連する係数を罰する。これは、高周波ノイズの抑制を明確に目的としている。
   • 特徴量重み: 特徴量の重み $\{\omega_k\}$ は、自由度 $\nu$ を持つ多変量スチューデントの $t$ 分布からサンプリングされる。これは、コーシー分布（$\nu=1$）からガウス分布（$\nu \to \infty$）までの範囲をカバーし、関数の正則性をエンコードするための柔軟性を提供する、先行研究の一般化である。

2. 有限要素復元マップ (FEM):

   • 任意の空間領域とメッシュを扱うために、本手法はラグランジュ有限要素補間を復元マップ（$R_V$）として利用する。これは、関数評価のベクトル（ランダム特徴量モデルの出力）を、ターゲット空間 $V$ における連続関数へと写像する。これにより、学習されたオペレーターは、訓練時のコロケーションポイントだけでなく、空間領域内の任意の点において評価可能となる。

3. 理論的枠組み:

   • 本論文では、スチューデントの $t$ 分布に関連するランダム特徴量行列 $A$ の極値特異値に関する高確率境界を確立している。
   • 特徴量の数 $N$ が、訓練サンプル数 $m$ に対して $N \sim m \log m$ とスケールする場合、行列は高確率で**良好な条件（well-conditioned）**となることを証明している。これにより、安定した推定と汎化の保証が提供される。

主な貢献

• 新規アルゴリズム: ノイズを含むオペレーター学習のために特別に設計された、正則化ランダム特徴量と有限要素再構成を組み合わせた手法であるRRFF-FEMの導入。
• 理論的汎化: 多変量スチューデントの $t$ 分布から抽出された重みを用いたランダム特徴量行列の条件数に関する集中不等式の導出。これにより、ガウス分布およびコーシー分布に関する従来の知見を統合・拡張している。
• 条件付けの分析: 複雑性比 $N/m$ がサンプルサイズに対して対数的にスケールする場合、システムが良好な条件を維持することを証明し、本手法の安定性の理論的根拠を提供した。
• ノイズへの耐性: 周波数重み付き正則化が、高周波ノイズを効果的に抑制し、正則化のないランダムフーリエ特徴量（RFF）よりも優れた性能を示すことを実証した。

実験結果
著者らは、ベンチマークとなるPDE問題（移流方程式 I, II, III、Burgers方程式、Darcy流、Helmholtz方程式、Navier-Stokes方程式、および構造力学）を用いて、広範な数値実験を行った。

• 非正則化RFFとの比較: すべてのベンチマークにおいて、正則化されたRRFF手法は、非正則化されたRFFと比較して一貫して低い相対テスト誤差と高速な訓練時間を達成した。正則化は線形系の条件付けを改善し、収束を加速させた。
• カーネル手法との比較: Burgers方程式およびDarcy流の問題において、RRFF手法はRBFおよびMatérnカーネル手法と同等のテスト誤差を達成したが、これらよりも大幅に短い訓練時間（例：Darcy流では数桁高速）を要した。
• ニューラルオペレーターとの比較: 本論文では、ノイズのないデータに関する先行文献のDeepONetおよびFNOの結果が競争力のある精度を示していると述べているが、RRFFアプローチは、深いニューラルネットワークの訓練に伴う高い計算コストをかけることなく、ノイズを含むデータに対して同等の精度を達成する。
• スチューデントの $t$ 分布: 実験では様々な自由度（$\nu = 2, 3, \infty$）を用いた。結果は、$\nu = \infty$（ガウス分布）がしばしば最も低い誤差をもたらすものの、有限の $\nu$ を持つスチューデントの $t$ 分布も堅牢な性能を提供することを示した。
• ノイズ耐性: 点ごとの誤差の可視化により、RRFF-FEMが非正則化のモデルと比較して、再構成された解におけるノイズのアーティファクトを効果的に低減していることが確認された。

意義と主張
本論文は、提案されたRRFF-FEM手法が、ノイズを含むデータからのオペレーター学習において、カーネルベースの手法およびニューラルオペレーターの両方に対する計算効率が高く堅牢な代替案となることを主張している。正則化されたランダム特徴量と有限要素再構成を活用することで、本手法は以下の特性を持つ：

1. カーネル手法の $O(m^2)$ の計算上のボトルネックを回避する。
2. 学習問題の条件付けに関する理論的保証を提供する。
3. 訓練時間を大幅に削減しながら、競争力のある精度を維持する。
4. 専用のハードウェア（GPUなど）や高価な計算リソースを必要とせず、幅広い科学計算アプリケーションへの適用を容易にする。

著者らは、本手法が、支配方程式が未知であったりデータが不完全であったりする、実用的な科学・工学分野における一般的なシナリオである「データがノイズに汚染されている領域」において特に効果的であると結論付けている。