Neural operators for solving nonlinear inverse problems

オットマール・シェルツァー、ヴー・ティ・ラン・ニ、およびヤン・カイによる論文「非線形逆問題を解くためのニューラル演算子」の詳細な技術的概要を以下に示す。

1. 問題定義

本論文は、演算子方程式として定式化された非線形逆問題を解くという課題に取り組んでいる：
$$F[x] = y$$
ここで、$F: D(F) \subseteq X \to Y$ は、無限次元の関数空間（通常はソボレフ空間またはルベグ空間）間の非線形演算子である。これらの問題は不適切であり、すなわち解がデータ $y$ に対して連続的に依存せず、ノイズ ($y^\delta$) が不安定な解をもたらす可能性があることを意味する。

核心的な課題：
伝統的に、これらの問題を解くには、前方演算子 $F$ を近似するために有限要素法（FEM）などの古典的な離散化を用いたティホノフ正則化が含まれていた。しかし、多くの現代の応用において、演算子 $F$ は物理法則を通じて明示的に知られているのではなく、トレーニングデータ（入力 - 出力ペア）を通じて間接的に指定される。著者らは、古典的な離散化演算子 $F_n$ を、データから学習されたニューラル演算子（具体的には DeepONet 構造）に置き換え、ティホノフ正則化の枠組み内でこのアプローチの収束性と安定性を厳密に分析することを目的としている。

2. 手法

本論文は、ティホノフ正則化とニューラル演算子を組み合わせる理論的枠組みと数値戦略を開発している。

A. 正則化枠組み

著者らは、逆問題を安定化するためにティホノフ正則化を利用する。彼らは、以下の汎関数の最小化者 $x_{\alpha}^\delta$ を求める：
$$T_{\alpha}^\delta[x] := \|F_n[x] - y^\delta\|_Y^2 + \alpha \|x - x^{(0)}\|_X^2$$
ここで：

• $F_n$ は代理演算子（ニューラル演算子）である。
• $y^\delta$ はノイズレベル $\delta$ を持つノイズ付きデータである。
• $\alpha$ は正則化パラメータである。
• $x^{(0)}$ は事前推定値（通常は 0）である。

B. ニューラル演算子の構築

本論文は、関数空間間の演算子を近似するDeepONet構造に基づいてニューラル演算子 $F_n$ を定義する。

• 構造： 演算子は、入力関数の汎関数を近似する「ブランチ」ネットワークと、出力関数を近似する「トランク」ネットワークを使用して構築される。
• トレーニング戦略： ネットワークをブラックボックスとして扱うのではなく、著者らはネットワーク係数（事前情報）を決定するための2 段階戦略を提案する：
  1. 線形化： 基準点の周りで非線形演算子 $F$ を線形化する。
  2. 直交化： トレーニングデータに対してグラム・シュミットの直交化を用いて、線形代理 $F_N^\#$ を明示的に構築する。
  3. ニューラル近似： $F_N^\#$ の線形汎関数と出力関数をニューラルネットワークで近似する。これにより、ネットワークパラメータ（例えば、サンプリング点、数値積分則から導出された重みなど）の事前決定が可能となり、トレーニングプロセスが大幅に簡素化される。

C. ソボレフ空間およびルベグ空間への拡張

重要な方法論的貢献は、ニューラル演算子に対する万能近似定理の拡張である。

• 標準的な定理は連続関数の空間 ($C(\Omega)$) に適用される。
• 逆問題では、点ごとの評価が常に定義されているとは限らないソボレフ空間 ($H^s$) やルベグ空間 ($L^2$) における解が必要とされることが多い。
• $L^2$ に対する解決策： 著者らは滑らか化（mollification）技法を導入する。彼らは、ニューラル演算子に投入する前に、解 $x$ を滑らか化関数（モリファイアとの畳み込み）を介して滑らかな関数 $x_\xi$ で近似する。これにより、$L^2$ ノルムにおける収束特性を維持しつつ、点ごとの評価が有効であることを保証する。

3. 主要な貢献

1. 理論的収束率：
   本論文は、ニューラル演算子代理を使用する際の正則化解 $x_{\alpha}^\delta$ に対する厳密な誤差評価を導出した。彼らは以下の間の最適なバランスを確立する：

   • ノイズレベル ($\delta$)。
   • ニューラル演算子の近似誤差 ($\rho_n$)。
   • 正則化パラメータ ($\alpha$)。
   • $L^2$ 空間に対する滑らか化パラメータ ($\xi$)。
     主要な結果は、適切なパラメータ選択（例えば、$\alpha \sim \delta$、$\rho_n \sim \delta$）により、収束率が $O(\sqrt{\delta})$ となり、古典的な結果と一致することを示している。

2. 非連続空間への一般化：
   著者らは、コンパクト埋め込み定理と滑らか化を活用することで、ニューラル演算子がソボレフ空間 ($s > m/2$ なる $H^s$) およびルベグ空間 ($L^2$) で定義された演算子を近似できることを証明した。これにより、通常 $C(\Omega)$ で定義されるニューラル演算子の理論と、逆問題正則化の要件との間のギャップが埋められた。

3. 構造化トレーニング（事前情報）：
   本論文は、トレーニングデータの幾何学（直交化）と古典的な積分則に基づいて、ニューラル演算子の構造の一部を事前計算する手法を提案している。これにより、非線形トレーニング問題の複雑さが軽減され、ネットワーク構造に対する理論的基盤が提供される。

4. 代理モデルの定量的分析：
   著者らは、トレーニングサンプル数 ($N$)、ネットワーク係数の数 ($n$)、および近似誤差の間のトレードオフを分析し、線形および非線形の場合に対する明示的な境界値を提供した。

4. 数値結果

著者らは、2 つのベンチマーク逆問題で彼らの理論を検証した：

• 例 3.1（「a-例」）： 係数 $x$ が $H^1$ に属する非線形微分方程式。
• 例 3.2（「c-例」）： 係数 $x$ が $L^2$ に属するシュレーディンガー型方程式。

実験からの主要な知見：

• 精度： ニューラル演算子代理 ($F_n$) は、平均二乗誤差（MSE）の点で、特に初期推定値が真の解から遠い場合に、古典的な有限要素法（FEM）よりも一般的に優れている。
• 初期化に対する頑健性： FEM ベースの最適化は初期推定値に非常に敏感である。ニューラル演算子アプローチはより頑健であり、異なる初期化においても低い誤差を維持する。
• ノイズ安定性：
  • 線形代理 ($F_N^\#$) はノイズに対して極めて安定しているが、複雑な非線形性に対する柔軟性は低い。
  • トレーニングされたニューラル演算子 ($F_n$) は非線形性をよく処理するが、オプティマイザ（AdamW）の確率的性質により、高ノイズ下でいくつかの振動を示す。
  • FEM の性能はノイズとともに著しく劣化し、しばしば過剰適合により結果を悪化させる過剰に細かいメッシュを必要とする。
• トレーニング効率： ニューラル演算子の総トレーニング時間（データ生成を含む）は、$N=20$ のサンプルで約 10 秒であり、これらの 1 次元問題に対して高い効率を示した。
• データの飽和： 一定の点（例えば $N=30$ から $40$）を超えてトレーニングサンプル数を増やしても、収益は逓減し、モデルがすでに本質的な演算子の特徴を捉えていることを示唆した。

5. 意義

• 理論と実践の架け橋： この研究は、ニューラル演算子を「ブラックボックス」的なヒューリスティックから、不適切な逆問題に対する数学的に厳密なツールへと移行させる点で重要である。実用的な展開に必要な収束率とパラメータ選択則を提供する。
• 無限次元の扱い： 近似理論をソボレフ空間および $L^2$ 空間に拡張することで、本論文は以前のニューラル演算子文献の主要な制限に対処し、標準的な偏微分方程式（PDE）ベースの逆問題への適用を可能にした。
• 効率性： 提案された「構造化トレーニング」（事前情報と直交化の使用）は、しばしばボトルネックとなるニューラル演算子のトレーニングコストと複雑さを削減する道筋を提供する。
• FEM の代替案： 結果は、前方演算子のシミュレーションが高価であるか未知である問題において、トレーニングデータが利用可能であれば、ニューラル演算子代理を学習することが、従来の離散化手法よりも堅牢で正確な再構成を提供しうることを示唆している。

要約すると、本論文は、ティホノフ正則化における代理としてニューラル演算子を使用するための堅固な理論的基盤を確立し、その収束性を証明し、必要な関数空間への適用範囲を拡張し、古典的な手法との比較において数値実験で優れた性能を実証している。