技術的サマリー：不連続性を扱うための Cut-DeepONet

問題定義

DeepONet やフーリエニューラルオペレーター（FNO）などのニューラルオペレーターは、偏微分方程式（PDE）の解作用素を学習する上で優れた性能を示しています。しかし、これらは根本的な限界に直面しています。すなわち、そのアーキテクチャは滑らかな関数空間（例えばソボレフ空間）内で動作するため、本質的な平滑化バイアスを有しているという点です。その結果、これらのモデルは、衝撃波などの不連続性や急激な遷移を含む解を正確に表現することに苦慮します。

既存のアプローチは、モデル容量を増大させるか、高解像度のデータを利用して連続関数空間内で不連続性を近似することでこの問題を緩和しようとしています。しかし、これらはしばしばギブス現象に似た振動を引き起こし、過剰な計算リソースを必要とし、不連続な解の真の性質を捉えることができません。さらに、非線形 PDE においては、不連続性の位置と数が事前に未知であり、解の過程から動的に現れることが多いため、固定された領域分割戦略（XPINN など）は、一般的な作用素学習には不十分です。

手法：Cut-DeepONet

著者らは、モデルの複雑さを増すのではなく、問題を再定式化することで不連続性を明示的にモデル化する、2 段階のトレーニングフレームワーク「Cut-DeepONet」を提案します。その中核となるアイデアは、ニューラルフィールドで用いられる「リフティング」戦略に触発されたものであり、ここでは入力依存の不連続性を持つ作用素学習へ拡張されています。

1. 中核概念：リフティングと領域分割

不連続な関数を直接近似することをニューラルネットワークに強制するのではなく、Cut-DeepONet は問題をより高次元の空間へリフティングします。

• リフティング戦略: 領域は、不連続性によって分離された滑らかな部分領域に分割されます。不連続性集合 $\Gamma(u)$ は、追加の座標 $H(\Gamma(u))$ へ写像されます。
• 拡張空間: 出力は、拡張空間 $\tilde{y} = (y, H(\Gamma(u)))$ 内で表現されます。このリフティングされた空間において、各部分領域内の解成分は連続的（滑らか）となり、不連続性は領域間の境界に追いやられます。
• ラベリング: 巻き数を用いる従来のリフティング手法とは異なり、このアプローチは、領域が全く異なる挙動を示す可能性のある急激な遷移を処理するために、各連結領域 $\Omega_j$ に固有のラベルを割り当てます。

2. 2 段階トレーニングフレームワーク

このフレームワークは、2 つの明確な段階から構成されます。

段階 1：不連続性予測（カッティングネット）

• 目的: 未見の入力に対する不連続性の位置 $\Gamma(u)$ を予測すること。
• メカニズム: 入力と対応する不連続性の位置がペアになったデータセットを用いて、専用のネットワークであるカッティングネット（$cnet_\theta$）をトレーニングします。
• データ準備: 不連続性の位置は、導関数場におけるピークを同定するか、可能であればランキン・ Hugoniot 条件を用いることで、高解像度の真の解（ground truth）から抽出されます。

段階 2：リフティング空間における作用素学習

• 目的: 各部分領域内の滑らかな解成分を学習すること。
• メカニズム: ニューラルオペレーター（$\hat{G}_\phi$）を「リフティングデータセット」でトレーニングします。入力は元の関数 $u$ であり、ターゲットは拡張空間における解 $\tilde{G}(u)(\tilde{y})$ です。
• 利点: ターゲット関数がリフティング空間内で連続であるため、ニューラルオペレーターは急勾配や不連続性を直接解明する必要なく、滑らかな部分を効率的に学習できます。

予測フェーズ
推論時には、トレーニング済みのカッティングネットが新しい入力 $u$ に対する不連続性の位置を予測します。これらの位置は、拡張座標 $H(cnet_\theta(u))$ を定義します。その後、ニューラルオペレーターはリフティング空間内で滑らかな解成分を生成し、これらを元の領域へ写像して、予測された境界に真の不連続性を持つ最終的な解を再構成します。

主要な貢献

1. 滑らかな空間における作用素学習: 本論文は、リフティング手法をニューラルフィールドから作用素学習へ拡張し、変化する不連続性構造を持つ未見の入力へ一般化するメカニズムを導入しました。
2. 真の不連続性の生成: 高解像度の連続表現による不連続性の近似を行う既存の手法とは異なり、Cut-DeepONet は、作用素学習において動的な不連続解を明示的に生成する最初の手法です。
3. 複雑性の低減: 不連続性の位置の学習と滑らかな解成分の学習を分離することで、作用素学習タスクの複雑性を低減します。これは、学習可能なパラメータ数を減らし、低解像度のデータセットでトレーニングした場合でも高い精度を達成することを可能にします。
4. 不連続タスクにおける性能: 衝撃波や急激な遷移を含む問題において、最先端のベースラインと比較して、優れた精度とより速い収束を示しています。

実験結果

著者らは、Cut-DeepONet を 3 つのベンチマーク問題で評価しました。

1. 線形移流方程式: 2 つの移動する不連続性を持つ問題。
2. 非粘性バーガース方程式: 単一の初期不連続性から衝撃波が形成される問題。
3. パージモンモデル: 心筋細胞におけるイオンチャネルの開閉の急激な遷移を特徴とする、簡略化されたホジキン・ハクスレーモデル。

知見:

• 精度: 線形移流方程式および非粘性バーガース方程式において、Cut-DeepONet は、グローバルな $L_1$ 損失および局所的不連続性損失（$L_{Dis}$）の両方において、DeepONet、FlexDeepONet、HyperDeepONet、FNO を一貫して上回りました。
• 低解像度トレーニング: この手法は、著しく低解像度のデータでトレーニングされた場合でも強力な性能を維持しましたが、ベースラインモデルは平滑化効果や振動に苦しみました。
• パラメータ効率: Cut-DeepONet は、競合するモデルよりも少ない学習可能なパラメータでこれらの結果を達成しました。
• 急激な遷移: パージモンモデルにおいて、Cut-DeepONet は全体的な $L_1$ 誤差が最も低くなりました。ただし、この特定のケースでは、局所的不連続性誤差が FNO よりもわずかに高かったため、著者らはランダムサンプリングによるトレーニング中に小さな遷移領域が過小サンプリングされたことをその理由として挙げています。

意義と主張

本論文は、不連続な作用素を学習する際の主なボトルネックは、モデル容量の不足ではなく、ニューラルネットワークの滑らかな帰納的バイアスと、ターゲット関数の不連続な性質との間のミスマッチであると主張しています。

• 表現の転換: その意義は、モデルの複雑さを増すのではなく、学習問題の表現（より高次元の空間へのリフティング）を変える点にあります。
• 分離: 「不連続性がどこにあるか（カッティングネット）」と「解が何か（ニューラルオペレーター）」というタスクを分離することで、このフレームワークは、学習タスクをニューラルネットワークの強み（滑らかな関数の近似）に適合させます。
• 一般化: このアプローチにより、標準的なニューラルオペレーターの平滑化バイアスによって以前は制限されていた、未見の入力に対する解における真の不連続性の生成が可能になります。

著者らは限界を認めており、カッティングネットは不連続性の位置に関するトレーニングデータの精度に依存すること、および領域の小さな部分を占める急激な遷移領域における性能をさらに向上させるために適応的サンプリング戦略が有効である可能性を指摘しています。また、将来的な研究として、このリフティング戦略を FNO アーキテクチャへ拡張する可能性も示唆しています。