技術要約：ニューラルオペレータにおける実数基底と複素数基底の比較

問題提起

フーリエニューラルオペレータ（FNO）は、複素フーリエ領域におけるグローバルな畳み込みをパラメータ化することで、偏微分方程式（PDE）の解オペレータを学習する主要なアーキテクチャとして台頭している。しかし、実数値のPDE解に支配される大多数の物理システムにおいて、標準的な高速フーリエ変換（FFT）は表現上の冗長性を導入してしまう。具体的には、実信号の複素スペクトルは共役対称性を示すため、スペクトルの半分はもう半分によって決定される。それにもかかわらず、標準的なFNOの実装は、この制約を暗黙的に発見し強制しなければならない複素重み行列を学習するため、表現能力を増大させることなく、実質的な探索空間と計算オーバーヘッドを増大させている可能性がある。

本論文は、複素フーリエ基底がすべてのPDEクラスにとって最適なスペクトル表現であるのか、あるいは特定のオペレータの対称性に対して純粋な実数基底の方が優れているのかを調査している。

手法

ハートレーニューラルオペレータ（HNO）

著者らは、FNOの正確な実数版となるよう設計されたハートレーニューラルオペレータ（HNO）を導入する。

• 変換: HNOは、FFTを実領域のみで動作するカーネル $cas(\theta) = \cos(\theta) + \sin(\theta)$ を用いる離散ハートレー変換（DHT）に置き換える。
• アーキテクチャ: FFTは共役対称性を利用して正周波数側の半分のみを保持するが、DHTは実信号に対してそのような対称性を持たない。したがって、すべての係数が独立している。結果として、HNOはフルスペクトル（2Dでは全4象限）を保持するが、保持された各スペクトルモードに対して「単一の実数乗数」を学習する。
• 等パラメトリック設計: 公平な比較を行うため、HNOは同一の幅においてFNOと等パラメトリックになるよう構築されている。FNOが半分に縮小されたスペクトル上の各モードに対して1つの複素重み（2つの実パラメータ）を学習するのに対し、HNOはフルスペクトル上の各モードに対して1つの実数重みを学習する。これにより、両アーキテクチャ間の総実学習パラメータ数は同一に保たれる。
• 実装: 著者らは、DHTを $H\{f\}(k) = \text{Re}\{F\{f\}(k)\} - \text{Im}\{F\{f\}(k)\}$ という関係式を用いて計算することで、PyTorchの torch.fft を使用して実装している。これにより、カスタムカーネルの開発を回避しつつ、既存のGPU加速されたFFTカーネルを活用している。

実験プロトコル

本研究では、以下の5つのPDEクラスにわたって系統的な評価を実施している：

1. 楕円型: ポアソン方程式、双調和方程式。
2. 放物型: 熱伝導方程式。
3. 双曲型: 波動方程式。
4. 移流型: 移流拡散方程式。
5. 非線形: Burgers方程式、2D Navier-Stokes方程式（渦度形式）。

コントロール（制御変数）:

• 初期条件: 3つのファミリー（ガウス型ランダム場（GRF）、固有関数展開、ガウス型バンプの重ね合わせ）をテスト。
• 境界条件: 周期境界条件および均質ディリクレ条件の両方を評価。
• 学習: 両オペレータは、同一のオプティマイザ（Adam）、学習率スケジュールのほか、重み減衰、勾配クリッピング、およびネットワーク幅を用いて学習されている。時間依存PDEの正解データは、フーリエ基底への暗黙的なバイアスを避けるため、有限差分法を用いて生成されている。

主な貢献

1. FNOのクリーンな実数版: 本論文は、複素算術と共役対称性の制約を排除し、パラメータ数を同一に保ったまま、厳密な実数対応物としてHNOを定式化している。これにより、スペクトル基底のみを比較の変数として孤立させている。
2. 基底とオペレータの整合原理: 著者らは、解オペレータのグリーン関数と最適なスペクトル基底を結びつける理論的枠組みを開発した。
   • 自己共役楕円型オペレータ: これらは実数かつ対称なグリーン関数を持つ。ハートレー畳み込み定理は、対称なカーネルに対して要素ごとの乗算へと簡略化される。これにより、HNOは各モードに対して単一の実数乗数を用いてこれらのオペレータを正確に表現できる。対照的に、FNOは虚数成分をゼロにするように学習する必要がある。
   • 時間依存型オペレータ: これらのオペレータはしばしば位相（波動方程式における振動や、移流における輸送）を伴う。実対角乗数は、複素シンボル（位相）を持つオペレータを構造的に表現できない。したがって、これらのケースでは理論的にFNOが有利となる。
3. オペレータ・フェーズ順序: 論文は、HNOとFNOの間の性能差が二値的なものではなく、オペレータのプロパゲータ（伝播関数）の「位相成分」に応じて単調に変化することを確立している。
4. 包括的なベンチマーク: 本研究は、Burgers方程式および2D Navier-Stokes方程式に対するハートレーベースのオペレータの最初のベンチマークを提供するとともに、現在のパフォーマンスオーバーヘッドがDHTのバックエンドによるものであり、変換自体によるものではないことを示すコスト分析を提供している。

結果

経験的な結果は、理論的予測を裏付けており、オペレータの対称性に基づいた明確な区分を示している：

• 楕円型PDE（HNOが有利）: ポアソン方程式および双調解方程式において、HNOはFNOよりも低い相対 $L_2$ 誤差を達成した。この優位性は、最も強く自己共役なオペレータである双調解方程式において最も顕著であった。正確なハートレー対角化を維持する周期境界条件は、ディリクレ境界よりも大きな利点を示した。
• 時間依存型PDE（FNOが有利）: 全ての時間依存型方程式において、FNOがHNOを上回った。勝利の差は、オペレータの位相成分と相関している：
  • 熱伝導方程式: 位相を持たないプロパゲーター（$e^{-\nu|k|^2 t}$）であり、滑らかな入力に対してはHNOが時折先行することもあるが、一般的にはFNOが競争力を持つ境界領域に位置する。
  • 波動方程式: 振動的であるが減衰しない。中間的なFNOの優位性を示す。
  • 移流支配型（移流、Burgers、Navier-Stokes）: これらのオペレータは、強い位相成分を持つシンボル（例：$e^{-ic \cdot k t}$）を持つため、最大のFNOの優位性を示す。
• 初期条件: 初期条件ファミリーの選択は、エラーギャップの「大きさ」を変化させるが、勝者の「符号」を変えることはない。基底の選択はデータの分布ではなく、オペレータの対称性によって決定される。

意義と主張

本論文は、「ユニバーサルな」スペクトル基底を探すことに対して異議を唱えている。代わりに、次のような予測ルールを提案している：スペクトル基スの選択は、解オペレータの対称性に一致させること。

• 実数基底 (HNO): 自己共役で位相を持たないオペレータ（楕円型解、拡散）に最適である。実対角乗数は、対称なグリーン関数を正確に対角化し、最適化のランドスケープを簡素化し、制約（例：$\text{Im}\{W\} = 0$）を学習する必要性を排除する。
• 複素数基底 (FNO): 位相（振動、輸送）を運ぶオペレータに必要である。複素算術は、プロパゲータのシンボルの虚数成分を表現するために構造的に必要である。

著者らは、スペクトル基底の選択は、対象となるオペレータの物理学によって駆動される能動的な設計上の選択であると結論づけている。HNOは楕円型問題に対してパラメータ効率が高く、理論的根拠のある代替案を提供する一方で、FNOは時間依存かつ移流支配型のシステムにおいて依然として優れている。本研究は、将来のニューラルオペレータの設計が、ターゲットとするオペレータから検出された対称性に基づいて、そのスペクトル表現を適応させるべきであることを示唆している。