技術概要：高次フーリエニューラルオペレーター (HO-FNO)

問題提起

ニューラルオペレーター、特にフーリエニューラルオペレーター（FNO）は、関数空間間の写像を学習するための効果的なツールとして確立されており、周期領域における解像度に依存しない性能と効率性を提供している。しかし、標準的なFNOアーキテクチャは、フーリエモードに対して対角的に作用するスペクトル畳み込みに依存している。この設計は、モードが独立して進化することを前提としており、これは周期領域における線形かつ定数係数の偏微分方程式（PDE）とよく一致する。

本論文は、決定的な限界を指摘している。非線形PDEは、多項式非線形性（例：ナビエ・ストークス方程式における移流項や、ポアソン方程式における多項式強制項）によって制御される、フーリエモード間の構造化された相互作用を示すことが多い。このような場合、物理的なダイナミクスはモード間の明示的な混合（例：$k_1 + k_2 = k_3$ となる三次の相互作用）を伴う。標準的なFNOは、線形スペクトル層の後に適用される点ごとの非線形性を介して、このような混合を暗黙的に誘導することしかできない。これにより、モデルは異なる相互作用の次数や因子に対して重みを共有することを余儀なくされ、特定のPDEの非線形性の構造を十分に捉えきれない可能性のある「タイド（tied）」な相互作用クラスを生み出してしまう。

手法：高次スペクトル畳み込み

これを解決するために、著者らは高次スペクトル畳み込みを介して**明示的なモードミキサー（Explicit Mode Mixer）を導入する高次フーリエニューラルオペレーター（HO-FNO）**を提案する。

コアメカニズム

この手法は、標準的なスペクトル畳み込みを、対角的な変調から明示的な$n$次線形モード混合へと拡張する。

1. 物理空間における定式化： 線形演算子の後に点ごとの非線形性を適用する代わりに、HO-FNO層は、変換された入力場の$m$次線形積を物理空間で計算する：
   $$(H_\theta u)(x) = \int_\Omega \kappa_\theta(x-y) \mathcal{T}_M \left( (A_1 u)(A_2 u) \cdots (A_m u) \right)(y) dy$$
   ここで、$A_i$はチャネルごとに作用する学習可能な線形演算子であり、$\mathcal{T}_M$はフーリエ截断を表す。
2. フーリエ空間における定式化： 畳み込み定理により、物理空間での点ごとの積は、フーリエ領域における畳み込みとなる。特定のフーリエモード$k$に対する更新は、インデックスの和が$k$となるすべての$m$個の入力モードの組$(k_1, \dots, k_m)$を集約する：
   $$\widehat{(H_\theta v)}(k) = R(k) \sum_{k_1 + \dots + k_m = k} A_1 \hat{v}(k_1) \odot \dots \odot A_m \hat{v}(k_m)$$
   この構造は、PDEの多項式非線形性と一致するように、フーリエ係数の$m$次線形混合を明示的にパラメータ化する。

アーキテクチャの詳細

• 効率性： 計算複雑性は、標準的なFFTベースのオペレーターと同様に、層あたり$O(N \log N)$に留まり、空間領域における高次アテンションに伴う$O(N^m)$の複雑さを回避している。
• パラメータ数： $m$個の線形写像（$A_i$）によって導入される追加パラメータは$mC^2$（$C$はチャネル次元）であり、標準的なスペクトル畳み込み（$M$は保持されるモード数）の$MC^2$パラメータと比較して無視できる程度である。
• 汎用性： 本フレームワークは、標準的なフーリエ変換をラプラス・ベルトラーミ演算子のスペクトル分解（球面調和関数）に置き換えることで、非ユークリッド幾何学（例：球面）へと拡張される。これにより、球面上でのHO-SFNOが得られる。

主な貢献

1. 非線形PDEのための初の明示的スペクトルミキサー： 著者らは、標準的なFNOの対角的な変調を超えて、多項式非線形性に対応するモード相互作用を明示的にモデル化する最初のスペクトルニューラルオペレーターを設計した。
2. 理論的整合性： 論文（付録C）では、点ごとの非線形性が、同じ潜在的な線形写像が各因子に再利用される「タイド」な相互作用クラスを誘発することを示す理論的議論を提供している。対照的に、HO-FNOは、各因子が異なる線形変換を持つことができる、より広範な相互作用のクラスを実現し、次数$n$の非線形PDEの解作用素をより精密に近似することを可能にする。
3. 幾何学的柔軟性： 高次混合と球面調和畳み込みを組み合わせることで、球面幾何学への適応に成功した。
4. 包括的なベンチマーク： HO-FNOを、規則的なグリッド、構造化メッシュ、およびポイントクラウドを含む幅広い標準的なベンチマークで評価し、20以上の最新の手法（Transformer、状態空間モデルなど）と比較した。

実験結果

実験の結果、HO-FNOはFNOの効率性を維持しながら、特に高度に非線形な領域において精度を大幅に向上させることが示された。

• 多項式ソース・ポアソン方程式： 次数$p$の多項式強制項を持つ制御されたデータセットにおいて、次数$p$の単層HO-FNOは、最大16層のFNOを一貫して上回った。$p=5$の場合、HO-FNOはFNOよりも2桁低いテスト損失を達成した。
• ナビエ・ストークス方程式： HO-FNOは、3つの粘性レジーム（$\nu \in \{10^{-3}, 10^{-4}, 10^{-5}\}$）において、標準的なFNOおよび他のスペクトルベースラインを上回った。特筆すべきは、周波数ベースのモデルの中で最高水準の性能を達成し、TransformerやLaMO、Transolverのような状態空間モデル（SSM）ベースラインに匹転または凌駕している点である。
• 標準ベンチマーク： Darcy flow、Plasticity、Airfoil、Pipe、Elasticityなどのタスクにおいて、HO-FNOは周波数ベースのモデルの中で一貫して最も低い相対$L_2$誤差を達成し、強力なTransformer/SSMベースラインに対しても競争力のある結果を示した。
  • 例： 非多項式・非平滑な非線形性を伴うPlasticityデータセットにおいて、HO-FNOは0.0006の誤差を達成し、最高の周波数ベースのベースライン（0.0010）および最高のTransformerベースライン（0.0011）を大幅に上回った。
• 球面浅水方程式（SWE）： 球面において、HO-SFNOはロールアウト誤差を$7.7 \times 10^{-1}$（SFNO）から$7.0 \times 10^{-1}$へと減少させ、長期的な安定性の向上を示した。
• 効率性： HO-FNOは、標準的なFNOと比較して無視できる程度の計算オーバーヘッドしか追加しない（例：ナビエ・ストークスにおいて訓練時間が+1.8%）。一方で、TransformerやSSMベースラインよりも大幅に高速でメモリ効率が高い。

意義と主張

本論文は、HO-FNOがスペクトル手法の効率性と、複雑な非線形ダイナミクスに必要な表現力の間のギャップを埋めるものであると主張している。

• 帰納バイアス： 主な意義は、多項式非線形性に一致する代数的構造をモデル化する帰納バイアスを導入したことにある。モード混合を明示的にパラメータ化することで、高次アテンションの計算コストをかけることなく、流体力学やその他の物理システムに固有の「三次の（あるいは$n$次の）」相互作用を捉えることができる。
• 深さの効率性： 結果は、HO-FNOが非常に「深さに対して効率的」であることを示唆している。単層のHO-FNOは、ターゲットとなるPDEの非線形性の次数がネットワークの次数と一致する場合、深いスタックの標準的なFNO層よりも優れた性能を発揮することができる。
• 汎用性： 手法はFNOの解像度不変性の特性を維持しており、高次混合が異なる離散化間での汎化能力を損なわないことを証明している。

著者らは、HO-FNOは多項式非線形性を対象に設計されているものの、非多項式タスク（Plasticityなど）での成功は、高次のスペクトル相互作用が広範な非線形PDEに対して堅牢で汎用的な帰納バイアスを提供することを示唆していると結論付けている。