A Neural Operator-Based Approach to Symbolic Discovery of PDEs

技術要約：記号的PDE発見のためのニューラルオペレータに基づくアプローチ

問題提起
Equation Learner (EQL) やスパース回帰手法（例：PDE-FIND）といった既存の記号的モデル発見手法は、局所的な解析関数のライブラリへの依存という根本的な限界を抱えている。これらの手法は、場（フィールド）の値、局所的な微分、および代数的な組み合わせを含む点ごとの量を用いて、候補となる方程式を構築する。これらは古典的な偏微分方程式（PDE）には効果的であるが、非局所的な相互作用、積分オペレータ、補助的な場の方程式、または時間的なメモリ効果を伴う支配則の発見には失敗する。分数拡散、結合場システム、あるいは履歴依存の粘弾性など、多くの物理システムは、局所的な点ではなく関数空間全体に作用するオペレータに依存しており、現在の記号的発見フレームワークではアクセス不能となっている。

手法：NOMTO
著者らは、事前学習済みのニューラルオペレータを記号的なプリミティブとして組み込むことで、EQLのアーキテクチャを拡張したフレームワークである NOMTO (Neural Operator-based symbolic Model approximaTion and discOvery) を提案している。

• アーキテクチャ: NOMTOは、候補となる方程式を、スパースで微分可能な計算グラフとして表現する。標準的なEQLでは、ノードが定義済みの代数的または局所的な微分演算のみを適用するのに対し、NOMTOでは、選択されたノードを**事前学習済みのニューラルオペレータ・サロゲート（代理モデル）**として実装することを可能にする。これらのサロゲートは、離散化された関数に対して作用し、同一のグリッド上で離散化されたオペレータ出力を返す。
• 学習と発見の分離: 核となる設計原則は、オペレータ学習と方程式発見のデカップリング（分離）である。
  1. 事前学習: ニューラルオペレータ（具体的には、Fourier Neural Operators [FNO]、Convolutional Neural Operators [CNO]、および Fully Connected Neural Networks [FNN]）は、特定の物理的オペレータ（例：分数ラプラシアン、ポアソン・グラディエント写像、履歴メモリ積分）を近似するように独立して学習される。その後、これらのサロゲートは固定される。
  2. 記号的最適化: 発見フェーズの間、サロゲートノードは固定されたままとなる。最適化プロセスは、計算グラフ内のノードを接続する学習可能なスカラー重みのみを調整する。
• 最適化戦略: 本フレームワークは、以下の3つのフェーズからなる粗から密へのパラダイムを採用している。
  1. 高密度学習 (Dense Training): スパース性の制約なしに、ターゲットとなるダイナミクスに適合するようにフルグラフを学習させる。
  2. スパース化 (Sparsification): 損失関数に $\ell_1$ ペナルティが追加され、一定の大きさ以下の重みが除去（プルーニング）され、スパースな構造を特定する。
     に
  3. 再適合 (Refitting): プルーニングされたグラフを、スパース性ペナルティなしで再学習し、活性化されたパスの係数を精緻化する。
• 式の抽出: 学習後、無視できる程度の重みが除去され、残った活性グラフが明示的な記号方程式へと翻訳される。得られる式は、標準的な代数項と、事前学習済みのニューラルオペレータ・サロゲートの表記（例：$\hat{G}^a_m$）を組み合わせたものとなる。

主要な結果
NOMTOは、非局所的または履歴依存のオペレータを必要とする3つの異なる物理システムにおいて評価された。

1. 分数拡散: このシステムは、非局所的な空間オペレータである分数ラプラシアン・オペレータを含む。NOMTOは、支配方程式 $u_t \approx -\hat{\kappa} \hat{G}^a_{L_s}[u]$ を正常に回収した。FNOベースのサロゲートが最も高い精度（相対MSE $9.47 \times 10^{-6}$）を達成し、係数 $\hat{\kappa} = 1.00$ を正しく特定した。
2. オイラー・ポアソン系: このシステムは、局所的な輸送方程式と、補助的なポアソン方程式から導かれる非局所的な力項を結合させている。NOMTOは、局所的な対流項と、非局所的なポアソン・グラディエント結合の両方を回収した。CNOサロゲートが最も低い運動量方程式誤差（相対MSE $3.245 \times 10^{-4}$）を達成したが、すべてのアーキテクチャが記号的構造と係数を正しく特定した。
3. 履歴粘弾性: このケースは、時間的なメモリ積分を伴う構成則を含む。NOMTOは、構造 $\sigma(t) = E\varepsilon(t) + A\hat{G}^a_H[\varepsilon](t)$ を正常に発見し、すべてのサロゲートタイプにおいて、瞬時弾性係数とメモリ振幅を高精度に回収した。

すべてのケースにおいて、NOMTOは構造的正当性と係数回収の面で標準的なニューラルネットワーク・サロゲート (FNN) を上回るか、あるいは同等の性能を示し、事前学習済みのオペレータが複雑な物理メカニズムの忠実な記号的プロキシ（代理）として機能することを実証した。

意義と主張
本論文は、NOMTOが「関数の記号的発見」から「オペレータ値を持つ物理法則の記号的発見」への転換を象徴していると主張している。学習済みオペレータを固定された微分可能なノードとしてスパースな記号グラフ内に埋め込むことで、本フレームワークは以下を実現する：

• 発見可能なクラスの拡大: 局所的な微分ライブラリを超えて、非局所的な空間オペレータ、補助的な場の写像、および時間的メモリ効果を伴う支配則を含む、発見可能な範囲を拡張する。
• 解釈性の維持: ニューラルネットワークを使用しているにもかかわらず、最終的な出力は、非局所的なメカニズムの役割が明示的な、解釈可能な記号方程式として残る。
• モジュール性の実現: オペレータ学習と方程式発見の分離により、オペレータライブラリを異なる発見タスク間で再利用することが可能となり、候補となるオペレータの選択を通じて、事前の物理的知識を組み込むことが容易になる。

著者らは、回収されたモデルの忠実度はサロゲートオペレータの精度に依存すること、およびオペレータライブラリの構築には依然として妥当な物理メカニズムに関するある程度の事前知識が必要であることを認め、限界についても述べている。しかし、本研究は、オペレータ学習の進展と解釈可能な科学的機械学習を統合するための経路を確立している。