NestyNet. IV. Laws Chosen by Nothing in Advance

技術要約：NestyNet. IV. 事前に何も選択しない法則の発見

問題提起
データから直接、支配的な微分方程式（DE）を発見する試みは、単純なスカラー系を超えて、結合場、複素振幅、および構造化されたハミルトン力学へと移行する際に、大きな障壁に直面している。SINDy（Sparse Identification of Nonlinear Dynamics）やPDE-FINDといった既存の手法は、未知の係数に対して線形である候補項の固定されたライブラリに依存している。このアプローチは、特定の関数形式（例：正弦波項における周波数）を事前に決定することを強いるものであり、真の法則が事前定義された辞書には存在しない非線形パラメータや構成的構造を含む場合には機能しない。さらに、微分方程式発見の精度は、しばしば微分推定の質によってボトルネックとなる。ノイズを含むデータに対する標準的な数値微分や、一次の学習を用いたニューラルサロゲートは誤差を導入し、物理的に不正確な法則を導く可能性がある。課題は、固定されたライブラリに縛られることなく、また数値的に不安定な微分に頼ることなく、結合されたベクトル系および複素数値系の予測可能で解釈可能な法則を回収することである。

手法
本論文では、高精度なニューラルサロゲートと、2つの補完的な発見戦略、および対称性に基づくフィードバックループを統合したフレームワークであるNestyNet-DEを紹介する。

1. NestyNetサロゲートによる解析的微分:
   本手法の基礎は、軌跡または場のデータを適合させる訓練済みニューラルサロゲート（NestyNet）である。標準的な多層パーセプトロン（MLP）が一次の最適化手法で訓練されるのに対し、NestyNetは抽象構文木（AST）表現を通じて解析的微分（連鎖律）を採用している。これにより、Adamで訓練されたMLPと比較して、微分において$10^2$〜$10^3$の精度向上を実現し、特徴行列が、ノイズの多い有限差分ではなく、一貫した高忠実度の解析的勾配から導かれることを保証する。

2. 二層型発見エンジン:

   • 第1層：スパース・ライブラリ経路 (STLSQ): この層はSINDy/PDE-FINDのパラダイムを拡張するものである。ASTベースの候補項（べき乗、三角関数、およびベクトル演算子を含む）からなる特徴行列を構築し、サロゲート上で解析的に評価する。ここでは、活性な項を選択するために逐次閾値最小二乗法（STLSQ）を用いる。この層は、結合系、複素数値の法則（実部分解を介して）、および成分間で係数が共通化されたベクトル方程式を扱う。
   • 第2層：演算子因子分解探索 (OFS): 固定されたライブラリのどの列も表現できない法則に対処するため、この層は方程式の構造自体を直接探索する。法則を、$L[u] + \sum g_j(z_j)\phi_j = 0$ という因子分解された項のバランスとして扱う。ここで、$\phi_j$は固定されたキャリア（例：$\nabla \cdot$, $\nabla \times$）であり、$g_j$は発見される単変数関数である。この経路は、アーカイブ誘導型の探索を用いて構造的なスケルトンを変異・洗練させ、スパース・ライブラリが逃してしまう構成的な法則（例：半次数の動力学、特異な逆座標項）の回収を可能にする。

3. 対称性と幾何学の統合:
   本フレームワークは、データから回収された方程式のリー点対称性を直接発見する。これらの対称性は以下の3つの機能を果たす：

   • 仲裁: フォワードロールアウト（前方展開）では分離できない候補を区別する。
     ら
   • ライブラリ拡張: 「構成的原子」（例：特定の座標依存係数）を生成し、再選択のためにライブラリに追加する。
   • 統合: 可解な代数に対して、発見された対称性は、回収された法則を閉じた形式へと積分することを可能にする。相空間においては、ネーター対称性が用いられ、構造係数をフィッティングするのではなく、保存電荷や構造的係数（例：回転対称性による遠心力項の確定）を導出するために使用される。

4. 精緻化と制約:
   パイプラインには、非線形形状パラメータ（例：指数、速度）を最適化しつつ、線形係数を解析的に排除する変数投影法（VarPro）が組み込まれている。また、次元解析が「バッキンガム・数独（Buckingham–Sudoku）」として事前回帰フィルタとして適用され、特に結合系やベクトル系において極めて重要となる、単位の一貫性に反する項を排除する。

主な結果
本フレームワークは、57個の実数値ODEと26個の複素数値/結合系（例：シュレディンガー、ディラック、グロス・ピタエフスキー、およびマクスウェル方程式）を含む83のベンチマーク・スイートを用いて評価された。

• スカラー・ベンチマーク: スパース・ライブラリ層のみで57ケース中39のケースを通過した。演算子因子分解探索（第2層）の追加により、複雑な非線形性や特異性を伴う13のケースを追加で回収し、合計で52/57の通過率を達成した。
• 複素およびベクトル系: 本手法は、複素数値方程式の構造（絶対値の非線形性や、結合された実部/虚部成分の扱い）およびベクトル偏微分方程式の構造を正常に回収した。マクスウェル方程式のケーススタディでは、NestyNetサロゲートを使用した場合、相対ノイズ$10^{-6}$までにおいて、フレームワークはカール演算子を正しく特定し、ラプラシアンの「デコイ（偽陽性）」を拒絶した。これに対し、標準的な有限差分法はあらゆるノイズレベルで失敗した。
• 実世界への応用（小惑星の軌道要素）: 308個のメインベルト小惑星の30年間にわたる日次軌道要素に適用した結果、パイプラインは縮退ケプラー階層を回収した。面積法則、逆二乗則、および縮退ハミルトニアンを特定した。決定的なことに、発見された回転対称性により、フィッティングではなく第一原理から遠心力係数（$k = \ell^2$）を導出することができ、これは摂動を含む現実世界のデータから基礎的な物理構造を抽出できる本手法の能力を証明している。

意義と主張
著者らは、NestyNet-DEが以下の点で科学的機械学習における重要な進歩であると主張している：

1. 固定ライブラリの制約の打破: 事前に定義された辞書が予期できない非線形パラメータや構成的構造を持つ法則を回収し、SINDyやPDE-FINDの限界を超えている。
2. 複雑性の処理: 著者らの知る限り、実数、複素数値、および結合されたベクトル法則の組み合わせを、結果を明示的かつ解釈可能なままに、データから直接回収できる初のフレームワークである。
3. ループの閉鎖: 本フレームワークは方程式の形式を見つけるだけで終わらない。幾何学（リー対称性）を同一のデータから回収する。この幾何学は、候補の検証、欠落しているライブラリ項の生成、および構造的な係数の導出に使用され、実質的に法則を統合する。
4. ノイズと微分に対する堅牢性: 高精度なサロゲートからの解析的微分に依存し、次元の一貫性を強制することで、数値微分が失敗する領域においても運用可能な発見精度を実現している。

本論文は、このアプローチが、現代の理論物理学の多くを定義づける結合、多場、および非線形な動力学を扱うことができる、解釈可能な方程式発見のための実用的なエンジンを提供すると結論付けている。