Discovery of Nonlinear Dynamics with Automated Basis Function Generation

技術的概要：自動基底関数生成による非線形力学の発見

問題定義
観測データから支配的な数学的方程式を発見することは、特にその背後にある構造が未知である場合、科学モデル化における根本的な課題である。既存の方法は二項対立に直面している：

• 非線形力学の疎な同定（SINDy）： 簡潔で解釈可能なモデルを生成する点では効果的であるが、SINDy はユーザーが指定する候補基底関数のライブラリに依存する。非典型的な力学やドメイン知識の欠如により重要な項が省略されると、この手法は失敗する。逆に、省略を避けるためにライブラリを豊かにすると、深刻な多重共線性が生じ、疎な回帰が不安定化し、係数の不確実性が膨張する。
• 記号回帰（SR）： PySR などのアプローチは、事前構築されたライブラリなしに数学的表現の空間を探索することで、無制限の柔軟性を提供する。しかし、これらは計算集約的であり、測定ノイズに対して極めて敏感で、過剰適合し数値的に不安定な方程式を生成する傾向があり、長時間積分において失敗する。さらに、標準的な SR は状態変数を独立して最適化するため、多次元力学系の結合構造を強制することに苦慮する。

ここで扱われる核心的な問題は、事前知識なしに生データから物理的に適切で最小限の関数ライブラリを自動的に構築し、SR の表現力と疎な回帰の頑健性のバランスを取る手法の欠如である。

手法：AutoSINDy フレームワーク
著者は、方程式発見問題を 3 つの連続的な段階に分解するハイブリッドな「発見 - 後解」フレームワークである AutoSINDy を提案する：

1. 段階 1：記号マイニング（発見）

   • 完全な軌道に記号回帰を適用する代わりに、この手法は $K$ 個の短いランダムにサンプリングされたデータチャンク（ブートストラップウィンドウ）上で動作する。
   • PySR（多集団進化型記号回帰ツール）が各チャンクに適用され、候補となる関数形式をマイニングする。
   • 重要なのは、単一の最良モデルだけでなく、表現の完全なパレート最適フロントを収穫することである。これにより、完全な表現が特定の局所ウィンドウに対して不適切な適合であっても、構造的に正しい原子部分項が捕捉されることを保証する。
   • 退化した恒等式を防ぐため、ネストされた三角関数合成は明示的に禁止される。

2. 段階 2：ライブラリ選定（選別）

   • 生きた記号表現のプールを処理して、コンパクトで冗長性のないライブラリを構築する。
   • 分解： 表現をパースし、加法的な原子部分項に分解する（例：$3x^2 + 2\sin(y) \to \{x^2, \sin(y)\}$）。
   • 拡張： 設定可能な戦略（穏やか、厳格、またはハイブリッド）が、グループ化された多項式項または三角関数項を単項に展開し、網羅性を確保する。
   • 共線性の剪定： 複雑さ（演算子数）で候補をソートし、フィルタリングする貪欲な前方選択手順が用いられる。候補は、既に受け入れられた項との相関が閾値（$\rho_{max}$）未満であるか、またはその分散膨張係数（VIF）が許容範囲内である場合にのみ受け入れられる。これにより、ライブラリレベルでオッカムの剃刀が強制され、複雑で冗長な項よりも単純な項が優先される。

3. 段階 3：疎な同定（同定）

   • 選別されたライブラリが SINDy オプティマイザ（STLSQ または SR3）に入力される。
   • アンサンブルアプローチ（E-SINDy に着想を得た）が用いられる：$B$ 個のブートストラップ複製が抽出され、それぞれに疎なモデルが適合される。
   • ハードカットオフ包含フィルタが、ユーザー指定の割合（$\kappa$）のブートストラップモデルに現れる項のみを保持する。これにより強力なノイズ拒絶が実現され、ノイズのアーティファクトのみで現れる偽の項が破棄される。
   • このフレームワークは、状態変数ごとの個別ライブラリと変数間で共有される統一ライブラリの両方をサポートするが、実験では個別ライブラリがより優れた簡潔性を示した。

主要な貢献

1. 自動化された仮定不要なライブラリ生成： 数学的構造の事前指定を必要とせず、ブートストラップデータから候補関数形式をマイニングする PySR ベースのエンジン。これは SINDy のライブラリ設計のボトルネックを直接解決する。
2. 原理的な記号選別パイプライン： 構造化されていない遺伝的アルゴリズムの出力を、頑健な疎な回帰に適したクリーンで冗長性のない線形基底に変換する 3 段階メカニズム（分解、拡張、共線性の剪定）。
3. アンサンブルベースの疎な同定： 選別されたライブラリを SINDy オプティマイザとブートストラップアンサンブルフィルタリングと統合し、高いノイズ耐性と解釈可能性を達成する。
4. 体系的なベンチマーク： 振動、リミットサイクル、カオスを含む 6 つの標準的な非線形システムにおいて、様々なノイズレベルで包括的に評価し、ライブラリを豊かにした標準 SINDy とスタンドアロンの PySR と比較した。

結果
6 つのベンチマークシステム（調和振動子、減衰振り子、変調振動子、ヴァン・デル・ポール振動子、ダフィング振動子、複素ローレンツ系）における広範な実験は、以下のことを示している：

• 真の解の回復： AutoSINDy は、すべての試行において92.8% の真の解回復率を達成した（クリーンで未見の検証軌道における $R^2 > 0.99$ として定義）。これは標準 SINDy（58.9%）および標準 PySR（28.3%）を大幅に上回る。
• シミュレーションの安定性： AutoSINDy は、180 回の試行において0% のハードな積分クラッシュ（NaN/Inf または発散）を示し、長時間シミュレーションにおいて卓越した安定性を発揮した。対照的に、標準 SINDy は 51.7% の試行で失敗し、標準 PySR は 75.0% の試行で失敗した。
• 簡潔性： AutoSINDy は、真の解から 1〜2 演算子以内の複雑さ（演算子数）を持つ方程式を回復する。標準 SINDy は、真の解の最大 29.2 倍の複雑さを持つ方程式を生成した（例：ヴァン・デル・ポールで 175 演算子に対し、真の値は 6）。一方、標準 PySR はしばしば過剰に圧縮されず、重要な項を見逃した。
• ノイズ耐性： AutoSINDy は高いノイズレベル（$\sigma = 0.05$）でも高い精度を維持するが、ベースラインは著しく劣化するか完全に失敗する。
• 計算効率： 発見時間は共有エンジンによりスタンドアロンの PySR と同等であるが、生成されるコンパクトな方程式により、AutoSINDy はシミュレーションにおいて最速の手法となる。これは、複雑性が低減されることで、肥大化した方程式に伴う数値的剛性が回避されるためである。

意義と主張
本論文は、AutoSINDy が記号回帰の柔軟性と疎な同定の頑健性の間のギャップを成功裏に埋めたと主張する。特徴工学のボトルネックを自動化することで、事前のドメイン知識なしに正しい支配項を発見可能にする。著者は、この手法が構造的に正確であるだけでなく、動的に安定で解釈可能な方程式を生成すると主張しており、数学的形式が未知の生物学的および物理学的システムにおける複雑な力学の発見のためのスケーラブルな道筋を提供する。この研究は、訓練データにおける予測精度だけでは不十分であると強調しており、真の科学的価値とは、前方積分において安定し、低い記号的複雑性を持つ方程式を必要とするものである。