Invariant Manifolds of Discrete-time Dynamical Systems with Nonlinear Exosystems via Hybrid Physics-Informed Neural Networks

技術的概要：非線形外部システムを有する離散時間ダイナミカルシステムの不変多様体に関するハイブリッド物理情報ニューラルネットワーク

問題定義
本論文は、外部自律ダイナミクス（外部システム）によって駆動される離散時間ダイナミカルシステムにおける不変多様体（IMs）の近似という課題に取り組む。このような階層的または結合されたシステムは、制御理論（例：非線形出力調整）および集団行動のモデリング（例：交通、鳥の群れ、魚の群れにおけるリーダー・フォロワーダイナミクス）において広く見られる。IM は次元削減と安定性解析のための厳密な枠組みを提供するが、離散時間設定におけるその計算は依然として困難である。局所冪級数展開（PSE）などの従来の手法は、係数の組み合わせ的成長に関する「次元の呪い」に悩まされ、収束半径によって制限されており、平衡点から遠く離れた領域ではしばしば失敗する。一方、純粋なデータ駆動型または物理情報ニューラルネットワーク（PINN）のアプローチはスケーラビリティを有するものの、平衡点近傍における級数展開の解釈可能性や急速な局所収束特性を欠く可能性がある。

手法
著者は、多変数多項式級数と浅層ニューラルネットワーク（NN）を相乗的に組み合わせ、IM を定義する関数関係 $x = \pi(y)$ を近似するハイブリッド物理情報機械学習フレームワークを提案する。

1. 数学的定式化: 問題は、不変条件から導出された非線形関数方程式（NFEs）の連立方程式を解くこととして定式化される：
   $$\pi(Ay + g(y)) = B\pi(y) + Cy + f(\pi(y), y)$$
   ここで、$y$ は外部システムの状態を、$x$ は駆動される状態を表す。

2. ハイブリッドアーキテクチャ: 近似 $\tilde{\pi}_{HxS}(y)$ は、区分的関数として構築される：

   • 平衡点を中心とした超長方形 $D$ 内: 平衡点近傍における幾何学的/指数関数的な収束特性を活用するため、多項式級数（冪級数、ルジャンドル級数、またはチェビシェフ級数）が使用される。
   • $D$ 外: 多項式級数が発散する可能性のある領域、または収束半径を超えた領域における汎用近似能力を活用するため、単層フィードフォワードニューラルネットワーク（SLFNN）が採用される。
   • 連続性: ヘヴィサイド関数に基づくスイッチング関数により、境界 $\partial D$ における $C^0$ 連続性が保証され、損失関数内の連続性ペナルティによって強制される。

3. 最適化: 学習タスクは、以下の構成要素からなる複合損失関数を最小化する物理情報最適化問題として定式化される：

   • NFE 残差: 配置点における不変方程式の強制。
   • 平衡点制約: 多様体が平衡点を通ることを保証。
   • 連続性制約: 境界における多項式と NN の出力の一致。

   最適化はレベバーグ・マルクardt（LM）アルゴリズムを用いて解かれる。重要なのは、著者が多項式係数および NN パラメータに対するすべての残差の微分に対する解析的式を導出したことであり、このアプローチは、特に剛性システムにおいて、有限差分や自動微分と比較して優れた信頼性と効率性をもたらすと主張されている。

4. 理論的基盤: 本論文は、特定の仮定（IM のバロン正則性、システムダイナミクスのリプシッツ連続性、および外部システムに対する測度の有界合成）の下で、単独の NN コンポーネントに対する汎用近似定理を確立する。この定理は、ネットワーク幅 $L$ に対する $L^2$ 収束率が $O(L^{-1/2})$ であることを保証する。

主要な貢献

• ハイブリッド方式: 多項式級数の解釈可能性と局所収束性、ならびにニューラルネットワークのグローバル近似能力を統合し、離散時間 IM に対して導入された新規なハイブリッドアーキテクチャ。
• 解析的微分: ハイブリッド方式の残差に対する閉形式の解析的微分の導出により、堅牢な LM 最適化が容易になる。
• 理論的保証: 離散時間不変方程式に適用される NN コンポーネントに対する汎用近似定理および収束率の確立。
• ベンチマーク: 単独の PINN および従来の PSE との比較による包括的な数値評価。

結果
本フレームワークは、2 つのベンチマーク例で評価された：

1. 酵素バイオリアクター（1 次元駆動、1 次元外部システム）: ハイブリッド方式（冪級数、ルジャンドル級数、またはチェビシェフ級数を使用）は、平均相対 $L^2$ 誤差が $10^{-5}$ オーダーとなり、単独の PSE（誤差 $\sim 10^{-3}$）を大幅に上回り、単独の PINN をわずかに上回った。ハイブリッドアプローチは、平衡点近傍（多項式コンポーネントによる）で高い精度を示し、遠方（NN コンポーネントによる）でも精度を維持した。
2. 車間距離追従モデル（20 次元駆動、2 次元外部システム）: この高次元の場合でも、ハイブリッド方式は PSE（誤差 $\sim 10^{-2}$）を上回り、単独の PINN（誤差 $\sim 10^{-3}$）よりもわずかに優れたグローバル精度を示した。ハイブリッド方式は 20 次元多様体に対して成功裡に一般化し、ドメイン全体に均一な誤差分布を維持した。

既知の解析的 IM（$x = \ln(1+y)$）を有する追加の検証ケースにおいて、純粋な多項式展開は収束半径の外側では失敗するが、ハイブリッド方式はドメイン全体にわたって精度を維持し、多項式の次数が増加するにつれて性能が向上することが確認された。

意義と主張
本論文は、提案されたハイブリッド物理情報方式が、単独の多項式展開および単独のニューラルネットワークに対して比較優位性を提供すると主張している。具体的には：

• 収束半径の外側で失敗する多項式級数の局所性の限界を克服する。
• 平衡点近傍における多項式の急速な収束を活用することで単独の PINNを改善し、その領域においてより高い数値精度を実現する。
• 問題を線形化する複雑さや、従来の手法でしばしば必要とされる多段階手順を回避するワンステップ、プラグアンドプレイのソリューションを提供する。

著者は、この手法が多項式の複雑さが扱い可能な低〜中次元多様体に対して非常に効果的である一方で、係数の組み合わせ的成長が非常に高次元におけるボトルネックとなることを控えめに指摘している。そのような場合、単独の PINN 近似の方が適切である可能性があると示唆している。論文は、ハイブリッド方式の収束特性の厳密な分析、および簡素なテンソル積基底の組み込みを含む今後の研究課題を特定して結論付けている。