A Dynamic Subspace Approach for Low-rank Approximation of Large-scale Nonlinear Systems

技術的概要：大規模非線形システムの低ランク近似のための動的部分空間アプローチ

問題定義
効果的な低次元近似は、データ圧縮、機械学習、モデル縮小において不可欠である。しかし、固有直交分解（POD）や線形オートエンコーダなどの標準的な静的な手法は、固定された射影空間に依存している。これらの静的な表現は、物理モードやコヒーレント構造が時間とともに変化する、過渡的かつ輸送優位な現象を十分に捉えることができない。そのようなシナリオで精度を維持するためには、静的な線形手法はしばしば近似ランク（次元数）の大幅な増加を必要とする。この制限は「コルモゴロフの障壁」として知られている。非線形手法はこの表現力の限界を克服できるが、解釈性や計算効率を犠牲にすることが多く、また進化状態に適応しない固定された埋め込みに依存している。

手法
著者らは、近似基底の進化を、$\mathbb{R}^N$ 内のすべての $r$ 次元線形部分空間の空間であるグラスマン多様体（$G(r, N)$）上の時間連続的な軌道としてモデル化する動的部分空間アプローチを提案する。

1. 幾何学的定式化:
   固定された基底 $V$ の代わりに、この手法は測地線経路（部分空間間の最短経路）としてパラメータ化された時間変化する基底 $V(t)$ を用いる。基底は以下のように定義される：
   $$V(\tau) = V_1 \cos(\tau \Theta) + V_2 \sin(\tau \Theta)$$
   ここで、$V_1$ と $V_2$ は正規直交行列、$\tau$ は正規化された時間、$\Theta$ は回転率を表す主角度の対角行列である。この定式化により、部分空間の幾何学的なドリフトを低次元座標の内在的な進化から分離でき、ランク $r$ を増大させることなく、基底を瞬間的な物理現象に適応させることができる。

2. 特徴空間によるスケーラブルな最適化:
   高次元の状態空間（次元 $N$）における直接最適化は、大規模システムにおいて計算的に処理不可能である。これを解決するため、著者らは特徴空間の削減を導入する：

   • スナップショットデータから POD を介して得られた先頭特異ベクトルに由来する $n_f$ 個の固定された特徴モードの集合を用いて、削減された基底 $\tilde{V} \in \mathbb{R}^{N \times n_f}$ を構築する。
   • 動的基底は、これらの特徴の張る空間内に存在するように制約される：$V(\tau) = \tilde{V} T(\tau)$。ここで、$T(\tau)$ は低次元の回転行列である。
   • これにより、最適化変数を高次元空間（$N \times 2r$）から特徴空間（$n_f \times 2r$）へシフトさせ、計算コストを元の状態次元 $N$ に依存しないものとする。

3. リーマン幾何最適化:
   学習問題は、トレーニングスナップショット上の平均二乗射影誤差を最小化するように定式化される。最適化は、$\text{St}$ が正規直交行列のストイエル多様体を表す積多様体 $\mathcal{M} = \text{St}(n_f, 2r) \times \mathbb{R}^r$ 上で行われる。著者らは、直交性制約を厳密に遵守し、多様体の幾何学を航行するために、JAX バックエンドを備えた Pymanopt パッケージ経由のリーマン共役勾配ソルバを利用する。実装では、すべての時間ステップに対して射影を同時に計算するためにベクトル化操作が用いられ、反復的な時間ループのオーバーヘッドを排除している。

主要な貢献

• 測地線パラメータ化: 次元削減を、基底がグラスマン多様体上の測地線に沿って進化するという微分幾何学的タスクとして再定義し、非定常なダイナミクスの適応的な追跡を可能にする。
• コストの分離: 事前計算された削減された特徴空間内での学習を行うことで、最適化コストを高次元の状態空間 $N$ から分離するスケーラブルな枠組み。
• ランク効率性: この手法は、同等のランクにおいて静的な線形近似よりも高い精度を達成し、ランクの増大を必要とせずに輸送優位な現象に対するコルモゴロフの障壁を実質的に打破する。
• ベクトル化実装: 最新の自動微分と並列処理機能を活用した、完全なベクトル化されたループフリーの最適化戦略。

結果
この枠組みは、2 つの異なる問題で評価された：

1. 1 次元輸送方程式: 進行波のベンチマーク。動的部分空間アプローチは、静的な POD に比べて相対誤差の収束が著しく速かった。削減次元 $r=20$ において、動的手法はランク $2r$ の静的な POD 基底と同等の精度を達成し、測地線的視点の有効性を検証した。
2. 乱流翼後流（LES）: 複雑な非定常乱流を含む大規模高忠実度データセット（$N \approx 6.6 \times 10^5$）。
   • 動的部分空間アプローチは、テストされたすべてのランクにおいて静的な POD を一貫して上回った。
   • $r=200$ において、動的手法はテストスナップショットに対して**2.4%の相対誤差を達成し、POD の4.0%**と比較して優位性を示した。
   • 動的基底は微細な乱流構造を捉え、時間的な連続性を維持したのに対し、静的な POD モードはより滑らかで拡散的な結果を生み出した。
   • 最適化は、標準的な CPU 上で $r=80$ で約 25 秒で収束し、スケーラビリティを実証した。

意義と主張
本論文は、この動的部分空間アプローチが、複雑な非定常システムの低ランクモデリングに対する、従来の多様体学習に対する堅牢でスケーラブルな代替手段を提供すると主張している。基底を測地線としてパラメータ化することで、近似空間が高次元の状態とともに進化し、瞬間的な物理現象との同期を確保する。

著者らは、このアプローチが以下の点で優れていることを強調している：

• 輸送優位な流れに対して静的な手法が通常必要とするランクの増大を回避することで、コルモゴロフの障壁を緩和する。
• 基礎となる物理の明示的なパラメータ化を必要とせず、支配方程式に依存しないため、既存の生産レベルのシミュレーションコードへの統合を容易にする。
• 高次元ベクトルの操作から、時間係数と主角度の最適化へと計算の焦点をシフトさせる、数学的に厳密な枠組みを提供する。

この研究は、この手法をエクサスケール計算時代における高忠実度デジタルツインの実現可能な可能化技術として位置づけ、従来のアプローチに比べて計算複雑性が大幅に低いほぼ最適な部分空間の整列を提供する。今後の研究は、より長い時間範囲のための区分的測地線への手法の拡張と、既存のデータ駆動型モデル縮小フレームワークとの適応基底の結合に焦点を当てることが予定されている。