技術要約: エントロピー回帰DMD (ERDMD)

問題提起

動的モード分解（DMD）は、特に流体力学やカオス系において、データ駆動型のモデル発見のための標準的なツールとなっている。しかし、標準的なDMDは、マルチスケールなデータやカオス的アトラクタに対して苦戦することが多く、単純なラグモデルでは長期予測において正確な予測を提供できない。高次DMD（HODMD）やハンケルDMD（Hankel-DMD）は、時間遅延を組み込むことでこの問題に対処しようとしているが、これらは通常、一様な時間ラグに依存しているか、あるいは埋め込み次元の手動選択を必要とする。既存の文献は、非一様な時間遅延がより情報理論的に豊かなモデルをもたらす可能性を示唆しているが、与えられた時系列に対して最適な非一様ラグの集合を自動的に発見する完全な手法は欠如している。さらに、「最も可能性の高い」モデルを決定するには、ノイズが存在する場合に、強力な選択基準なしに膨大な潜在的ラグの組み合わせの空間を探索する必要がある。

手法

著者らは、HODMDの枠組みと、情報理論および因果エントロピーから導出された技術である**エントロピー回帰（ER）を融合させた手法であるエントロピー回帰DMD（ERDMD）**を提案している。核心となる目的は、時系列の進化に関する情報の流れを最大化する、疎（sparse）で非一様な時間遅延を持つDMDモデルを発見することである。

本手法は、アルゴリズム1で定式化される3つの明確な段階で動作する：

1. 初期化: プロセスは、標準的なDMD行列 $K_1$ に対応する最小のモデル（ユニットラグ $l=1$ のみを含む）から開始される。
2. 構築フェーズ（Build Phase）: アルゴリズムは、候補となる遅延のプールから候補ラグの追加を反復的にテストする。各候補ラグに対して、新しいモデルが構築される。アルゴリズムは、提案されたモデルとターゲット状態との間の条件付き相互情報量を、現在のモデルを条件として測定するために、因果エントロピー（転送エントロピーの一般化）を計算する。具体的には、以下を最大化することを目的とする：
   $$\tilde{I} = \arg\max_j I(Y^+_d, K(l_t)Y^-(l_t) \mid K(l_c)Y^-(l_t))$$
   ここで、$Y^+_d$ はターゲット状態、$l_c$ は現在のラグの集合、$l_t$ は新しいラグを含むテストセットである。もし情報利得が統計的に有意である場合（シャッフルテストによって検証される）、そのラグはモデルに追加される。
3. 剪定フェーズ（Prune Phase）: 構築フェーズが終了すると、アルゴリズムは選択された各ラグの必要性をテストする。ラグを一つずつ削除し、情報損失を計算する。ラグの削除による情報減少が統計的に有意でない（すなわち、情報利得が実質的にゼロである）場合、そのラグはモデルから剪定される。

結果として得られるモデルは、以下の形式の、時間遅延状態の疎な線形結合となる：
$$y_{j+1} = \sum_{k=1}^{N_L} K_{l_k} y_{j+1-l_k}$$
ここで、ラグの集合 $\{l_k\}$ は非一様であり、自動的に発見される。著者らはまた、随伴行列 $K_a$ を構築し、関連する特性多項式の根を分析することで、得られたモデルのスペクトル特性を特徴付けている。これにより、タイムスケールに基づいたダイナミクスの分離が可能になる。

主な貢献

• 自動ラグ発見: 本論文は、HODMDやHankel-DMDで一般的な固定または一様なラグ構造を超えて、最適な非一様時間遅延を決定するための、完全に自動化されたメカニズムを導入した。
• 情報理論的選択: エントロピー回帰と因果エントロピーを利用することで、単なる最小二乗法による最小化ではなく、システムの進化に関する情報を最も提供できる項に基づいてモデルを選択する。
• 疎かつ堅牢なモデル: 得られたモデルは、高い再構成精度を維持しながら、非常に疎である（最小限の項を使用している）ことが示されている。情報理論の使用は、ノイズの多いデータに対する固有の堅牢性を提供する。
• スペクトル分解: 非一様なラグ構造により、クープマン・スペクトルのより明確な特徴付けが可能になり、ラグ行列から導出された簡約多項式の分析を通じて、高速および低速のダイナカル・モードの分離が可能になる。

結果

著者らは、以下の3つのカオス力学系を用いてERDMDを検証した：

1. Lorenz-63 システム:

   • 最大ラグ $d=150$ の場合、ERDMDはラグ $l_c = \{1, 149\}$ を持つ非常に疎なモデルに収束した。
   • フルHODMD（すべてのラグを使用）はわずかに低い再構成誤差を示したが、ERDMDモデルは優れた予測性能を示した。これは、フルHODMDが過学習していたことを示唆している。
   • スペクトル分析により、ダイナミクスにおける減衰はラグ値の格差によって駆動されていることが明らかになった。
   • 最大ラグを $d=100$ に減少させると、アルゴリズムはより複雑なラグの集合（$l_c = \{1, 15, 26, \dots, 99\}$）を選択し、利用可能な時間軸に対する手法の適応性を強調した。

2. Rössler システム:

   • このシステムはマルチスケールなダイナミクス（高速な平面振動と緩やかな成長）を示す。
   • ERDMDは、高速および低速の両方のスケールを捉える非一様なラグの集合（$l_c = \{1, 3, 170, 436, 553, 665, 988\}$）を正常に特定した。
   • ラグ行列のノルムは10桁のオーダーに及んだ。短いラグ（1, 3）は大きなノルムを持ち、長いラグは極めて微小なノルムを持っていた。
   • スペクトル分析により、長いラグから導出された簡約多項式が最も遅いスケールを正確に近似し、一方で短いラグが高速な不安定モードを捉えていることが示された。

3. Kuramoto–Sivashinsky (KS) 方程式:

   • 高次元で空間的に拡張されたカオス系（$L=11$）に適用された。
   • 手法は、ラグ $l_c = \{1, 123, 141, 158\}$ を持つ疎なモデルに収束した。
   • 再構成は成功したが、著者らは、より長い再構成ホライゾンにおいては、フルHODMDと比較して誤差がより速く蓄積することを指摘している。
   • スペクトル分析は、ラグの値に基づいたモードの明確な分離を再び示した。最も不安定なモードは最短のラグ（$K_1$）に対応していた。

意義と主張

本論文は、ERDMDが、非一様な時間埋め込みを決定するための実用的かつ自動的な方法を提供することで、エルゴード系における正確なクープマン作用素を見出すという先行研究（[8]など）の野心を具現化していると主張している。主な意義は、手動のチューニングなしに、マルチスケールな特徴を特定し、ノイズに対して堅牢で、高精度かつ最小限のモデルを構築できる能力にある。

著者らは、以下の制限事項を明示的に認めている：

• Kuramoto–Sivashinsky方程式の場合、手法はフルHODMDと比較して、長いホライゾンにわたって高次元のストレンジ・アトラクタを完全に再構成することに苦戦しており、最適化されたラグを持つDMDモデル単体では、すべての高次元カオス系に対して十分ではない可能性があることを示している。
• 著者らは、これらの欠点を解決するために、ERDMDをオートエンコーダ・ニューラルネットワーク戦略（[12]のように）と結合させることを今後の課題として提案している。
• 本論文は、手法がノイズに対して堅牢である一方で、現実世界のノイズを含むデータでのテストは、今後の調査におけるフロンティア（未開拓領域）であることも述べている。

本研究は、ERDMDを既存の因果ネットワーク発見手法を補完するアプローチとして位置づけており、疎でありながらダイナミクス的に情報量の多い、タイムステップ・モデルを構築するための特定のツールを提供している。