Neural delay differential equations: learning non-Markovian closures for partially known dynamical systems

この論文は、Mori-Zwanzig 形式に着想を得て、遅延時間変数をデータから学習するニューラル遅延微分方程式（NDDE）を提案し、部分観測条件下での非マルコフ的動的システムのモデル化において、既存の手法よりも優れた性能とデータ効率を実現することを示しています。

要約

この論文は、**「未来を予測する AI が、過去の記憶をどうやって上手に使うか」**という新しい方法を提案しています。

専門用語を避け、日常の例えを使って解説しますね。

1. 問題：「目隠し」をした状態で未来を予測するのは難しい

まず、この研究が解決しようとしている問題を想像してみてください。

• シチュエーション: あなたが風船の動きを予測しようとしています。
• 問題: 風船の内部（空気の圧力や温度など）は見えません。見えるのは、風船の表面の「色」だけという**「部分的な情報」**しかありません。
• 従来の AI の限界: 多くの AI は「今の状態（色）」だけを見て「次はどうなる？」と予測しようとします。しかし、風船の内部の動き（見えない情報）が今の動きに影響している場合、今の状態だけを見ていても、未来は正確に予測できません。まるで、**「現在の写真だけを見て、明日の天気予報をする」**ようなものです。

2. 解決策：「過去の記憶」を味方につける

この論文のアイデアはシンプルですが強力です。
「今の状態だけでなく、少し前の『過去の記憶』も一緒に見れば、見えない内部の動きを推測できるのではないか？」

例えば、風船が今「赤く膨らんでいる」のは、「1 秒前は青かったが、風が吹いて赤く変化した」という過去の経緯があるからです。この「過去 1 秒前の状態」を AI に教えてあげれば、内部の動きを推測しやすくなります。

3. 新技術：「神経遅延微分方程式（NDDE）」とは？

この研究では、**「NDDE（ニューラル・ディレイ・ディファレンシャル・エクスプレッション）」**という新しい AI の仕組みを使いました。

• 従来の AI（LSTM など）: 過去の情報を「暗記」して、隠された箱（潜在変数）の中にしまっておくようなイメージです。箱の中身が何だったかは、AI 自身もよくわからない（ブラックボックス）ことが多いです。
• この論文の NDDE: 過去の情報を**「タイムマシン」**のように扱います。「今から 1 秒前、2 秒前、3 秒前のデータ」を直接、現在の計算に組み込みます。
  • アナロジー: 料理を作る際、従来の AI は「味見した記憶」を頭の中で思い出して味付けを決めます。一方、NDDE は**「実際に 1 分前に作った鍋のスープを、今すぐスプーンで掬って味見している」**ようなものです。

4. この研究のすごいところ：「最適なタイムマシン」を自分で探す

ここがこの論文の最大のポイントです。

• 過去のどの時点を見るべきか？
  • 「1 秒前」を見るべきか？「10 秒前」を見るべきか？
  • 従来の方法では、この「どれくらい前を見るか（遅延時間）」を人間が手動で決める必要がありました。
• この論文の革新:
  • AI が**「自分で最適な『過去の時間』を見つけ出す」**ことができます。
  • 例え話: 料理人が、味見するタイミングを「1 分前」「3 分前」「5 分前」と試しながら、「あ、2.3 分前のスープの味が一番今の味を説明できるな！」と自分で見つけるようなものです。
  • これにより、AI は物理的な法則（風船の内部の動きなど）に合った「記憶の深さ」を自動的に学習します。

5. 理論的な裏付け：「森・ツヴァンツィグの理論」と「タケンスの定理」

この方法は、単なる「試行錯誤」ではありません。物理学と数学の有名な理論に基づいています。

• 森・ツヴァンツィグの理論（Mori-Zwanzig）:
  • 「見えない部分（内部の動き）の影響は、実は『過去の履歴』として現れる」という物理学の理論です。これを AI に適用しました。
• タケンスの定理（Takens' Theorem）:
  • 「過去のデータをいくつか並べれば、元の複雑な動きを完全に再現できる」という数学の定理です。
  • これを組み合わせることで、**「過去のデータ（遅延）を使えば、見えない部分の情報を補える」**ことが数学的に保証されました。

6. 実験結果：実際にどうだった？

研究者たちは、この方法をいくつかのテストで試しました。

1. 人口の増減シミュレーション: 生物の個体数がどう変わるか。
2. 化学反応（ブルセレーター）: 色が周期的に変わる反応。
3. カオスな気流（KS 方程式）: 非常に予測が難しい乱流。
4. 実際の風洞実験: 風洞で実際に発生する空気の渦（実験データ）。

結果:

• 従来の AI（LSTM や NODE）よりも、NDDE の方が予測精度が高く、長期的な予測も安定していました。
• 特に、**「実験データ（ノイズが多い実際のデータ）」**でも、NDDE はノイズに惑わされず、本質的な動きを捉えることができました。
• さらに、**「最適な過去の時間（遅延）」**を AI が自分で見つけた結果、それが物理的な現象の時間スケール（例えば、渦が回る周期など）と一致していることが確認できました。

まとめ：なぜこれが重要なのか？

この論文は、**「不完全な情報（一部のデータ）しかない状況でも、過去の記憶を賢く使うことで、未来を正確に予測できる」**ことを示しました。

• 従来の方法: 「今の状態」だけで必死に考える。
• この新しい方法: 「今の状態」＋「最適な過去の記憶」を使って、見えない部分の動きまで推測する。

これは、気象予報、金融市場の分析、医療データの解析など、**「完全なデータが手に入らない現実世界」**の問題を解決する強力なツールになる可能性があります。AI が「過去を振り返る」ことで、未来をより鮮明に見るようになるのです。

技術概要

この論文「Neural delay differential equations: learning non-Markovian closures for partially known dynamical systems（神経遅延微分方程式：部分的に既知な力学系に対する非マルコフ的閉じ込めの学習）」の技術的な要約を以下に示します。

1. 問題定義 (Problem)

動的システムのモデル化において、既存の手法（Neural ODE など）はシステムの「完全な状態（full state）」にアクセスできると仮定することが多い。しかし、現実の応用（気象、流体力学、生物学など）では、限られた数のセンサーからの観測データしか得られず、部分的な観測（partial observability） に直面することが一般的である。

さらに、観測データが現在の状態だけで未来を決定できる「マルコフ性」を持たない場合（非マルコフ的）、過去の履歴情報が未来の進化に不可欠となる。従来の時系列予測手法（LSTM、Transformer など）はメモリ機構を持つが、物理的な解釈性が低く、連続時間モデルとしての定式化と整合性を持たせることが難しい場合がある。また、不完全なモデルを補完する「閉じ込め問題（closure problem）」として、欠落した物理過程をどのように表現するかが課題となっている。

2. 提案手法 (Methodology)

著者らは、統計物理学におけるMori-Zwanzig (MZ) 形式と、力学系理論のTakens の埋め込み定理に基づき、学習可能な遅延を持つ神経遅延微分方程式（Neural Delay Differential Equations: NDDEs） を提案した。

• 理論的基盤:

  • Mori-Zwanzig 形式: 観測できない変数の影響を、観測変数の過去値に対する積分項（メモリ項）として表現する。
  • Takens の定理: 適切な遅延時間を選べば、観測変数の過去のベクトル（遅延座標）から元の力学系の位相空間を同相写像（diffeomorphism）として再構成できることを示唆。
  • これらを組み合わせることで、積分項（メモリ）を有限個の離散的な遅延項で正確に近似できることを理論的に示した（Proposition 2.1）。

• モデル構造:
  観測ベクトル $y(t)$ の時間発展を以下のようにモデル化する：
  $$\frac{dy(t)}{dt} = h_\theta(t, y(t), y(t-\tau_1), \dots, y(t-\tau_n))$$
  ここで、$h_\theta$ はニューラルネットワーク、$\tau_i$ は学習可能な定数遅延である。

• 学習アルゴリズム:

  • 遅延パラメータ $\tau_i$ もニューラルネットワークの重みと同様に最適化する。
  • 効率的な勾配計算のために、随伴法（Adjoint Method） を拡張して導出した（Proposition 3.1）。これにより、大規模なデータセットでも計算コストを抑えつつ、遅延パラメータとネットワーク重みの両方をエンドツーエンドで学習できる。
  • 実装はオープンソースライブラリ torchdde として提供されている。

3. 主要な貢献 (Key Contributions)

1. 非マルコフ的ダイナミクスの連続時間モデル化: 部分的な観測下での力学系を、物理的に解釈可能な遅延項を用いて連続時間枠組みで学習する新しい枠組みを提案。
2. 学習可能な遅延の導入: 従来の DDE が固定された遅延や手動選択に依存していたのに対し、随伴法を用いてデータから最適な遅延時間 $\tau_i$ を自動的に学習する手法を開発。
3. 理論的正当性: Mori-Zwanzig 形式と Takens の定理に基づき、有限個の遅延項で非マルコフ的メモリを正確に表現できることを証明。
4. オープンソース実装: 学習可能な遅延 DDE を実装した torchdde ライブラリの公開。

4. 実験結果 (Results)

合成データ、カオス系、実験データを含む多様なデータセットで検証を行った。比較対象には LSTM、Neural ODE (NODE)、Augmented NODE (ANODE)、Latent ODE が含まれる。

• 人口動態モデル (Population Dynamics):
  • 学習された遅延時間が、Takens の定理に基づく遅延相互情報量の最小値付近に収束することを確認。
• Brusselator (化学反応系):
  • 部分的に観測された場合、NODE は平均的な軌道しか予測できないのに対し、NDDE はメモリ項により正確な振動を再現。
  • 長期的な安定性において、NDDE は LSTM や Latent ODE と同等かそれ以上の性能を示した。
• Kuramoto-Sivashinsky (KS) 方程式 (カオス系):
  • 空間的に部分的に観測されたカオス系において、NDDE は他のモデルを上回る予測精度を示した。
  • 最大リアプノフ指数（MLE）の推定値が真値に最も近づき、カオス的な統計特性を正確に捉えていることが確認された。
• 空洞流実験 (Cavity Flow):
  • 風洞実験データ（ノイズを含む）に対して、NDDE は他のモデルよりも低い MSE を達成。
  • 遅延を学習させることで、固定遅延よりも大幅に性能が向上することを実証。
• 低次元モデル（ROM）の閉じ込め:
  • 固有直交分解（POD）を用いた低次元モデルにおいて、閉じ込め項（closure term）として NDDE を使用した場合、従来の ODE 閉じ込めや指数減衰メモリ（CD-ROM）よりも、特にデータが少ない（モード数が少ない）領域で顕著な精度向上を示した。

5. 意義と結論 (Significance & Conclusion)

• 解釈性と効率性: NDDE は、LSTM や Latent ODE のような「隠れ状態」を暗黙的に学習するのではなく、物理的な時間スケールに対応する「遅延時間」を明示的に学習する。これにより、モデルの挙動を物理的に解釈しやすく、パラメータ数を抑えつつ高い性能を実現している。
• 部分的観測への強さ: 観測データが不完全な場合でも、過去の履歴を適切に利用することで、欠落した物理過程（非マルコフ的効果）を効果的に補完できる。
• 応用可能性: 流体力学の乱流モデル、気象予測、生物学的システムなど、センサーデータが限られる複雑な動的システムのモデル化において、強力な代替手段となる。

総じて、この論文は、Mori-Zwanzig 形式と深層学習を融合させ、学習可能な遅延パラメータを持つ連続時間モデルを提案することで、部分的に観測される非マルコフ的力学系のモデル化における新たな標準を提示した点で画期的である。