技術要約：不規則な多変量時系列のための潜在ラプラス拡散 (Latent Laplace Diffusion)

1. 問題提起

ヘルスケア、気候科学、金融などで一般的に見られる不規則な多変量時系列（IMTS）は、長期予測において根本的なトレードオフを提示します。既存のアプローチは概ね以下の3つのカテゴリに分類されますが、それぞれに重大な限界があります。

• 離散時間パイプライン: これらの手法は、データを正規の構造に補間または再グリッド化します。効率的ではありますが、強引な再グリッド化は時間情報の歪みを生じさせ、深刻な不規則性下における欠損のセマンティクス（意味論）をぼやけさせてしまいます。
• 連続時間モデル（例：Neural ODEs/CDEs）: これらはタイムスタンプを自然に取り込みますが、逐次的な数値積分に依存しています。これは計算コストを増大させ、特にギャップが大きい場合、長期間の予測において誤差の蓄積（ドリフト）を引き起こします。
• 拡散モデル / スコアベースモデル: 不確実性の定量化には優れていますが、既存の時系列拡散モデルの多くは観測空間で直接デノイジングを行います。これらは明示的な動態構造や安定性制御を欠いていることが多く、不規則なサンプリング下での長期生成において脆弱になります。

核心となる課題は、欠損を前処理のアーティファクトとして削減することなく、物理的な時間とサンプリングギャップを尊重した方法でIMTSをモデリングしつつ、逐次ソルバーに伴うドリフトの問題を回避して、安定した長期軌道生成を実現することです。

2. 手法：潜在ラプラス拡散 (LLapDiff)

LLapDiffは、離散モデルと連続モデルの架け橋となる条件付き生成フレームワークです。物理時間上の逐次的な数値積分を回避するために、ターゲットを低次元の潜在軌道としてモデリングし、潜在空間内で拡散を行います。

2.1. 潜在軌道表現

本手法は、不規則なターゲットホライゾンを多様体上の低次元の潜在軌道 $z$ として表現します。学習済みの変分オートエンコーダ（VAE）が、正解のターゲットをこの潜在空間へとエンコードします。拡散プロセスは、生の疎な観測値ではなく、これらの潜在軌道を汚染・デノイジングすることで、マスクされたデータに対する直接的なデノイジングを回避します。

2.2. 確率的ポート・ハミルトン力学による安定バイアス

数値ソルバーを用いずに逆拡散プロセスを導くため、著者らは確率的ポート・ハミルトン系から着想を得ています。

• エネルギーバランス: 本フレームワークは、コンテキストの更新間で期待システムエネルギーが非増加となる、パッシビティに基づく帰納バイアスを課します。これにより、予測可能な動態を確率的な揮発性から分離します。
• ラプラス領域パラメータ化: 潜在軌道の平均的な進化を、タイムステップではなくラプラス領域でパラメータ化します。システムは、減衰率を表す $\rho_k$ と振動周波数を表す $\omega_k$ を持つ安定な複素共役極を用いてモデル化されます。
• 安定モード合成: デノイザーは、履歴を条件としてこれらのモードパラメータ（極と残差）を予測します。その後、潜在軌道は、減衰した正弦波の閉形式の和によって合成されます：
  $$\hat{z}_0(\tilde{t}_r) = \sum_{k=1}^K e^{-\hat{\rho}_k \tilde{t}_r} \left( \hat{c}_k \cos(\hat{\omega}_k \tilde{t}_r) + \hat{b}_k \sin(\hat{\omega}_k \tilde{t}_r) \right)$$
  これにより、逐次的な積分をバイパスし、並列化可能な単一のパスでホライゾン全体の生成が可能になります。

2.3. 更新平均化とギャップ認識型コンディショニング

著者らは、連続時間の極とランダムなサンプリングギャップとの間の理論的な関連性を、更新平均化（renewal-averaging）分析を通じて確立しています。

• 有効な極: ランダムなギャップは、連続時間の極を有効なイベントドメインの極へと写像します。ギャップの分散は、有効な減衰と振動を調整します。
• 履歴サマライザー: 学習された動態を不規則なパターンに適応させるため、「ギャップ認識型履歴サマライザー」が観測、時間ギャップ、および欠損マスクを集約します。このサマライザーはモード予測器を条件付け、複雑で非更新サンプリングパターン下でも一貫性を保てる連続時間パラメータの学習を可能にします。

2.4. アーキテクチャ

モデルは以下の要素で構成されます：

1. 履歴サマライザー ($S_\phi$): 観測された履歴を、ポート信号、動態プロキシ、および時間/ギャップエンコーディングを含むトークンシーケンスへとエンコードします。
2. モード予測器 ($L_\theta$): ノイズを含む潜在状態と履歴サマリーを条件として、連続時間のモードパラメータ（極と残差）を予測します。
3. モードシンセサイザー ($L^+_\theta$): 予測されたパラメータを用いて、閉形式のラプラス領域方程式を通じてデノイズされた潜在軌道を再構成します。

3. 主な貢献

1. LLapDiffフレームワーク: IMTSのための潜在拡散フレームワークであり、タイムスタンプの忠実度を保持しながら潜在軌道として進化をモデル化し、逐次ソルバーのドリフトを回避します。
2. ラプラス領域モードパラメータ化: 確率的ポート・ハミルトン力学に基づいた導出により、制約付き極減衰 ($\rho_k > 0$) による明示的な安定性制御を通じて、ホライゾン全体の生成を可能にします。
3. サンプリングギャップへの理論的リンク: 更新平均化を用いた、連続時間の極とランダムなサンプリングギャップを結びつける分析を提供し、不規則な観測パターンに対しても堅牢な動態を学習できるギャップ認識型履歴コンディショニングを動機付けました。

4. 実験結果

著者らは、大気質、ヘルスケア（PhysioNet）、気象学（NOAA）、金融（暗号資産、米国株式）にわたる7つの実世界のデータセットを用いてLLapDiffを評価しました。

• 予測性能: LLapDiffは、ほとんどのデータセットにおいて、最良の分布的指標（CRPS）と競争力のある点指標（MAE/MSE）を達成しました。利得は、長期予測（例：168ステップ）および高度に不規則なデータセット（例：PhysioNet、NOAA UK）で最も顕著でした。
• 補完（Imputation）: その軌道生成の性質により、モデルは歴史的なタイムスタンプに対して同じモデルをクエリすることで、欠損値の補完をサポートします。これは、確率的補完タスクにおいてCSDIなどのベースラインを上回りました。
• 安定性と堅牢性:
  • 極の可視化: 学習された極は一貫して $\rho_k > 0$ を満たし、指数関数的な減衰と安定性を保証しました。モデルはギャップ統計に基づいて減衰率を適応させました。
  • ストレス・テスト: モデルは、誘発された欠損に対して緩やかな劣化を示しました。極端なカバレッジ損失が発生した場合、性能は低下しますが、ドリフトや過度な平滑化を起こしやすいベースラインと比較して堅牢性を維持しました。
  • レジームシフト: モデルは、制御されたスペクトルシフト（周波数および減衰の変化）の下でも安定性を維持しました。
• 効率性: 逐次的なソルバーステップを必要とするNeural ODEsや連続時間Transformerとは異なり、LLapDiffの推論時間は異なる予測ホライゾンにわたってほぼ一定でした。推論のウォークロック時間において、TimeGrad（39.8倍）やContiFormer（150.6倍）よりも大幅に高速でした。

5. 意義と主張

本論文は、潜在拡散と安定した連続時間的な帰納バイアスを統合することにより、LLapDiffが離散時間と連続時間の時系列モデリングの間の溝を埋めることに成功したと主張しています。

• ソルバーフリーの生成: 動態モデリングをラプラス領域に移行し、安定したモードパラメータ化を使用することで、物理的なタイムステップなしにホライゾン全体の生成を実現し、逐次ソルバーのドリフト問題を効果的に解決しました。
• 予測と補完の統一: 連続的な潜在軌道の視点により、同じモデルが異なるタイムスタンプをクエリするだけで、予測と欠損値補完の両方を実行できる、不規則なデータに対する統一的なアプローチを提供します。
• ギャップ認識型適応: 更新平均化による分析は、サンプリングギャップを条件付けるための理論的根拠を提供し、不規則な観測パターンに対して堅牢な動態の学習を可能にしました。

著者らは、学習済みの潜在表現への依存や、局所的な線形モード近似といった限界についても認めています。今後の課題として、より豊かな非線形動態や、より高速な逆サンプリングの探索が挙げられています。本研究は、現実世界の不規則な時系列に対する、より安定かつ効率的な生成モデリングへの一歩として位置付けられています。