技術概要：CoPFITi – 不規則な多変量時系列のための妥当かつ表現力のあるコピュラ

問題定義

不規則な多変量時系列（IMTS）は、医療、気候科学、センサーネットワークなどの分野で広く見られ、変数が非一様なタイムスタンプで非同期に観測される。これらの環境における予測には、照会された変数と時間点にわたる結合分布を捉える完全な確率的予測が必要である。IMTS 予測における重要な課題は周辺化の一貫性である。照会には変数とタイムスタンプの異なる部分集合が含まれる可能性があるため、モデルは、いかなる部分集合に対する予測も、より大きな結合予測から導かれたものと一貫していることを保証しなければならない。

既存のアプローチはトレードオフに直面している。結合モデルは、複雑な依存関係を捉えられないか、周辺化の一貫性を欠くことが多い（例：ProFITi）。逆に、一貫性を強制するモデル（例：MOSES、CircuITS）は、表現力の不足や制限的な仮定への依存に悩まされることが多い。さらに、TACTiS や TACTiS-2 などの時系列向け既存のコピュラベースのアプローチは、アーキテクチャ設計上、単変量周辺分布を厳密に保持できず、コピュラの基本的な性質に違反している。加えて、標準的なガウスコピュラの混合は、潜在空間で共通の中心を共有するため、複雑で多峰性の依存構造のモデル化には不十分である。

手法

著者は、ガウス混合コピュラ（GM-C）を用いて、単変量周辺モデルと結合依存構造を分離するフレームワークCoPFITi（Irregular Time Series の確率的予測のためのコピュラ）を提案する。

1. 周辺モデル化：MargFlow

コピュラアプローチの妥当性を確保するため、著者は単変量周辺専用のモデルMargFlowを導入する。

• アーキテクチャ: MargFlow は CircuITS から適応されたエンコーダを使用し、照会分離可能である。つまり、任意の照会点における分布は、他の照会点ではなく、観測履歴とその特定の照会点のみに依存する。この性質は周辺化の一貫性にとって不可欠である。
• 表現力: 単変量周辺をガウス分布に制限する（Neural-ODE ベースラインのように）のではなく、MargFlow は**Deep Sigmoidal Flows（DSF）**を採用する。これらはニューラルネットワークによってパラメータ化された厳密に単調なスカラー変換であり、複雑で非ガウス的な周辺分布をモデル化できる。
• 訓練: MargFlow は、依存モデルと結合される前に高品質な単変量予測を確保するため、周辺尤度を最大化するように独立して訓練される。

2. 依存モデル化：ガウス混合コピュラ（GM-C）

CoPFITi は、複数のガウスコピュラの混合ではなく、単一のガウス混合モデル（GMM）を用いて潜在空間に依存構造を構築する。

• 潜在構造: モデルは $\mathbb{R}^N$ 上の潜在結合密度 $f_{GMM}(z) = \sum_{j=1}^K \pi_j \mathcal{N}(z; \mu_j, \Sigma_j)$ を定義する。
• パラメータ予測:
  • 混合重み（$\pi$）: 観測履歴 $X$ のグローバル要約からのみ予測される。これらは照会セット $Q$ に依存しない。
  • 平均（$\mu_j$）と標準偏差（$\sigma_{j,n}$）: 照会埋め込み $e_n$ を用いて照会ごとに予測される。これにより、潜在モードが空間的に分離され、多峰性の依存関係のモデル化が可能になる。
  • 共分散（$\Sigma_j$）: 照会埋め込みから導出された低ランクグラム行列構造（$U_j U_j^\top + I$）を予測された標準偏差でスケーリングして構築される。これにより、効率的な計算を可能にしながら対称性と正定値性が保証される。
• コピュラ構築: コピュラは、確率積分変換を通じて GMM 密度 $f_{GMM}$ によって誘導される。変換後に混合するガウスコピュラの混合とは異なり、CoPFITi は変換前に潜在密度を混合する。これにより、誘導されたコピュラは潜在 GMM の多峰性構造を継承し、標準的な混合では捉えられない複雑な非楕円性の依存関係を捉えることができる。

3. 周辺化の一貫性

CoPFITi は構造的に周辺化の一貫性を持つ。

• 混合重み $\pi$ は照会 $Q$ ではなく、履歴 $X$ のみに依存する。
• 潜在パラメータ $\mu_j$ と $\Sigma_j$ は、照会点に対応する特定の項を通じてのみ $Q$ に依存する。
• 照会点を除去することは、多変量ガウス分布の標準的な周辺化規則と完全に一致する。
• 潜在空間から目標空間への変換は照会分離可能である。
• 著者は、これらの性質が結合分布の周辺化が直接周辺を予測した結果と一致することを保証することを示す形式的な証明（付録 A）を提供している。

4. 訓練と推論

• 2 段階訓練: まず、MargFlow を独立して訓練する。次に、その重みを固定し、結合対数尤度を最大化するようにコピュラパラメータを訓練する。
• 最適化: 目的関数は正規化された結合負対数尤度（njNLL）である。GMM 周辺分布の逆 CDF に閉形式解がないため、著者は前方反転に安全策を講じたニュートン二分法スキームを使用し、逆伝播には（陰微分による）解析的勾配を導出する。これにより、ソルバの展開を回避している。

主要な貢献

1. CoPFITi フレームワーク: 構造的に周辺化の一貫性を持つ、IMTS 向けの最初のコピュラベースフレームワーク。高い表現力を達成しつつ構造的妥当性を維持するためにガウス混合コピュラを利用する。
2. MargFlow: Deep Sigmoidal Flows を用いた強力な照会分離可能な周辺モデル。ベンチマークデータセット上で最先端の周辺尤度を達成する。
3. 理論的および実証的妥当性: 周辺を結合モデルから分離することが、結合訓練よりも優れた周辺性能をもたらすことを示す。CoPFITi は、非コピュラベースラインを上回る結合尤度を達成し、TACTiS-2 と同等かそれ以上の性能を示す一方、TACTiS-2 が保証できない周辺分布の厳密な保持を実現する。

実験結果

著者は、CoPFITi を 4 つの標準的な IMTS ベンチマークで評価した。USHCN（気候）、PhysioNet-2012、MIMIC-III、およびMIMIC-IV（臨床）である。

• 周辺性能: MargFlow は 4 つのデータセットすべてで最低の周辺負対数尤度（mNLL）を達成し、結合訓練されたベースラインや他の単変量モデル（GRU-ODE、NeuralFlows、CRU）を大幅に上回った。
• 結合性能: CoPFITi は、最良またはそれに準ずる正規化結合負対数尤度（njNLL）を達成した。PhysioNet、MIMIC-III、MIMIC-IV において TACTiS-2 を上回った。
• GM-C の表現力: ガウスコピュラの混合（Mix-GC）に GM-C を置き換えたアブレーション研究により、性能が大幅に低下することが示され、多峰性の潜在構造をモデル化する能力が重要であることが確認された。
• 妥当性のギャップ: ワイシュタイン距離（Wasserstein-1 distance）を用いて、CoPFITi がサンプリングノイズに匹敵する高精度で単変量周辺を保持することを示した。一方、TACTiS-2 は桁違いに大きな偏差を示し、周辺分布の保持に失敗していることを示した。
• 一貫性チェック: 3 次元分布に関するトイ実験において、TACTiS-2 の直接の二変量予測は、その周辺化された 3 次元結合予測と矛盾したが、CoPFITi の予測は構造的に一貫していた。

意義と主張

本論文は、表現力と妥当性の間の緊張関係を解決することで、結合 IMTS 密度モデル化における新たな最先端を確立すると主張している。

• 構造的保証: 周辺保持を学習するために収束理論に依存する従来の注意コピュラとは異なり、CoPFITi はアーキテクチャ設計を通じて周辺化の一貫性を保証する。
• 分離の利益: 結果は、周辺モデル化を依存モデル化から分離することが、より正確な単変量予測をもたらし、その結果としてより良い結合密度推定につながるという仮説を支持している。
• 適用性: 予測に焦点を当てているが、著者はこのフレームワークが、表データにおける欠損値補完など、可変的なターゲットセットを持つ他の条件付き結合密度推定問題にも自然に拡張可能であると指摘している。

この研究は、信頼性の高い不確実性推定の提供と、異なる解像度での予測が互いに矛盾しないことの保証に焦点を当てた、公共ベンチマークで評価された方法論的貢献として提示されている。