Probabilistic Circuits for Irregular Multivariate Time Series Forecasting

以下は、論文「Probabilistic Circuits for Irregular Multivariate Time Series Forecasting（CircuITS）」の詳細な技術的サマリーです。

1. 問題定義

本論文は、不規則な多変量時系列（IMTS）の確率的予測という課題に取り組んでいます。現実世界のシナリオ（医療、気候科学など）では、時系列データはしばしば以下の特徴を持ちます：

• 不規則性： 観測が非均等な時間間隔で発生する。
• 疎性： 特定のタイムスタンプにおいて、多くの変数（チャネル）が欠損している。
• 多変量性： 複数の変数が複雑な依存関係で相互作用する。

既存手法の主な限界：

• 点予測： 多くのモデルは単一の値を予測し、確率的プロセスにおいて不可欠である不確実性の定量化に失敗しています。
• 周辺化の一貫性の欠如： ProFITi などの最先端モデルは複雑な依存関係をモデル化できますが、周辺化の一貫性（marginalization inconsistency） に苦しんでいます。これは、他の変数がクエリに含まれるかどうかによって、変数の部分集合の予測確率が恣意的に変化することを意味します。これにより矛盾した予測（例：湿度についても尋ねるかどうかによって降雨確率が変化する）が生じ、高リスクの意思決定には信頼性がありません。
• 表現力と一貫性のトレードオフ： MOSES（Mixtures of Separable Flows）のような一貫性を保証するモデルは、混合成分の指数関数的なスケーリングが必要となるため、高次元空間における複雑な結合依存関係を捉えるのに苦労することが多いです。これらは効果的に異なるモード（分岐など）を学習できません。

2. 手法：CircuITS

著者らは、確率的回路（Probabilistic Circuits, PCs） に基づく新しいアーキテクチャであるCircuITS（Circuits for Irregular Multivariate Time Series）を提案します。中核的な革新は、高い表現力を維持しながら周辺化の一貫性を構造的に保証することです。

A. 中核アーキテクチャ：再帰的 Sum-Product ネットワーク

CircuITS は、$p(y | Q, X)$（ここで $y$ はターゲット、$Q$ はクエリ点、$X$ は観測値）という結合分布を、Sum ノード（混合）とProduct ノード（独立性）の階層構造を用いてモデル化します。

• リーフノード： 単変量またはチャネル固有の分布を表します。
• Sum ノード： 混合をモデル化し（多モーダル分布を捉える）、
• Product ノード： 因数分解をモデル化し（変数間の独立性を捉える）。

再帰的集約：
完全なテンソル積（$O(K^C)$ で指数関数的にスケーリング）の代わりに、CircuITS は再帰的なアプローチを使用します：

1. 初期化： 最初のチャネルに対して、状態は $K$ 個のリーフ密度のベクトルです。
2. 再帰： チャネル $c$ を追加するために、モデルは以前の結合状態と新しいチャネルのリーフ密度の直積（$K^2$ 項）を計算します。
3. 射影： 重み付き和（Sum レイヤー）がこれらの $K^2$ 項を $K$ 個の成分に射影します。これにより状態の爆発を防ぎつつ、モデルは以前の結合状態と新しいチャネルの間の相関を学習できます。
4. 最終出力： ルートノードは、$K$ 個の成分の重み付き和として最終的な結合分布を生成します。

B. エンコーダアーキテクチャ

不規則なデータを処理し、回路パラメータを動的に生成するために：

• 観測表現： 観測（時間、チャネル、値）は、正弦波時間埋め込みと学習可能なチャネル埋め込みを使用して埋め込まれます。
• チャネル内集約： Masked Cross-Attention メカニズムが、各チャネルの観測を固定サイズの表現に集約し、チャネルのアイデンティティを保持します。
• チャネル間相互作用： Self-Attention レイヤーがチャネル間の依存関係を捉えます。
• パラメータ生成： エンコーダは以下を出力します：
  • コンテキスト埋め込み： リーフ分布用（クエリ固有）。
  • 回路重み： Sum ノードの混合重み（$W^{(c)}$）とルート（$w_{root}$）。重要なのは、これらの重みがクエリ集合 $Q$ ではなく、観測履歴 $X$ のみに依存するという点です。この構造的制約が、周辺化の一貫性を保証する数学的な鍵となります。

C. リーフ分布

リーフ自体が一貫性があり表現力を持つことを保証するために：

• 単変量周辺分布： 単調層を介して累積分布関数（CDF）を近似するConditional Deep Sigmoidal Flows (DSF) を使用してモデル化されます。
• 結合依存性： ガウス・コピュラが単変量周辺分布を結合します。相関行列はクエリ埋め込みから導出され、依存構造が文脈に適応しつつ数学的に有効であることを保証します。

D. 理論的保証

本論文は、CircuITS が周辺化の一貫性（コルモゴロフの拡張定理）を満たすことを証明しています。

• 証明の論理： 回路構造は入力チャネルに基づいて固定され、Sum ノードの重みが $Q$ ではなく $X$ のみに依存するため、変数を積分除去（周辺化）することは、対応するリーフ項を削除（1 に置換）するだけで、残りの混合の重みを変更しません。したがって、結合分布から導出された周辺分布は、部分集合に対して直接予測された分布と同一です。

3. 主な貢献

1. CircuITS アーキテクチャ： IMTS に特化した新しい Sum-Product ネットワークであり、構造的に周辺化の一貫性を保証し、表現力と信頼性の間のトレードオフを解決します。
2. 一貫性のあるエンコーダ： 観測履歴から回路重みとリーフパラメータを生成するエンコーダにより、クエリの範囲に関係なく変数の部分集合に対する予測が一貫性を保つことを保証します。
3. 最先端のパフォーマンス： 4 つの現実世界のデータセットにおいて、結合密度推定と周辺密度推定の両方で優れた性能を実証しました。
4. 理論的証明： 提案されたアーキテクチャが有効な確率過程の要件を満たすことを確立する形式的な証明。

4. 実験結果

モデルは 4 つのデータセットで評価されました：USHCN（気候）、PhysioNet-2012、MIMIC-III、およびMIMIC-IV（医療）。

• 指標： 正規化結合負対数尤度（njNLL）と周辺 NLL（mNLL）。
• ベースライン： ProFITi（一貫性はないが表現力がある）、MOSES（一貫性はあるが表現力が低い）、NeuralFlows（独立した周辺分布）と比較。
• 性能：
  • 結合密度： CircuITS は圧倒的な多数のシナリオで最低（最良）の njNLL を達成し、ProFITi と MOSES の両方を上回りました。
  • 周辺密度： CircuITS は mNLL においてもベースラインを上回りました。一方、ProFITi はその一貫性の欠如により、しばしば高い mNLL 誤差を示しました。
  • 合成タスク： 独立したチャネルが 2 つの明確なモードに分岐する合成の「分岐」タスクにおいて、MOSES は 16 個の成分を使用しても明確な分岐を捉えられなかったのに対し、CircuITS はチャネルあたり 2 個の成分のみでこれを解決しました。
• 効率性： CircuITS はチャネルを結合から分離することで、計算複雑性を完全共分散の $O((CN)^3)$ から $O(CN^3)$ に削減しますが、混合成分の数 $K$ に依存するようになります。

5. 意義

• クリティカルな領域における信頼性： 周辺化の一貫性を保証することで、CircuITS は矛盾した予測を防ぎます。これは、患者の悪化予測や気候モデリングなど、一貫性のない確率が誤った意思決定につながる可能性のある安全クリティカルなアプリケーションにおいて極めて重要です。
• 複雑性の処理： 以前の混合ベースの一貫性モデルが直面していた最適化の困難さを経ずに、複雑で多モーダルな結合分布のモデル化に成功しています。
• 汎用性： このアーキテクチャは変数数やクエリ点数に関して柔軟であり、データの疎性と不規則性が一般的である多様な現実世界の IMTS アプリケーションに適しています。

結論として、CircuITS は、確率的回路の理論的厳密さと、不規則で多変量なデータに必要な実用的な柔軟性を統合することで、確率的時系列予測における重要な進歩を表しています。