SPLICE: Latent Diffusion over JEPA Embeddings for Conformal Time-Series Inpainting

以下は、論文「SPLICE: Latent Diffusion over JEPA Embeddings for Conformal Time-Series Inpainting」の詳細な技術的サマリーです。

1. 問題定義

本論文は、電力システムにおける長期的な時系列補完という重要な課題、特にセンサー故障や通信障害に起因する電力負荷データの欠損復元に取り組んでいます。

• ギャップ: 既存の深層生成モデル（拡散モデル、VAE など）は高い復元精度を達成しますが、有限サンプルにおける信頼性の保証が欠けています。電力網のような安全クリティカルなインフラにおいて、不確実性の定量化を伴わない点推定のみでは、送電計画や需給調整に不十分です。
• 課題: 従来の補間法は微細な時間的構造を捉えきれず、標準的なコンフォーマル予測手法は、データの交換性を前提としているため、非定常な分布シフト（季節変化、気候レジームの移行など）下ではしばしば機能しません。
• 目標: 欠損データ（最大 91 日）の高忠実度復元を提供しつつ、厳密なカバレッジ保証を備えた分布フリーで適応的な予測区間を提供するフレームワークを開発することです。

2. 手法：SPLICE フレームワーク

SPLICE（Self-supervised Predictive Latent Inpainting with Conformal Envelopes）は、モジュール化された 4 段階のパイプラインです。

A. JEPA エンコーダ（表現学習）

• アーキテクチャ: Joint Embedding Predictive Architecture (JEPA) を用いて、日次多変量セグメント（負荷、気象、カレンダー）をコンパクトな64 次元潜在空間へマッピングします。
• メカニズム: マスクされた Transformer が、観測されたコンテキストに基づき、マスクされた日の潜在埋め込みを予測します。
• 学習目的: 埋め込みの崩壊を防ぎ、情報の分散を確保するために、コサイン予測損失とVICReg 風の正則化（分散と共分散の制約）を組み合わせます。
• 利点: VAE と異なり、JEPA は復元損失による「ぼかし」効果なしに時間的ダイナミクスを保持する構造化された潜在空間を学習するため、長期的な生成に理想的です。

B. 条件付き潜在ブリッジ（軌道生成）

• 機能: JEPA 潜在空間内で、欠損ギャップに対する候補軌道を生成します。
• モード: 4 つの確率性レベルをサポートします。
  1. 決定論的: 直接予測（最低 MSE）。
  2. ノイズ付加: 不確実性の定量化のためのアンサンブルを作成するために、決定論的出力にガウスノイズを加えます。
  3. 生成（DDIM）: 標準的な拡散サンプリング。
  4. 生成（フローマッチング）: 推奨されるバックエンド。サンプルを直線的な ODE 経路に沿って輸送する速度場を学習します。
• 効率性: フローマッチング変種は、50 ステップの DDIM サンプリングに比べて5–10 倍高速でありながら、5–10 回のオイラーステップで DDIM と同等の品質を達成します。

C. 時間条件付きデコーダ

• 機能: 生成された潜在軌道を信号空間（時間ごとの負荷）へ逆マッピングします。
• 革新点: 標準的なデコーダとは異なり、ギャップ期間中の時間ごとの共変量（気象、カレンダー）に条件付けされます。これにより、モデルは欠損日の外的要因（例：気温）を「知ることができ」、潜在空間と観測空間間の情報ギャップを埋めます。
• 学習: 負荷重み付き MSE 損失（負荷に 5 倍の重み）とノイズ拡張を用いて、ロバスト性を向上させます。

D. 適応的コンフォーマル推論（ACI）

• 問題: 標準的なコンフォーマル予測（CQR）は交換性を前提としていますが、時系列ではこれが破綻します。
• 解決策: SPLICE は、生成出力を**適応的コンフォーマル推論（ACI）**でラップします。
• メカニズム: ACI は、観測された誤差に基づいてオンラインで更新される、実行中の未カバレッジレベル（$\alpha_t$）を維持します。
  $$\alpha_{t+1} = \alpha_t + \gamma(\alpha - \text{err}_t)$$
• 保証: これにより、分布シフト下であっても、手動での再較正なしに自己修正しながら長期的なカバレッジ（例：95%）を確保します。

3. 主要な貢献

1. モジュール化された潜在パイプライン: JEPA 表現学習と条件付き潜在ブリッジ、および時間条件付きデコーダを結合した新規アーキテクチャ。
2. フローマッチングの効率性: JEPA 潜在空間におけるフローマッチングが、同等またはそれ以上の品質を維持しつつ、DDIM に対して5–10 倍の推論速度向上を実現することを示しました。
3. 分布フリーの不確実性: 深層生成補完パイプラインを ACI でラップする初の研究であり、非定常環境において最大7.5 パーセントポイントの未カバレッジ失敗を修正しました。
4. 転移学習: 9 つの多様なドメインで学習された単一のプールされた JEPA エンコーダが、最小限の微調整（ブリッジとデコーダのみ）で 4 つの未見ドメインへ転移可能であり、ドメインごとのオラクルと同等かそれ以上の性能を発揮することを示しました。

4. 実験結果

91 日のギャップを持つ13 のデータセット（9 つの独自ユーティリティフィード、3 つの UCI 電力データ、1 つの ETTh1）で評価されました。

• 精度:
  • 平均**負荷のみの MSE（0.056）**を達成し、SAITS（0.064）、BRITS（0.068）、CSDI（0.252）などの強力なベースラインを上回りました。
  • 外部ベースラインに対して、非退化データセットの9/12で勝利しました。
  • フローマッチングは、10 倍少ないステップを使用しながら、DDIM に対して MSE を**8.7%**削減しました。
• 不確実性の較正:
  • ACIは全データセットで93–95% の経験的カバレッジを達成し、変動の激しいデータセット（例：RIInd1014 は 86% から 93.5% に改善）における未カバレッジを正常に修正しました。
  • CRPS（連続順位確率スコア）: ノイズ付加アンサンブルは最高の CRPS（0.161）を達成し、最強の決定論的ベースライン（SAITS）に対して18.3% の改善となりました。
• 転移性:
  • ブリッジ/デコーダのみで微調整されたプールされたエンコーダは、保持された 4 ドメインのうち3 ドメインで、ドメインごとのオラクルと同等かそれ以上の性能を発揮しました。
• アブレーション研究:
  • JEPA 埋め込みは、JEPA のみの場合と比較して MSE を53.2%、従来の VAE+ブリッジベースラインと比較して**25.1%**削減しました。
  • 強化されたデコーダ（負荷重み付き損失＋ノイズ拡張）は、追加で**9.3%**の MSE 削減に寄与しました。

5. 意義と影響

• グリッド信頼性: 電力網運用者に、補完された値だけでなく、統計的に保証された信頼区間を提供し、供給不足や需要反応イベントの見逃しを防ぐ上で不可欠です。
• スケーラビリティと効率性: フローマッチングバックエンドにより、長期的な補完がリアルタイムまたはニアリアルタイムのアプリケーションに対して計算的に実行可能になりました。
• 汎化: プールされたエンコーダアプローチは、汎用的な時系列基盤モデルへの道筋を示唆しており、新しいセンサーや地域ごとに新しいモデルを学習するコストを削減します。
• 方法論的進展: 生成モデル（高忠実度復元用）とコンフォーマル予測（厳密な不確実性用）の間のギャップを成功裡に埋め、現在の AI 駆動型インフラ管理における主要な限界を克服しました。

結論として、SPLICE は、JEPA の表現力、フローマッチングの効率性、および適応的コンフォーマル推論の統計的厳密性を組み合わせることで、エネルギーシステムにおける重要な課題を解決し、時系列補完において重要な前進を遂げました。