技術要約: Phys-JEPA

問題提起

物理システム（エネルギーグリッド、交通、気象学など）における多変量時系列予測には、結合された時間的変数を予測しつつ、意味のある状態進化を保持できるモデルが必要である。深層学習による予測モデルは複雑な統計的相関を捉えることに長けているが、その隠れた予測状態は精度のみに最適化されることが多く、結果として潜在的なダイナミクスが解釈困難であり、物理法則による制約が弱いものとなる。

既存の物理情報に基づくアプローチは、通常、デコードされた出力レベルでのみ制約を課す（例：保存則に違反する予測にペナルティを与える）。著者らは、これは長期予測においては不十分であると主張している。なぜなら、将来の軌跡を生成する源泉である潜在的な予測状態が、物理的に構造化されていないまま残されてしまうからである。その結果、モデルは短期的には妥当な予測を行うものの、時間の経過とともに誤差が蓄積するような、不安定または非物理的な内部遷移を学習してしまう可能性がある。

手法: Phys-mathcal{JEPA}

本論文は、物理的な正則化を出力空間から潜在予測状態空間へと移行させるフレームワークである、Phys-JEPA（Physics-Informed Joint-Embedding Predictive Architecture）を提案している。

コアアーキテクチャ

Phys-JEPAは、生の観測値の再構成ではなく、将来の表現の予測を学習するJoint-Embedding Predictive Architecture（JEPA）のパラダイムを拡張したものである。モデルは以下の要素で構成される：

1. コンテキストエンコーダ ($E_c$): 過去の時間窓を現在の潜在状態 $z_t$ に写像する。
2. 潜在予測器 ($P$): 表現空間内で直接、将来の潜在状態 $\hat{z}_{t+H}$ を予測する。
3. デコーダ ($D$): 予測された潜在状態を将来の軌跡 $\hat{x}_{t+1:t+H}$ に写像する。
4. ターゲットエンコーダ ($E_y$): 実際の将来の時間窓をターゲット表現 $z^*_{t+H}$ に写像する（JEPAのアライメントのためにストップグラディエントと共に使用される）。

物理情報に基づく潜在分解

中心となる革新は、潜在状態 $z_t$ を2つの明確な成分に分解することである：

• 物理成分 ($z^{phy}_t$): 直接的な物理的意味を持つ変数。
• 残差成分 ($z^{res}_t$): 物理的な投影によって明示的にカバーされない、未解決の要因や統計的な変動を捉える。

軽量な物理プロジェクタ ($G$) が、物理的な潜在成分を観測される物理変数 ($q_t$) の空間へと写像する。

損失関数

学習目的関数は、標準的な予測損失と、潜在的な物理ブランチに対する特定の制約を組み合わせたものである：

1. JEPA目的関数 ($L_{JEPA}$): 予測された潜在状態をターゲットの潜在表現と整合させ、ピクセルレベルの再構成なしに予測的な特徴を学習する。
2. 予測損失 ($L_{forecast}$): デコードされた予測と正解との間の標準的なMSE。
3. 静的潜在物理状態損失 ($L_{state}$): 物理的な潜在状態が、現在および将来の両方の時点において観測される物理変数に対応することを保証する：
   $$L_{state} = \|G(z^{phy}_t) - q_t\|^2_2 + \|G(\hat{z}^{phy}_{t+H}) - q_{t+H}\|^2_2$$
4. 動的潜在物理遷移損失 ($L_{dyn}$): 物理的な潜在状態の変化が、観測された物理的な変化と一致することを保証する：
   $$L_{dyn} = \|[G(\hat{z}^{phy}_{t+H}) - G(z^{phy}_t)] - [q_{t+H} - q_t]\|^2_2$$
5. 残差正則化 ($L_{SIGReg}$): 残差成分にのみ適用され、表現の崩壊を防ぐ（分散と共分散構造を確保する）が、構造化された物理成分に対して等方的な事前分布を強制することはない。

全損失は、以下の重み付き和である：$L = L_{forecast} + \alpha L_{JEPA} + \beta L_{SIGReg} + \lambda_s L_{state} + \lambda_d L_{dyn}$。

主な貢献

1. 物理的予測のための潜在ワールドモデル: 物理的な一貫性が、単に出力された予測に対してではなく、潜在的な予測状態とその遷移に対して強制される手法を導入した。これにより、内部のワールドモデルが物理的に解釈可能となる。
2. 物理・残差分解: 潜在状態を物理成分と残差成分に分離する新しいアーキテクチャを提供し、明示的な物理的監督を維持しつつ、非明示的なダイナミクスに対する柔軟性を保持させている。
3. 二重の一致性制約: 本定式化は、静的な状態アライメント（状態を変数に固定する）と動的な遷移アライメント（状態の変化を物理法則に固定する）の両方を利用しており、いずれか一方の制約のみを使用する場合の限界に対処している。

実験結果

著者らは、Jena Climate（気象）、Electricity（電力負荷）、Traffic（道路占有率）の3つのベンチマークでPhys-JEPAを評価した。

• Jena Climate (強い物理的記述子):
  • $H=24$ において、Phys-JEPAは集計MSEを0.12482から0.12273へ、温度MSEを0.01892から0.01831へと減少させた。
  • 熱力学的変数および水蒸気圧の変数の大部分で改善が見られ、変数が直接的な気象学的意味を持つ場合にこのアプローチが有効であることを検証した。
• Traffic (弱いドメイン記述子):
  • フルPhys-JEPA（静的＋動的）は、すべてのホライゾン（$H=24$ から $H=192$）において、教師あり学習のベースラインを一貫して上回った。
  • $H=192$ において、集計MSEは0.800784から0.773873へと改善した。
• Electricity (弱いドメイン記述子):
  • 結果はホライゾンに依存した。静的な一貫性のみが、短期的ホライゾン（$H=24, 48$）で最も優れた性能を示したが、フルPhys-JEPAは最長ホライゾン（$H=192$）で最良の結果を得た。
  • これは、動的な遷移の一致性が長期的な進化には有益であるが、物理的記述子が短期的なダイナミクスに対して粗すぎる場合には制限となる可能性があることを示唆している。
• アブレーションによる洞察:
  • 出力レベルの物理（デコードされた予測にペナルティを与える手法）は、これらの設定においては潜在的な正則化よりも効果が弱いことが判明した。
  • 潜在的な診断（有効ランクおよび共分散ランク）により、物理損失が単なる出力へのペナルティとして機能するのではなく、潜在表現の幾何学的構造を形成していることが確認された。

重要性と主張

本論文は、物理情報に基づく学習を出力空間から潜在予測状態空間へと移動させることが、解釈可能で物理的に一貫した時間的ワールドモデルに向けた有望な道筋であることを主張している。

• 解釈可能性: 潜在状態を分解することで、モデルは物理変数とその遷移が明示的に構造化された表現を学習する。
• 安定性: 潜在的な遷移を制約することで、長期予測における誤差の蓄積を防ぎ、純粋な統計的深層予測モデルの主要な弱点に対処する。
• 限界と今後の課題: 著者らは、現在の結果が単一シードの実験に基づいていること、およびElectricityやTrafficにおいては「弱いドメイン」の記述子（正確な支配方程式ではないもの）を使用していることを控えめに述べている。彼らは、遷移法則を直接検証できる、より強力で明示的な物理的制約を持つシステムにおいて、本手法の真のポテンシャルを評価すべきであると強調している。本研究は、すべての現代的な予測アーキテクチャに対する最終的なベンチマークではなく、潜在的な物理定式化の初期の検証として提示されている。