技術要約：「あなたの確率論的JEPAは、実は隠れたマルコフモデルである」

問題提起

Joint-Embedding Predictive Architectures (JEPA) は、生の観測値を再構成するのではなく、観測されたコンテキストからターゲットとなる表現を予測することによって学習を行う。Variational JEPA (VJEPA) はこれを拡張し、将来の潜在状態に対する条件付き分布を予測する。さらに、Predictive Information Bottleneck (PIB) の拡張は、情報保持を制御するために現在の表現を確率的に扱う。

これらの構造的な類似性にもかかわらず、完全な確率的時系列JEPAと古典的な隠れマルコフモデル（HMM）との間の正確な確率論的マッピングは、これまで不明確であった。具体的には、JEPAにおける確率的なコンテキストエンコーダが「放出モデル（emission model）」として機能しているのか、それとも「フィルタリング分布（filtering distribution）」として機能しているのか、また、学習された潜在ダイナミクスがHMMの厳密な整合性要件（例：チャップマン・コルモゴロフの整合性、フィルタリングの等価性）を満たすための条件は何か、という点が曖昧であった。

手法

本論文は、フル・タイムインデックス化されたPIB-VJEPAの構造を、HMMに類似した3つの役割に分解することで、状態空間としての解釈を提案する。

1. 状態推論（フィルタリング）: 確率的なコンテキストエンコーダ $q_\theta(Z_t | X_{\le t})$ は、観測履歴から現在の潜在状態に関する信念を推論する。
2. 状態遷移: 確率的予測器 $p_\phi(Z_{t+1} | Z_t, \xi_t)$ が、潜在状態を前方へと伝播させる。
3. 放出（エミッション）: デコーダ $p_\psi(X_{t+1} | Z_{t+1})$、可逆なターゲットエンコーダ、または誘導された暗黙的な条件付き分布が、状態から観測へのマッピングを提供する。

この対応関係を具体的かつ解析的に扱いやすくするため、著者はMarkov-Chain JEPA (MCJEPA) を導入する。この定式化では以下の通りとする：

• 潜在状態 $Z_t$ はカテゴリカル（離散的）である。
• 予測器は、学習された行確率的な遷移行列 $A$ に置き換えられる。
• 多段階予測は行列の累乗（$\hat{q}_{t+h} = q_t A^h$）を用いて計算され、これにより正確なチャップマン・コルモゴロフの整合性（すなわち、直接的な予測と合成された多ホライゾン予測が同一であること）が保証される。

本論文は、このフレームワークを以下へと一般化する：

• 条件付き遷移: $A$ がサイド情報 $\xi_t$ の関数である場合。
• 連続状態: 行列をマルコフ核（例：ガウス遷移）に置き換える場合。
• 連続時間: ジェネレータ行列や確率微分方程式を用いる場合。
• 決定論的極限: 標準的な決定論的JEPAが、遷移核がディラックのデルタ関数となる退化的なケースであることを示す。

著者は、JEPAとHMMの間の4つの段階的に強まる対応レベルを定義している：

1. 計算論的対応: エンコード・遷移・放出のパイプラインを共有している。
2. 放出完全な表現: 有効な状態から観測への条件付き分布を保持している。
3. シーケンスレベルのHMM等価性: マルコフ性、周辺一致性、およびフィルタリング一致性の条件を満たしている（定理1により定式化）。
4. モデルおよび目的関数の等価性: HMM型のシーケンス尤度を用いてモデルを訓練する。

さらに、本論文は、Predictive Information Bottleneckの学習を**マルコフ化（Markovization）**のプロセスとして解釈している。圧縮は「最小性（minimality）」（冗長な履歴の除去）を促進し、残差予測可能性は「十分性（sufficiency）」（遷移に関連する情報が破棄されていないこと）をテストする。

主な貢献

1. MCJEPAの構築: 共有された遷移行列を通じて正確な多ホライゾン・パスの一貫性を強制するMCJEPAを導入し、ニューラル予測器と古典的なマルコフ鎖の間の透明な架け橋を提供した。
2. 形式的なHMM等価条件の導出: 確率的な時系列JEPAが、正確なシーケンスレベルのHMM表現を認めるための十分条件（定理1）を導出し、エンコーダの役割（フィルタリング）と放出方向の区別を明確にした。
3. 診断フレームメントの開発: 学習された状態がマルコフ的に十分であるかをテストするための「残差予測可能性」診断法を開発した。もし古い履歴が現在の状態を超えて予測に寄与する場合、その表現は不十分である。
4. 目的関数の連続体: 同一のアーキテクチャ上で、純粋なJEPA、純粋なHMM、またはハイブリッドな訓練レジームを比較し、これらが連続的な関係にあることを示した。

実験結果

著者は、既知の正解となる潜在構造を持つ合成プロセスを用いて、4つの制御された実験を行った：

• 実験1（有限HMMの回復）: MCJEPAは、4状態のHMM遷移行列を高い精度（ARI $\approx$ 0.98）で、かつパスの不一致がほぼゼロ（$D_{path} = 0$）で回復することに成功した。これは共有行列の制約によるものである。対照的に、ホライゾン固有の予測器（各ステップに対して独立した行列を学習するもの）は、曖昧な領域ではわずかに高い柔軟性を示したが、一貫した組成的な遷移則を維持することには失敗した。
• 実験2（フィルタリング vs ローカル証拠）: オラクル・ポステリア（神託事後分布）を用いた研究により、放出の曖昧さが増大するにつれて、履歴依存のフィルタリング（$p(S_t | X_{\le t})$）がローカルな証拠（$p(S_t | X_t)$）を有意に上回ることが示された。これは、JEBAのコンテキストエンコーダがアモルファス（近似的）なフィルタとして機能するという解釈を裏付けている。
• 実験3（予測的圧縮）: 2次バイナリプロセスにおいて、モデルは3ビットの履歴を4状態の最小十分表現（$Z_t = (X_{t-1}, X_t)$）へと正常に圧縮し、予測力を失うことなく冗長な $X_{t-2}$ を除去した。さらに1ビットまで圧縮すると、予測情報の損失が発生し、それは残差履歴ゲイン（$\Delta_{hist}$）の急激な上昇として検出された。
• 実験4（目的関数の比較）: 同一のアーキテクチャ上で、JEPAのみ、HMMスタイル、およびハイブリッド訓練レジームを比較した：
  • JEPAのみは、意味のある潜在状態を学習したが、シーケンスNLL（負の対数尤度）と遷移誤差が高かった。
  • HMMスタイル（シーケンス尤度 + フィルタ蒸留）は、最も強力な状態回復（ARI $\approx$ 0.9945）と最低のシーケンスNLLを達成した。
  • ハイブリッド訓練（JEPA + HMM目的関数）は、元のJEPA潜在予測目的関数を保持しつつ、HMMスタイルの性能との差をほぼ埋めた（シーケンスNLLの差の98.6%を解消）。
  • 極めて重要な点として、HMMスタイル・レジームはJEPAの潜在予測損失（$L_{MC}$）なしで強力な結果を達成しており、これはアーキテクチャが訓練目的関数に対して柔軟であることを証明している。

意義と主張

本論文は、確率論的な時系列JEPAは単なるHMMの代替案ではなく、特定の構造的および訓練的条件下において、厳密にHMMとして解釈できると主張している。

• 構造的洞察: PIB-VJEPAにおける確率的なコンテキストエンコーダは、放出モデルではなく、フィルタリング分布（履歴から潜在状態を推論するもの）の役割を果たす。放出方向は、デコーダまたは逆エンコーダによって別途供給される。
• マルコフ化原理: Predictive Information Bottleneckの学習は、コンパクトで十分なマルコフ状態の構築としてフレーム化される。圧縮は最小性を促進し、残差診断は十分性を保証する。
• 目的関数への依存性: JEPAの「HMMらしさ」は、そのアーキテクチャのみによって決まるのではなく、その訓練目的関数によって決定される。アーキテクチャはHMMのセマンティクスをサポートしているが、標準的なJEPAの訓練は、シーケンス尤度ではなく潜在的な整合性を最適化する。完全な等価性には、明示的なシーケンスレベルの監督が必要である。
• 汎用性: この対応関係は、潜在状態（記憶によって拡張された可能性のある）が一次マルコフ性を満たす限り、MCJEPAを超えて一般的なニューラル予測器（連続的、再帰的、または高次なもの）にも拡張される。

本論文は、これらの結果が時系列JEPAに対する原理的な状態空間解釈を提供するものであり、計算上の役割、表現の完全性、および訓練目的関数によって強制される確率論的意味論を区別するものであると結論付けている。