Multi-Horizon Consistency as Geometry: When Latent Dynamics Contract, and When They Do Not

技術要約：幾何学としてのマルチホライゾン・コンシステンシー

問題提起
世界モデルや結合埋め込み予測器（joint-embedding predictors）は、訓練ホライゾンを超えてロールアウトする際に、誤差の累積（error compounding）に悩まされることが多い。実務家は、複数のステップにわたって予測された潜在状態とティーチャー・フォースされた潜在状態との一致を強制するために、パラメータ $\lambda$ で重み付けされた「マルチホライゾン・コンシステンシー（多重ホライゾン一貫性）」損失項を頻繁に利用する。しかし、$\lambda$ の調整が学習された遷移ダイナミクスに与える具体的な幾何学的影響については、十分に理解されていない。具体的には、$\lambda$ を増やすことが潜在遷移写像の収縮（システムを非拡大にする）を誘発するのか、また、そのような収縮が異なるドメイン（受動的なビデオからアクション条件付きの制御まで）間で一般化されるのかどうかは不明である。

手法
著者らは、固定されたGRUベースの残差遷移アーキテクチャを用いた診断研究を行い、新しいアーキテクチャの提案や最先端エージェントとのベンチマーク比較を行うことなく、コンシステンシーの重み $\lambda$ の効果を単離して調査している。

• 指標: 主要な診断指標は、$L_{20,q95}$ と呼ばれる経験的な拡大プロキシ（expansion proxy）である。これは、ランダムな潜在ペアに対して、ステップ数 $k=20$ における比率 $\frac{\|f^{(k)}(z_i) - f^{(k)}(z_j)\|}{\|z_i - z_j\|}$ の95パーセンタイルとして定義される。値 $L < 1$ は、95%のサンプルペアに対して遷移が非拡大であることを示す。これは、ホライゾン20の予測誤差（$E_{20}$）によって補完される。
• ドメイン:
  • 受動的ビデオ (Passive Video): Moving-MNIST (MMNIST) および KTH Actions。
  • アクション条件付き制御 (Action-Conditioned Control): Pendulum-v1 および CartPole-v1 (Gymnasium)。これらはオフライン軌跡を用いて訓練されている。
• 実験設計:
  • $\lambda$ スイープ: $\lambda$ を 0 から 1.2 まで変化させる。
  • 確率的強制 (Stochastic Forcing): 受動的および能動的レジームを統一するため、訓練中の受動的遷移に制御可能なノイズ $\eta$ を注入する（$z \leftarrow f(z) + \eta \sigma_* \epsilon / \sqrt{d}$）。この際、$\lambda=0.8$ に固定する。
  • 媒介分析 (Mediation Analysis): $\lambda$、 $L_{20}$、および $E_{20}$ の間の連合的な関係を評価するために、バロン・ケニーのパス分析（Baron–Kenny path analysis）を行う。
  • 防御的チェック: アーキテクチャのベースライン（スペクトル正規化、反対称RNN）、外生的ストレス・テスト、WorldTest形式のスコアリング、および潜在的モデル予測制御（Latent MPC）の評価を含む。

主要な結果

1. 受動的ビデオの閾値 (Moving-MNIST):

   • $\lambda$ を 0 から 0.8 に増加させると、$L_{20}$（$4.96 \pm 2.01$ から $1.01 \pm 0.06$ へ）と $E_{20}$（$0.365$から$0.177$ へ）の両方に、統計的に有意な急激な低下が見られる。
   • $\lambda=0.8$ において、6つのシードのうち4つが $L_{20} < 1$ を達成し、非拡大の境界を越えた。これは、ソフトなコンシステンシーが受動的ビデオのダイナミクスを収縮帯へと押し出す、レジームの変化を示唆している。

2. 制御および自然ビデオへの負の転移 (Negative Transfer):

   • アクション条件付きドメイン: Pendulum-v1 および CartPole-v1 では、$\lambda$ を増やすことで誤差（$E_{20}$）は縮小し、拡大プロキシも減少するが、どのシードも集団レベルで $L < 1$ を達成しなかった。$L_{20}$ は依然として拡大状態にある（例：Pendulumでは $\approx 1.74$、CartPoleでは $\lambda=0.8$ のとき $\approx 3.17$）。
   • 自然ビデオ: KTH Actions では、$L_{20}$ は減少するものの、すべてのシードにおいて拡大状態（$>1$）を維持した。
   • MPCの性能: 「収縮がプランニングを助ける」という仮説に反し、Pendulumにおける潜在的MPCは、$\lambda=0$（コンシステンシー損失なし）の時に最高の報酬を得て、$\lambda$ が増加するにつれて低下した。MMNISTの収縮閾値におけるプランニングの「スイートスポット」は存在しない。

3. 確率的強制則 (Stochastic Forcing Law):

   • 著者らは、統一的な法則 $\hat{L}_{20} \approx 1.23 + 1.82\eta$ （$\lambda=0.8$ 時）を提案している。
   • 有効なノイズレベル（$\eta_{eff}$）を較正することで、制御ドメイン（Pendulum, CartPole）と受動的ビデオを同一の線形曲線上に配置できる。受動的ビデオは低い $\eta_{eff}$ に対応し、制御ドメインは高い $\eta_{eff}$ に対応しており、これが同じ $\lambda$ の下で制御ドメインが $L < 1$ を達成できない理由を説明している。

4. 媒介と感度:

   • 結合的な媒介分析の結果、パス比 $\hat{r}=0.94$（95% CI [0.88, 1.00]）が得られた。これは、$\lambda$ が幾何学（$L_{20}$）と強く関連しており、それがさらに MMNIST における誤差（$E_{20}$）と関連していることを示唆している。著者らは、$\lambda$ はランダム化されていないため、これはあくまで連合的な関係であり因果的なものではないと明記している。
   • $\lambda \in \{0.4, 1.2\}$ におけるジョイント・スライスにより、ノイズ $\eta$ と $L_{20}$ の間の線形関係が確認され、強制則が $\lambda$ 全体にわたって頑健であることが示された。

意義と主張
本論文は、自身を新しい世界モデルの提案や普遍的な収縮定理の提示ではなく、厳密にはメカニスティックな診断研究として位置づけている。

• ドメイン限定的な幾何学: 主要な主張は、ソフトなマルチホライゾン・コンシステンシーが、ドメイン限定的な幾何学的診断として機能することである。それは受動的ビデオ（Moving-MNIST）をほぼ収縮的なレジーム（$L \approx 1$）へと押し込むことには成功したが、アクション条件付きの制御や自然ビデオにおいて集団レベルの収縮を生じさせることはなかった。
• 幾何学とプランニングの有用性の分離: 本研究は、受動的ビデオにおいて $L < 1$ を達成することが、制御ドメインにおけるプランニングの有用性を向上させるために必要条件でも十分条件でもないことを示している。MMNISTで見られた幾何学的収縮は、Pendulumのプランニングの有用性には転移しない。
• ノイズによる統一: 「確率的強制則」は、受動的／能動的な分離を、孤立した失敗としてではなく、有効なノイズレベルによって駆動される単一のスケーリング則上の異なる配置として再定義している。
• 実用的なガイダンス: 実務家に対し、$\lambda$ を「幾何学のダイヤル」として扱うよう助言している。受動的ビデオにおいては 1 付近に測定可能な閾値があるが、特定の制御ドメインについては、MMNISTのハイパーパラメータを直接輸出するのではなく、個別に $L_{20}$ とプランニング性能を再測定すべきである。

限界
著者らは、本研究が固定されたGRUアーキテクチャを使用しており、重要な比較におけるサンプルサイズが限定的であること、および媒介分析が連合的なものであることを認めている。結果はグローバルなリプシッツ定数を保証するものではなく、また DreamerV3 や TD-MPC2 といった既存の SOTA エージェントを凌駕することを主張するものでもない。これらの知見は、テストされたドメインおよび特定のコンシステンシー損失の定式化に特有のものである。