技術的概要：DiLA：解離潜在行動世界モデル

1. 問題定義

潜在行動モデル（LAMs）は、連続するフレーム間の抽象的な行動を推論することでラベルなしの動画から世界モデルを学習し、明示的な制御信号の代理として機能することを目指しています。しかし、既存の LAMs は、行動の抽象化と生成忠実度の間に、**「LAM トレードオフ」**と呼ばれる根本的なトレードオフに直面しています。

• ジレンマ: 行動の転移性と抽象性を保証するため、モデルは通常、強い予測ボトルネック（例：ベクトル量子化や変分ボトルネック）を課します。これらは抽象化を促進しますが、潜在行動空間の内在的多様性を乱し、過度の単純化や動画生成品質の低下を招く傾向があります。逆に、これらのボトルネックを緩和すると生成は改善されますが、潜在行動が純粋なダイナミクスではなく、無関係な視覚的詳細を捉える、絡み合った表現となってしまいます。
• 現在の限界: 既存の大半のアプローチは、生成品質を犠牲にして抽象化を優先しており、前方ダイナミクスモデル（FDM）を破棄し、個別に事前学習された拡散モデルを採用する、分離された 2 段階の学習パラダイムを採用することが多いです。その他、運動（例：オプティカルフロー）と内容を明示的に分離する手法もありますが、単一の自己教師ありフレームワーク内でこれらのプロセスを共同最適化できていません。

2. 手法：DiLA

著者らは、コンテンツ - 構造の解離を通じて LAM トレードオフを解決する新しい世界モデル、DiLA（Disentangled Latent Action）を提案します。核心的な洞察は、解離と潜在行動学習が共進化しているという点です。潜在行動学習に内在する予測ボトルネックが、解離を駆動する原動力として機能します。

アーキテクチャ

DiLA は、特徴抽出に DINOv2 エンコーダーを、可視化に事前学習された RAE デコーダーを利用し、2 つの専門化された経路を通じて動画シーケンスを処理します。

1. 構造経路（ダイナミクス）:

   • 目的: 視覚的内容に依存しない潜在行動を学習するために、運動に関連する空間配置（位置、形状）を分離します。
   • メカニズム: 構造エンコーダーがトークンを構造埋め込み（$s_t$）に圧縮します。逆ダイナミクスモデル（IDM）が、これらの埋め込みの時間的差分（$\Delta s_t$）から抽象的な潜在行動（$z_t$）を計算します。
   • 制約: 厳密な情報ボトルネックが、IDM に構造的ダイナミクスのみを予測させるように強制します。前方ダイナミクスモデル（FDM）は、軽量な空間 - 時間トランスフォーマーとして実装され、現在の状態と潜在行動に基づいて次の構造状態（$\hat{s}_{t+1}$）を予測します。
   • 駆動力: ボトルネックは、モデルに運動ダイナミクスを$z_t$に蒸留させると同時に、静的な視覚的詳細をコンテンツ経路へ負荷させるように強制します。なぜなら、高エントロピーのコンテンツ詳細は、予測精度を損なわずに低次元の潜在行動へ効果的に圧縮できないからです。

2. コンテンツ経路（外観）:

   • 目的: 時間的不変な視覚的特徴（色、テクスチャ、ランドマーク）を抽出し、記憶します。
   • メカニズム: コンテンツエンコーダーがトークンを埋め込み（$c_t$）に圧縮し、Mambaアーキテクチャによって処理されて歴史的コンテキストを集約します。これは、現れるにつれて静的特徴を蓄積する「スローフィーチャー分析」を模倣します。
   • 役割: 高忠実度な生成のための視覚的詳細を維持し、遮蔽された背景に関する信念更新を処理することで、構造経路が物理的ダイナミクスに専念できるようにします。

3. 融合デコーダー:

   • 予測された構造状態（$\hat{s}_{t+1}$）、コンテンツメモリ（$c^{mem}_t$）、および初期視覚埋め込み（$e_0$）を組み合わせ、ターゲット視覚埋め込み（$\hat{e}_{t+1}$）を再構成します。
   • $e_0$への条件付けは、圧縮中に失われた高周波詳細を供給する上で不可欠です。

学習目的

DiLA は、真の行動ラベルなしの動画シーケンスに対して、自己教師ありの教師強制パラダイムを用いて学習されます。総損失（$L_{total}$）は、以下の重み付き組み合わせです：

• 視覚潜在予測（$L_e$）: ターゲット埋め込みの再構成。
• 構造予測（$L_s$）: 次の構造状態の予測誤差の最小化。
• 潜在行動一貫性（$L_z$）: 前方と後方から推論された行動間の整合性の確保。
• 正則化（$L_{reg}$）: 群対称性（逆時間遷移は逆の行動ベクトルを生む）の強制、コンパクトな多様性を維持するためのベクトルノルムの制約、情報エントロピーを最大化するための分散の正則化。

3. 主要な貢献

1. 統合フレームワーク: DiLA は、コンテンツ - 構造の解離を通じて潜在行動の抽象化と生成忠実度の間のトレードオフを調和させる、初の解離潜在行動世界モデルです。
2. 共進化メカニズム: 本論文は、予測ボトルネックが外観から空間配置を分離する駆動力として機能し、逆にこの分離が高度に抽象的な潜在行動の学習を促進することを示しています。
3. 性能: 広範な実験により、DiLA が最先端のベースラインと比較して、動画生成品質、異種実体間での行動転移、および視覚的計画において優れた結果を達成することが示されました。
4. 解釈可能性: このモデルは、下流の視覚的計画を支援し、運動ダイナミクスを静的な外観から効果的に分離する、構造化された解釈可能な潜在行動空間を学習します。

4. 実験結果

実験は、Something-Something-v2 (SSv2)、RT-1（ロボティクス）、RECON（屋外ナビゲーション）、LoopNav（Minecraft）を含む大規模データセットで行われました。

• 動画生成品質: SSv2 と RT-1 において、DiLA は SSIM（構造的整合性）と LPIPS（知覚的類似性）の両方で、主要なベースライン（LAPA, Moto, AdaWorld, Villa-X）を上回りました。特に、コンテンツ経路を除去した場合（"DiLA w/o content"）、生成品質が著しく低下し、二経路アーキテクチャの必要性が実証されました。
• 行動転移: DiLA は、異なる実体間（例：人間からロボットへ）およびドメイン間（仮想から現実へのナビゲーション）で潜在行動の転移に成功しました。視点の変化を超えて「物を掴む」ような複雑な意味行動を転移しながら、高い生成品質を維持しました。
• 解離の検証:
  • 再結合実験: 1 つの動画の構造と別の動画のコンテンツを融合させることで、DiLA はソースの空間的ダイナミクスを保持しつつ、参照元の外観を継承するシーケンスを生成しました。
  • 運動の分離: 構造埋め込みを固定してコンテンツメモリを進化させると、完全に静止したシーケンスが生成され、コンテンツ経路が運動情報を一切含まないことが確認されました。
• アブレーション研究:
  • IDM/FDM 成分を除去すると、モデルは解離に失敗し、構造埋め込みが冗長なコンテンツ詳細を保持することになりました。
  • 連続的なボトルネックを離散的（VQ）またはガウス（VAE）の事前分布に置き換えると、生成品質の低下と収束の遅延を招き、硬直した事前分布が潜在行動の内在的低次元多様性を乱すことが示唆されました。
• 視覚的計画: VP2 ベンチマークにおいて、モデル予測制御（MPC）用に適応させた DiLA は、ベースラインの AdaWorld を上回り、「ボタンを押す」タスクなどで特に優れており、ロボット制御における有用性を示しました。

5. 意義と主張

本論文は、DiLA が高レベルの行動抽象化と高忠実度な生成を同時に達成する統合フレームワークを確立し、自己教師あり世界モデル学習の最前線を前進させると主張しています。

• トレードオフの解決: 著者らは、構造とコンテンツを解離することが、抽象化と生成の間の緊張関係を解決する鍵であると論じています。予測ボトルネックは単なる制約ではなく、モデルに純粋な遷移ダイナミクスを学習させる駆動メカニズムです。
• 頑健性: 学習された潜在行動空間は、明示的な教師信号を必要とせずに異なる実体や環境間での転移を支援する、連続的で意味的に構造化された多様体を形成します。
• 限界: 著者らは控えめに、潜在行動の内在的な抽象化が微細な制御精度を犠牲にする可能性があり、それが動画から制御への下流タスクにおける不安定性につながるかもしれないと認めています。また、現在の解離は空間配置と視覚的詳細を分離していますが、多物体ダイナミクスのカップリング解除をまだ完全にサポートしていないことも指摘しています。さらに、このアプローチは長視野の動画生成における自己回帰的な累積誤差の影響を受けやすいままです。

要約すると、DiLA は、予測ボトルネックを活用してコンテンツ - 構造の解離を駆動することで、計画や転移に十分な抽象性を持ちつつ、高忠実度な生成に十分な詳細さを持つ世界モデルを学習することが可能であると提唱しています。