WorldPack: Dynamic Frame Compression for Long-context Video World Modeling

技術概要：WorldPack：長期間のビデオ・ワールド・モデリングのための動的フレーム圧縮

問題提起
ビデオ・ワールド・モデルは、過去の観察とナビゲーション行動を条件として、高忠実度な将来の視覚的観察を生成するものですが、長期的な一貫性において決定的なボトルネックに直面しています。既存のアプローチは、長時間のロールアウトにおいて、時間的および空間的なコヒーレンス（整合性）の両方を維持することに苦慮しています。現在の手法は大きく分けて2つのカテゴリに分類されますが、それぞれに限界があります。

1. 汎用的圧縮（Generic Compression）: FramePackのような手法は、時間的な近接性や特徴量の類似性に基づいて過去のフレームを圧縮します。しかし、これらのスケジューリングは3Dの視点幾何学を明示的に活用しておらず、遠い過去からの空間的に重要な情報を破棄してしまう可能性があります。
2. 空間的リトリーバル（Spatial Retrieval）: WorldMemやContext-as-Memoryのような手法は、3Dの共視性（co-visibility）や視野（FoV）の重なりに基づいてフレームを選択します。これらは空間的には意識されていますが、固定されたコンテキスト・ウィンドウ内で動作しており、関連性の低いフレームを完全に置き換えてしまうため、それらを低解像度で保持するという選択肢がありません。これは、空間的に関連のある遠方のフレームを含めるためには、他の潜在的に有用な観察結果を破棄しなければならないというトレードオフを生じさせます。

その結果、モデルは必要な遠方の履歴にアクセスできなくなるか、あるいは限定されたコンテキストに頼らざるを得ないことで、誤差の蓄積やドリフト（漂流）に苦しむことになります。

手法：WorldPack
著者らは、フレーム選択と圧縮を単一のメカニズムである**「空間認識型圧縮メモリ（spatially-aware compressed memory）」へと統合したビデオ・ワールド・モデルであるWorldPack**を提案します。核心となる洞察は、圧縮率は一様であるべきでも、時間的に決定されるべきでもなく、現在の視点に対する3D空間的な関連性に基づいて動的に割り当てられるべきであるということです。

WorldPackは、以下の2つの密接に結合したメカニズムを通じてこれを実現します。

1. 幾何学的選択（Geometric Selection）:

   • 時間的な新しさ（recency）に依存する代わりに、モデルは現在のビューとの3D空間的な重なりに基づいて、履歴フレームのスコアを算出します。
   • カメラポーズ情報（$p$）を使用し、システムは履歴フレーム $i$ とターゲットフレーム $t$ の間の視野（FoV）の重なりを計算します。重なりスコア $o_i$ は、ビューイング・フラスタム内でのモンテカルロ・サンプリングを介して推定されます。
   • 最終的なスコア $s_i$ は、この重なりスコアに、タイブレーク（同順位の判定）のための緩やかな時間的ペナルティを組み合わせて算出されます。これにより、空間的な重なりが同程度である場合には、より新しいフレームが優先されるようになります。
   • フレームはこのスコアによってソートされます。上位 $S$ 個のフレーム（最も空間的に関連性が高いもの）は「非圧縮スロット」に割り当てられ、残りのフレームはランクに基づいた離散的な圧縮グループに割り当てられます。

2. 軌跡パッキング（Trajectory Packing）:

   • 履歴フレームは、割り当てられた優先度に応じて、さまざまな解像度でエンコードされます。
   • 高優先度のフレーム（空間的関連性が高いもの）はフル解像度（$L_f$）で保持されます。低優先度のフレームは、$\lambda^{d_i}$（ここで $\lambda=2$、 $d_i$ は優先度インデックス）の係数で圧縮されます。
   • これにより、モデルは（例えば22フレームといった）非常に多くの履歴フレームを、固定長のコンテキスト予算（4つの非圧縮フレームに相当）の中に、履歴情報を一切破棄することなく詰め込むことが可能になります。

アーキテクチャ
WorldPackは、**回転位置エンコーディング（RoPE）を備えた条件付き拡散トランスフォーマー（CDiT）**のバックボーン上に構築されています。

• CDiT: 自己注意（self-attention）をターゲットフレームのトークンのみに制限し、過去のフレームに対してはクロスアテンションを使用することで、コンテキスト長 $m$ に対する計算複雑度を二次的（$O(m^2)$）から線形的（$O(m)$）に低減します。
• RoPE: コンテキスト内のメモリフレームの距離が可変であっても、一貫した時間的表現を保証します。
• 実装: システムは、独立した入力投影層を持つ離散的な圧縮率のセット（$2^0, 2^2, 2^4$）を使用します。実験では、コンテキストには2つの非圧縮フレーム、4つの $2^2$ 圧縮フレーム、および16の $2^4$ 圧縮フレームが含まれ、合計22フレームが4フレーム分のトークン予算内に収められています。

主な貢献

1. 統合されたメカニズム: WorldPackは、動的な圧縮と空間的リトリーバルの間の溝を埋め、両者を「3D空間的関連性に基づいてトークン予算を割り当てる」という単一の問題として扱います。
2. 拡張された実効コンテキスト: この手法は、適度な計算オーバーヘッドで、実効コンテキストを4から22フレームへと拡張し、モデルが大幅に長いホライゾン（期間）にわたって推論することを可能にします。
3. 空間適応型圧縮: 空間的に重要なフレームの高忠実度を維持しつつ、関連性の低いフレームを積極的に圧縮することが、一様な圧縮や固定ウィンドウのリトリーバルよりも優れていることを示しています。

実験結果
著者らは、LoopNav（長期的な空間的一貫性のためのMinecraftベンチマーク）およびRECONデータセット（実世界のナビゲーション）を用いてWorldPackを評価しました。

• LoopNavの性能: WorldPackは、**空間メモリ・リトリーバル（ABA）および空間推論（ABCA）**の両タスクにおいて、強力なベースライン（Oasis, Mineworld, DIAMOND, NWM）を上回りました。
  • SSIM、LPIPS、PSNR、DreamSim、FVDの各指標において優れた性能を達成しました。
  • 特に、遠方の観察結果を想起する能力が重要となるABCAタスク（長い帰還経路）において、顕著な向上が見られました。
• アブレーション研究:
  • WorldPackを「最近傍フレーム・パッキング（幾何学的選択を行わない圧縮）」と比較することで、幾何学的選択の恩恵を特定しました。これにより、3D認識型の重要度スコアリングが、時間的な近接性よりも優れていることが示されました。
  • WorldPackを「メモリ・リトリーバル（圧縮を行わない選択）」と比較することで、軌跡パッキングの恩恵を特定しました。これにより、圧縮を通じてより多くのフレームを保持することが、固定コンテキスト・ウィンドウよりも優れていることが示されました。
• 実世界データ: RECONデータセットにおいて、WorldPackは強力な生成性能を示し、シミュレーション環境以外での有用性を確認しました。
• 効率性: この手法は、可視的な履歴フレームを5.5倍に増加させるために、拡散モデルの推論時間を約16%、メモリ使用量を12%増加させます。幾何学的選択のコストは、候補数に対して線形にスケールします（例：H100上で1,600個の候補に対して0.26秒）。

意義と主張
本論文は、WorldPackがビデオ・ワールド・モデリングにおけるコンテキスト長と計算コストの間の根本的なトレードオフに対処していると主張しています。著者らは、単にコンテキスト長を拡張することよりも、空間的なガイダンスを用いてより広範な履歴をインテリジェントに圧縮することの方が効果的であると述べています。主要な貢献は、単なる空間的スコアリングそのものではなく、そのスコアリングを使用して、より多くのフレームにわたる圧縮率を制御することにあります。このアプローチにより、モデルは空間的に重要な遠方の観察結果への高忠実度なアクセスを維持しながら、一貫した長期シミュレーションに必要な広範なコンテキストを保持することができます。著者らは、この手法がカメラポーズに依存していること（これは実世界の環境ではノイズが含まれる可能性がある）を認めていますが、これは堅牢で長期的なビデオ・ワールド・モデリングに向けた重要な一歩であるとしています。