技術的サマリー：デコードではなくレンダリング：潜在構造の解離を伴う重み空間ワールドモデル

問題定義

ワールドモデルおよび動画生成の訓練における支配的なパラダイムは、生ピクセルを不透明で抽象的な潜在空間にエンコードし、フレームを再構成するために重く学習されたデコーダに依存するものである。このアプローチには、以下の 3 つの重大な限界が存在する：

1. 計算および解釈性のボトルネック：デコーダはパラメータ数の不釣り合いな割合（一部のトークナイザーでは最大 87%）を消費し、解釈不可能なパラメータを導入するため、安全性が重要な応用を阻害する。
2. 解像度の硬直性：潜在空間が特定のデコーダアーキテクチャに縛られているため、出力解像度を変更するには、高価な再学習または事後のアップサンプリングが必要となる。
3. 構造的解離の欠如：抽象的な潜在変数には、意味的または幾何学的な解釈が存在しない。背景、前景、運動を分離するには、通常、補助的な損失関数、敵対的目的関数、または複雑なアーキテクチャ分解が必要であり、これらは構造的な保証なしに学習の複雑さを増大させる。

さらに、重み空間学習（WSL）—ニューラルネットワークの重みをデータポイントとして扱う手法—は時系列モデリングにおいて有望な結果を示しているが、数値的爆発を防ぐために過激なクリッピングを必要とする急性の安定性問題のため、動画モダリティでは未検証のままとなっている。

手法：NOVA フレームワーク

著者は、暗黙的ニューラル表現（INR）の重み空間内で完全に動作するワールドモデルであるNOVA（Visual Abstraction のための Neural Ontology）を導入する。抽象的なベクトルをピクセルにデコードする代わりに、NOVA はシステム状態を座標ベースの MLP の重みとバイアスとして表現する。

コアアーキテクチャ

NOVA は、オブジェクト中心の動画構造を反映する 3 段階のセマンティック・オントロジーを用いて、重み空間内でダイナミクスを進化させる：

1. ベース重み（$\bar{z}$）：データセット全体で共有される単一のパラメータセットであり、静的要素（例：背景）を符号化するように学習される。これはデータセットレベルの事前分布として機能し、予測を残差として枠組みづけることで学習を安定化させる。
2. フレームオフセット（$z_t$）：現在のフレームに存在するがグローバルに共有されていない動的な前景コンテンツ（オブジェクトの同一性）を符号化する、フレームごとの重みオフセット。
3. 潜在アクション（$u_t$）：フレーム間の運動遷移を指示する信号。

アーキテクチャは以下の構成要素からなる：

• エンコーダ：フレーム $o_t$ を重み空間オフセット $z_t$ にマッピングするストライド付き畳み込みバックボーン。
• 逆ダイナミクスモデル（IDM）：連続するエンコード状態 $(z_t, z_{t+1})$ から潜在アクション $u_t$ を推論する。
• 順ダイナミクスモデル（FDM）：加法的な定式化を用いて次の状態を予測する：$z_{t+1} = A(z_t) + B(u_t)$。
  • $A$ は現在の状態（コンテンツ/同一性）を処理する。
  • $B$ はアクション（運動/ダイナミクス）を処理する。
  • この分離こそが、補助的な損失関数なしに解離を可能にするメカニズムである。
• レンダラ：結合された重み $\theta_t = \text{unflat}(\bar{z} + z_t)$ を用いて、空間座標 $(x, y)$ をピクセル値にマッピングする、解析的かつ固定された MLP。重要なのは、このレンダラは学習されない点であり、数学的関数であることである。

学習手順

学習は 3 つのフェーズで進行する：

1. 事前学習：エンコーダとベース潜在変数 $\bar{z}$ を、フレームごとの再構成損失（MSE + SSIM）を最小化するように学習する。
2. ダイナミクス学習：エンコーダと $\bar{z}$ を固定した状態で、FDM と IDM を、潜在遷移目的関数 $\|z_{t+1} - A(z_t) - B(u_t)\|^2$ を最小化するように学習する。
3. 生成制御：生成制御モデル（GCM）（通常は LSTM、GRU、またはトランスフォーマーなどの因果的シーケンスモデル）を、$z_t$ と過去のアクションから $u_t$ を自己回帰的に予測するように学習し、真のアクションなしに自律的な動画生成を可能にする。

主要な技術的革新

• 解析的レンダリング：INR を使用することで、モデルはゼロショット超解像を達成する。レンダラはテスト時に任意の座標グリッド密度をクエリできる。高解像度でのエイリアシングを防ぐため、著者は学習後のナイキスト・シャノンの周波数マスキング手順を実装しており、学習グリッドのナイキスト限界を超えるフーリエ基底周波数をゼロにする。
• 加法的解離：$A(z_t)$ と $B(u_t)$ の分離により、「ゼロショットのコンテンツ（または運動）のリターゲティング」が可能となる。ユーザーは任意のシーケンスからコンテンツ状態 $z_t$ またはアクション $u_t$ を差し替えることで、再学習なしに生成プロセスを編集できる。

結果

このフレームワークは、3 つのデータセットで検証された：Moving MNIST（決定論的剛体）、PhyWorld（OOD 一般化を伴う剛体衝突）、およびWeatherBench（全球大気ダイナミクス）。すべての実験は、約4000 万パラメータで、単一のコンシューマー GPU（RTX 4080）上で実施された。

• 長期的安定性：NOVA は 1,000 ステップのロールアウトにおいて構造的完全性とオブジェクトの同一性を維持するのに対し、LAPO（ピクセル空間）などのベースラインは暗い図形に崩壊し、標準的な潜在空間モデルはぼやけた平均値に劣化する。
• 解離と編集：
  • コンテンツ編集：$z_t$ をゼロに向けて補間すると、元の運動軌跡を維持したまま、数字の同一性が変形する（例：5 から 8 へ）。
  • 運動編集：$u_t$ をゼロに向けて補間すると、オブジェクトは減速し中心に収束するが、視覚的同一性は維持される。
  • リターゲティング：あるシーケンスからのアクションを別のシーケンスに差し替えると、形状や色を変更することなく、オブジェクトが新しい物理的に整合的（あるいは意図的に非物理的）な軌道を採用する。
• 超解像：WeatherBench において、NOVA は高周波テクスチャを幻想化したり、標準的な INR に共通するエイリアシングアーティファクトに悩まされたりすることなく、ゼロショット超解像（最大$\times32$）を達成する。これは周波数マスキング戦略によるものである。
• 物理的整合性：PhyWorld において、NOVA は分布内設定で物理法則（運動量、運動エネルギー）を維持し、ボールの半径や速度に関する OOD 一般化において堅牢性を示す。

意義と主張

本論文は、NOVA が、生ピクセルではなく構造化された重み空間表現から完全に構築されたワールドモデルを実証していると主張する。

• 解釈性：システム状態を背景（$\bar{z}$）、コンテンツ（$z_t$）、運動（$u_t$）に分離することで、モデルは不透明な潜在空間に代わる透明で解釈可能な代替手段を提供する。これは、安全性が重要なシナリオにおける監査や安全な介入を容易にする。
• 効率性とポータビリティ：デコーダのボトルネックを排除し、コンパクトな重みベクトルを使用することで、モデルは非常にポータブルとなり、コンシューマーハードウェア上で実行可能となる。
• 解像度独立性：解析的レンダリング機能により、任意の解像度でのクエリが可能となり、ピクセルの粒度が意思決定に影響を与える極端な気象予報などの分野において重要な機能となる。
• 汎用性：著者は、解離メカニズム（重み空間における加法的分解）が標準的な潜在アクションモデルにも適用可能であると仮説を立てており、制御可能な動画生成や没入型仮想体験のための新たなパラダイムを提供する可能性がある。

著者は、潜在的な限界として、潜在アクションにおける偽の相関（例：明るさや垂直位置を同一性の一部として符号化する）や、明示的な微分方程式の制約なしに複雑な物理における OOD 一般化の課題を認めている。また、NOVA は強力な制御性を達成する一方で、現在、教師ありの空間時間モデルと比較して、生ピクセルレベルの再構成忠実度とのトレードオフが存在することを強調している。