技術要約：MoVerse：パノラマ・ガウス・スキャフォールドによるリアルタイム・ビデオ・ワールド・モデリング

問題提起

本論文は、単一の狭視野（NFOV）画像から、ナビゲーション可能でインタラクティブな3D世界を生成するという課題に取り組んでいる。このタスクは、入力が環境のわずかな視錐台しか捉えていない一方で、インタラクティブなアプリケーション（例：VRプロトタイピング、デジタルツイン、エンボディド・エージェント・シミュレーション）には完全で空間的に持続的な世界と、制御可能なカメラモーションおよび時間的に一貫した高忠実度の観測が求められるため、根本的に制約が強い（under-constrained）ものである。

既存のアプローチは、以下の要件を同時に満たすことに苦慮している：

• 明示的な3D手法（点群、メッシュ、3D Gaussian）は、耐久性のある空間メモリと正確なカメラ制御を提供するが、単一のNFOV画像から直接リフトアップする場合、証拠が乏しいため、穴やフローター（浮遊物）が生じたり、知覚的な品質が制限されたりすることが多い。
• 暗黙的なビデオ／ワールドモデルは、視覚的に強力なビデオを生成するが、長期的な幾何学的安定性に欠け、長い軌道においてドリフト、アイデンティティの変化、または境界の不連続性を引き起こすことが多い。
• ハイブリッド・システムは両者を組み合わせようと試みるが、幾何学的アンカーの強さと、生成レンダラーの展開可能性（deployability）との間に緊張関係が生じる。その結果、ガイドが疎であったり、リアルタイムのインタラクションに適さない計算コストの高い双方向モデルになったりすることが多い。

手法

MoVerseは、ワールド構築（オフライン）と観測レンダリング（オンライン）を分離する3段階のシステムを提案している。この因数分解により、システムは明示的な3D表現の制御可能性を活用しながら、生成ビデオモデルの知覚的品質を利用することが可能になる。

ステージI：幾何学を考慮したパノラマ生成

単一のNFOV画像が与えられると、システムはまず、視界を完全な、重力に整合した360°正距円筒図法（ERP）パノラマへと拡張する。このステップは、3Dへのリフトアップが行われる前に、欠落している視野を補完するものである。

• 標準化（Canonicalization）： 入力は、微分可能なオートレベリングを用いて、重力に整合した標準的なビューイングスペースへと安定化される。このモジュールは、密な2D対応関係を予測し、ピッチとロールを除去するための剛体球面変換を解くことで、地平線が水平であり、垂直構造が直立していることを保証する。
• トポロジーを考慮した補完： マスク付き潜在拡散モデルが、欠落している視野を補完する。ERPパノラマの水平方向の $S^1$ 周期性を尊重するため、システムは円環型潜在エンコーディング（方位角軸に対して畳み込みパディングをラップする）と、シフト等変生成（水平方向の円環シフト下での一貫性を強制する）を採用している。
• 学習： モデルは、潜在拡散損失、シフト一貫性損失、および幾何学的フロー損失を組み合わせて、精選された標準化パノラマのデータセットであるHorizon360を用いて学習される。

ステージII：パノラマ・ガウス・スキャフォールド（足場）の構築

完成したパノラマは、持続的で直接レンダリング可能な3D Gaussian（3DGS）スキャフォールドへとリフトアップされる。

• 初期化： ガウス関数は、予測されたパノラマ深度マップからの球面逆投影を介して初期化される。極めて重要な点として、この初期化はERPを考慮したものであり、ERPピクセルの非一様な面積を考慮して、ガウスのサイズを $\cos \phi$ （緯度）に比例してスケーリングする。
• 残差予測： フィードフォワードネットワークが、ガウスの属性（中心、スケール、回転、色、不透明度）に対する残差補正を角度ー逆深度空間で予測する。これにより、更新がERPの幾何学と整合し、水平方向の閉鎖性が維持されることが保証される。
• 出力： 結果として得られる高密度な3DGSアセット ($G$) は、再利用可能な空間メモリとして機能し、カメラ制御可能なRGB条件付けフレーム（$\hat{V}_{1:T}$）を提供する。これらは幾何学的には安定しているが、レンダリングのアーティファクト（例：フローター、穴）を含む可能性がある。

ステージIII：ガウス条件付きストリーミング・ビデオ・レンダリング

このステージは、不完全なスキャフォールドのレンダリングを、高忠実度で時間的一貫性のあるビデオへとリアルタイムで変換する。

• 教師・生徒蒸留（Teacher-Student Distillation）： 高品質なクリップ全体へのアテンションを行うために、Wan2.1-T2Vから初期化された双方向拡散教師モデルを用いて、密なガウス条件付きビデオレンダリングを行うよう訓練される。この教師モデルは、セルフフォーシングと分布マッチング（RAVEN）を用いて、因果的自己回帰生徒モデルへと蒸留される。
• 因果的ストリーミング： 生徒モデルは、現在のスキャフォールド・レンダリングに条件付けられ、最近の履歴にローカルなKey-Value (KV) キャッシュを介してアテンションを払うことで、ビデオブロックを自己回帰的に生成する。この設計により、限定されたレイテンシでのストリーミングが可能となる。
• メモリ管理： 長いロールアウトにおける時間的位置を管理するために、MemRoPE（シンクおよび長期EMAメモリトークンを備えたスライディングウィンドウ）を使用する。明示的なスキャフォールドが長距離の空間メモリを担い、ビデオモデルは局所的なアーティファクトの修復と知覚的な強化に集中する。

主な貢献

1. 三段階の因数分解： ワールド構築（パノラマ生成 ＋ 3Dリフトアップ）と観測レンダリングを分離する新しいアーキテクチャであり、オフラインでのアセット作成とオンラインでのリアルタイム・インタラクションを可能にする。
2. パノラマ・ガウス・スキャフォールド： 緯度を考慮した初期化と角度ー残差予測を用いて、パノラマを3DGSへとリフトアップする方法であり、高密度で直接レンダリング可能な空間メモリを作成する。
3. トポロジーを考慮した拡散： 微分可能なオートレベリングとシフト等変潜在拡散を通じて、重力整合と水平方向の $S^1$ トポロジーを強制する360°パノラマ補完技術。
4. 因果的ビデオ蒸留： 高品質な双方向ビデオ教師を低レイテンシの因果的生徒へと変換する蒸留パイプライン。これにより、スキャフォールドが提供する幾何学的一貫性を損なうことなく、リアルタイム・ストリーミング（単一のRTX 4090で8 FPS）を実現する。

結果

• パフォーマンス： システムは、単一のNVIDIA RTX 4090 GPU上で8 FPSのリアルタイム・シーン・ローミングをサポートする。
• 定性的出力： パイプラインは、単一のNFOV入力からナビゲーション可能なビデオを正常に生成する。3Dガウス・スキャフォールドは安定したカメラ制御とレイアウトを提供し、因果的レンダラーは知覚的な品質と時間的一貫性を高め、スプラッティングのアーティファクトや小さなディスオクルージョン（遮蔽による欠損）を効果的に修復する。
• アブレーション／分析： 実験結果は、ステージの分離により、純粋な暗黙的モデルに共通する幾何学的ドリフトを回避しつつ、直接的な単一画像3D再構成で発生しやすい大規模な未観測領域の幻覚を回避できることを示している。

意義と主張

本論文は、MoVerseが**「単一画像からのワールド生成とインタラクティブなビデオ出力」への実用的な道筋を示していると主張している。明示的な3D表現（パノラマ・ガウス・スキャフォールド）の制御可能性と長距離の一貫性と、生成ビデオモデル（蒸留された因果的レンダラー）の知覚的品質**を組み合わせることで、システムは既存の明示的および暗黙的なアプローチの限界を克服している。

著者らは、この設計においてビデオモデルがゼロから世界を幻覚（ハルシネーション）する必要はないことを強調している。代わりに、明示的なスキャフォールドがシーンのレイアウトとカメラの動きを固定するため、ビデオモデルは高忠実度の観測合成に集中できる。このハイブリッドなアプローチにより、どちらか一方の手法だけでは到達できなかったリアルタイムのインタラクションが可能になる。

認められている制限事項：
論文では、最終的なワールドの品質はステージIのパノラマ補完に依存すること（パノラマの誤差がスキャフォールドに伝播する）、およびガウス・スキャフォールドは近似的な表現であること（深度が曖昧な領域でのフローターに対して脆弱である）を謙虚に述べている。また、因果的レンダラーは、ストリーミング・レイテンシのためにグローバルなクリップレベルの最適化をトレードオフとしており、これが短期的なテクスチャのドリフトを引き起こす可能性がある。今後の課題として、各ステージ間のフィードバックの強化や、動的オブジェクトへの拡張が示唆されている。