技術サマリー: DreamForge-World 0.1 Preview

問題提起

インタラクティブなワールドモデルの分野は、現在、レイテンシ（リアルタイムの応答性）と状態保持（長期的な一貫性とメモリ）の間のトレードオフを中心に構成されています。Genie 3やWorldPlayのような最先端のシステムは、永続的な空間メモリやエンジンレベルの制御を優先していますが、これらは膨大な計算リソースと複雑なメモリ検索メカニズムを必要とすることが多いです。対照的に、軽量なシステムは、時間の経過に伴う一貫した制御可能なロールアウトを維持する能力に欠けることがよくあります。

DreamForge-World 0.1 Previewは、補完的な動作点に対処します。それは、タイトな適応計算量の下での幅広いインタラクティブな機能カバレッジの達成です。目標は、最先端のモデルが必要とする膨大なトレーニングデータやメモリインフラを使用することなく、コンシューマーグレードのGPU（具体的には単一のRTX 4090）で動作する、リアルタイムで制御可能なワールドモデルのプレビューへの実用的なルートを示すことです。本システムは、まだ「メモリが完全」でも「最先端の品質のシミュレータ」でもないことを認めつつ、ライブ制御、マルチモーダルな初期化、および分単位のロールアウトをサポートすることを目指しています。

手法

1. アーキテクチャとバックボーン

本システムは、Wan2.1-T2V-1.3Bから派生した自己回帰ビデオスタックであるLongLive 1の上に構築されています。LongLiveは、以下の基礎となる因果的自己回帰特性を提供します：

• フレームレベルの自己回帰的ロールアウト。
• 効率的なストリーミング推論のためのKVキャッシュメカニズム。
• 短いウィンドウのアテンションとフレームシンク・コンテキスト。
• プロンプト切り替え機能。

2. 制御メカニズム: 残差アクション・パスウェイ（Residual Action Pathway）

インタラクティブな制御を可能にするため、著者らはMatrix-Gameファミリーに触発された残差アクション・パスウェイを適応させました。

• バックボーンの適応: まず、明示的な制御なしにビデオの事前知識をインタラクティブなドメインに適応させるために、NitroGenおよびGameGen-Xデータセットのゲームプレイビデオを用いて、LongLive/Wanバックボーンに対してランク64のLoRAを学習させました。
• アクション注入: Matrix-Game 2.0スタイルのアクション・コンディショニング重みを、LongLiveベースのDiTに移植しました。その後、このモジュールを、アクションの特徴を適応させたバックボーンに整合させるために短期間微調整しました。
• 視点特化型チェックポイント: 一人称視点（エゴセントリック）と三人称視点（外部）の異なる要件を処理するために、アクションモジュールの上に2つの高ランクLoRAアダプターを学習させました。これらは、パースペクティブのドリフトを防ぐために、$x_0$ MSE目的関数と軌道/ポーズ損失（Depth Anything 3による監督）を使用しています。得られた重みはアクションモジュールに融合され、望ましい視点モードに基づいて特定のチェックポイントを選択できるようにしています。

3. マルチモーダル初期化

プロンプト切り替えに依存するネイティブのLongLiveインターフェースとは異なり、DF-World 0.1は潜在履歴条件付けによるマルチモーダル初期化を導入しています：

• 画像/ビデオ入力: 入力画像またはビデオセグメントは、ロールアウトに使用されるものと同じ潜在空間にエンコードされ、「クリーンな初期履歴」の接頭辞として挿入されます。
• 継続: 自己回帰ループは、テキストプロンプトとライブアクションストリームの下でこれらの接頭辞から継続し、画像からワールドへ、ビデオからワールドへのエントリーポイントを可能にします。

4. ランタイム最適化

推論スタックはコンシューマー向けハードウェア向けに最適化されています：

• 非同期ストリーミング: レイテンシを低減するために、生成とVAEデコーディングを分離しています。
• 量子化: KVキャッシュの量子化と低精度（fp8）実行パスを実装しています。
• キャッシュ管理: 長いシーケンス中のドリフトを軽減するために、Deep Forcingスタイルのトレーニングフリーのキャッシュ管理を使用しています。
• デコーダーの選択肢: システムはデフォルトのWan2.1 VAEと、スループット向上のためのより軽量なLightTAEW 2.1デコーダーの両方をサポートしています。

主な結果

パフォーマンス指標

システムは、単一のRTX 4090において、ネイティブな**480p (480×832)**解像度でリアルタイムのインタラクティブ・ロールアウトを実現します：

• FPS: デフォルトのVAE（bf16）で約10–12 FPS、LightTAEW 2.1（fp8）で14–15 FPSの範囲。
• メモリフットプリント: 精度とデコーダーの選択に応じて、約4GBから9GBのVRAM。
• ホライゾン: 分単位のインタラクティブなロールアウトをサポートしており、最初の1分間が最も強力な定性的ウィンドウを提供します。

機能的キャパビリティ

このプレビューは、単一のランタイム内で6つの統合された機能を実証しています：

1. プロンプトのみのロールアウト: テキスト駆動の軌道初期化。
2. マルチモーダル・エントリー: テキスト、画像、ビデオ、または混合されたコンテキストからの初期化。
3. ライブ制御: リアルタイムのキーボードおよびマウスによるコンディショニング（移動、ジャンプ、ダッシュ、しゃがみ、アクション）。
4. デュアルビュー操作: 一人称視点と三人称視点のための明確な制御パス。
5. ミッドストリーム・リプロンプティング: ロールアウト中に、開始することなくセマンティックな条件更新を行うこと。
6. 継続: 初期プロンプトを超えた自己回帰的生成。

効率性の比較

システムは、わずか64時間の厳選されたゲームプレイ/制御ビデオのデータセットで学習されました。これは、同等のシステムと比較して大幅に小さい数値です：

• Matrix-Game 2.0: 約1,200時間（18.8倍大きい）。
• Genie: 約30,000時間（468.8倍大きい）。

限界

論文では、いくつかの現在の制約を明示的に特定しています：

• メモリと再訪問の一貫性: システムには永続的な空間メモリが欠けています。ユーザーが領域から離れて回転し、再び戻ってきた場合、シーンの内容は保存されるのではなく、しばしば再合成され、不一致（例：以前は空いていた場所に新しい木が出現するなど）が生じます。
• 長期的ホライゾンのドリフト: 時間の経過とともに、モデルが自身の不完全な履歴に条件付けられるにつれ、品質、オブジェクトの同一性、およびテクスチャの忠実度が低下します。
• 制御の精度: キーボード/マウスの入力は軌道に影響を与えますが、アクションの多様性と精度は明示的なシミュレーション基準を下回っています。激しいカメラの動きはシーンを不安定にし、三人称制御は一人称よりも脆弱であると指摘されています。
• スコープ: このプレビューには、音響生成、マルチエージェントの相互作用、または永続的なオブジェクトとの信頼できる物理的相互作用は含まれていません。

重要性と主張

著者らは、DreamForge-World 0.1 Previewを、最先端のシミュレータの代替ではなく、リアルタイムで制御可能なワールドモデルへの実用的かつ低計算量なルートのデモンストレーションとして位置付けています。

• デザインスペース: 本システムは、視覚的な忠実度やメモリの規模ではなく、「単位直接適応計算量あたりの機能カバレッジ」によって定義されるユニークな領域を占めています。
• 実現可能性: オープンなビデオバックボーンのターゲットを絞った適応を用いることで、マルチモーダルなエントリー、ライブ制御、およびリプロンプティングをサポートする機能的なインタラクティブ・ワールドモデルのループが、コンシューマーGPU上で構築可能であることを証明しています。
• 将来の方向性: 本研究は、永続的なメモリ、より大きなバックボーン、および改善されたデュアルビューの安定性を目指す将来のイテレーション（例：DF-World 0.5）のためのベースラインを確立しています。しかし、現在の貢献は、低計算量の適応レシピ自体の検証です。