ForgeWM: Progressive Causal Training for Few-Step Action-Conditioned Video World Models

技術要約：ForgeWM – 少ステップ・アクション条件付きビデオワールドモデルのための漸進的因果学習

問題提起
アクション条件付きビデオワールドモデルは、明示的なグラフィックスエンジンを使用せずに、観測とアクションから将来の視覚状態をシミュレートすることを目指している。しかし、インタラクティブなデプロイには、因果的生成（過去のデータのみに基づいて未来を予測すること）、制御に対する持続的な応答性、そしてリアルタイムの制御ループを閉じるための低ステップ数でのデノイジングが求められる。
現在の課題は、強力なサンプリング圧縮（少ないデノイジングステップ数）が、視覚、アクション、およびキャッシュのエラーを後続のチャンクへと伝播させ、忠実度、制御可能性、およびマルチチャンクの安定性を結合させてしまう点にある。具体的には、ゲームネイティブの制御には、ビデオフレームレートで到着する離散的なキーボード状態と連続的なマウスの動きが含まれる。これらは、因果的学習および自己回帰的なロールアウトの間、時間的に圧縮された潜在空間のチャンクと整合性を保たなければならない。既存の手法は、クリーンな学習データから不完全な自己生成履歴へと移行する際に、これらの制御インターフェースとアクション・潜在空間間のアライメントを維持することに苦慮している。

手法：ForgeWM フレームワーク
著者らは、双方向のアクション条件付きビデオ生成器を、効率的で予算特化型の少ステップ因果ワールドモデルへと変換する、4段階の漸進的なフレームワークであるForgeWMを提案する。このフレームワークは、共有されたベースの初期化を利用し、フレームに整列した離散的および連続的な制御を保持するためのモジュール式アクションインターフェースを採用している。

学習プロセスは、以下の4つの異なる段階で構成される：

1. ステージ 0: 双方向ドメイン適応。 ベースとなる生成器を、フルクリップ双方向アテンションを用いたフローマッチング目的関数を用いて、ターゲットとなるゲームドメイン（例：Minecraft）に適応させる。このチェックポイントは、後のステージにおける「凍結されたリアル・デノイザー」および「ドメイン・ティーチャー」として機能する。
2. ステージ 1: ティーチャー・フォースによる因果学習。 同じベースから初期化された第2のブランチは、フルな時間的アテンションをブロック単位の因果的アテンションに置き換える。学習では、クリーンなトークンストリームとノイズを含むトークンストリームを連結し、ノイズを含むチャンクは、クリーンな先行チャンクおよび自身のみにアテンションを向ける。これにより、モデルが自身のロールアウトエラーにさらされることなく、因果的実行パターンを学習する。
3. ステージ 2: 因果的一貫性の初期化。 ステージ1のチェックポイントから開始し、フレームワークはオンラインでの因果的一貫性蒸留を行う。凍結されたティーチャー（ステージ1から）は、データ分布に向かって単一の分類器フリー・ガイデッドEulerステップを実行する。生徒ネットワークは、ティーチャーの高度な時点におけるクリーンな予測に一致するように学習される。これにより、オフラインの軌跡データセットを必要とせずに、少ステップ・サンプリングを初期化する。
4. ステージ 3: オンポリシー分布マッチング。 生徒は、自身が以前に生成した履歴を条件として、自己回帰的な自己ロールアウトを行う。分布マッチング蒸留（DMD）目的関数を用いて、生徒の「偽のデノイザー」を「凍結されたリアル・デノイザー」（ステージ0から）に整合させる。これにより、ティーチャー・フォースによって生じるミスマッチを軽減する。1ステップ、2ステップ、および4ステップの定常状態デノイジング予算に対して、個別の生徒が学習される。

デプロイ戦略
ForgeWMは、デュアルパス・デプロイ・プロトコルを利用する：

• オンライン・インタラクション: リアルタイムかつ低レイテンシの制御のために、ネイティブな低ステップ生徒（1, 2, または 4ステップ）を使用する。
• リプレイ時リファインメント: インタラクション後、保存されたドラフト（ユーザーが体験した軌跡）を精緻化できる。デプロイされた生徒は、中間的なフロータイムで保存されたチャンクを再ノイズ化し、記録されたアクションと因果的プレフィックスを保持しながら、より大きなスケジュールド（例：4ステップ）を用いてデノイズを行う。これにより、別のリファイナーモデルや第2のチェックポイントを必要とせずに、視覚的品質を向上させる。

主な貢献

1. 4段階フレームワーク: ドメイン適応、ティーチャー・フォース学習、一貫性初期化、およびオンポリシー分布マッチングを通じて、双方向生成器を予算特化型の因果ワールドモデルに変換する手法。
2. 制御の保持: フレームレートの離散的（キーボード）および連続的（マウス/ゲームパッド）な制御を、潜在空間の圧縮、因果的学習、および自己回帰的ロールアウトを通じて整合性を維持する。
3. 動作点とリファインメント: 1、2、4ステップの明確な動作点の提供、および体験した軌跡を正確に保持しながら視覚的忠実度を向上させるリプレイ・プロトコルの提供。

結果
ペアになったMinecraftの軌跡および独立したFPSドメイン（CrossFPS）で評価した結果：

• パフォーマンス: Minecraftにおいて、ForgeWMのバリアントは、画像品質、参照に整合したモーションプロファイルの一致、アクション・シグナルの正確性（KCtrl）、およびマウス制御の正確性において、既存のシステム（Matrix-Game 2.0, HY-WorldPlay）を上回った。ForgeWM-1は、最高の生成スループット（72.10 FPS）を達成した。
• 人間による嗜好性: ブラインドテストにおいて、ForgeWM-4は、ベースラインに対して視覚的品質の嗜好で68.8%、アクション精度の嗜好で57.6%を獲得した。
• リプレイ・リファインメント: リプレイ時リファインメントは、直接的な4ステップ生成と同等の参照品質（LPIPS ~0.6155 vs. 0.6168）を達成しつつ、保存されたドラフトとの距離を大幅に縮小（Ddraft 0.1970 vs. 0.6187）し、ユーザーの軌跡を保持しながら視覚的忠実度を効果的に向上させた。
• 汎用性: 同様の4段階レシピは、ゲームパッド制御のFPSゲームプレイ（Halo Infinite, Modern Warfare）にも正常に転移し、制御が整合した因果的生徒を生成した。

意義
本論文は、ForgeWMが制御可能な少ステップ・ビデオワールドモデルのための効果的な学習およびデプロイのフレームワークを提供すると主張している。その主要な意義は、双方向から因果的かつ少ステップの生成へと移行する際に、ゲームネイティブの制御インターフェースを保持することで、インタラクティブな設定における忠実度と制御可能性の結合問題を解決した点にある。レイテンシが重要なインタラクションと、オプションとしての品質指向のリファインメントを分離することで、高精度なエージェント制御に必要なアライメントを犠牲にすることなく、リアルタイム・シミュレーションの実用的な制約に対処している。この研究は、予算特化型の生徒が、精密なエージェント制御に必要なアライメントを損なうことなく、1、2、および4ステップの定常状態デノイジング予算で動作できることを実証している。