技術的概要：自己改善型ビデオサンプリング

問題定義

現代のビデオ生成モデル、特に拡散モデルやフローマッチングモデルに基づくものは、初期段階の世界モデルとして著しく進歩しました。しかし、それらは依然として複雑な物理的ダイナミクスに苦しみ、物理的に現実的な出力を生成することに失敗することが多いです。一般的な問題には、運動の一貫性の欠如、不自然な物体間相互作用、および時間的アーティファクトが含まれます。

これらの問題を緩和するための既存のアプローチは、重大な限界に直面しています：

• 外部検証器: LLM や物理エンジンなどの外部モデルを用いたリジェクションサンプリングを行う手法は、低い受入率により計算コストが高く、かつドメインの一般性が欠如していることが多いです。
• 追加トレーニング: 合成データを用いたポストトレーニング戦略や、拡張データセットでのファインチューニングは、莫大な計算リソースと高品質なドメイン固有のデータを必要とします。
• 微細な運動: 現在の手法は微細な運動ダイナミクスを正確に捉えることに苦慮しており、ロボット操作などの実世界タスクへの適用性を制限しています。

決定的な点は、大規模言語モデル（LLM）が自身のトークン出力を反復的に批判・修正できるのに対し、ビデオ生成モデルは、ビデオデータの高密度性と時間的結合性という特性から、批判と修正のための明示的な内部フィードバック信号を欠いていることです。

手法：自己改善型ビデオサンプリング

著者は、事前学習済みビデオ生成モデルを自身の自己改善器として利用する、トレーニング不要の推論時手法である自己改善型ビデオサンプリングを提案します。核心的なアプローチは、フローマッチングの目的関数を時間条件付き**デノイジングオートエンコーダ（DAE）**として再解釈し、反復的な内部ループの改善プロセスを導入するものです。

1. 予測と摂動（P&P）

この手法は、フローマッチングと DAE の間の関連性を利用します。推論中の任意の固定ノイズレベル $t$ において、モデルはデノイザーとして機能します。著者は、2 段階の反復ループを導入します：

• 予測: モデルは、学習されたベクトル場を用いて、現在のノイズ状態 $z_t$ からクリーンな終点潜在変数 $\hat{z}_1$ を予測します。
  $$\hat{z}_1 = z_t + (1-t)u_\theta(z_t, t)$$
• 摂動: 予測されたクリーンな潜在変数にノイズ $\epsilon$ を加えることで、同じノイズレベル $t$ へ戻します。
  $$z_{t}^{(k+1)} = t \hat{z}_1^{(k)} + (1-t)\epsilon$$

この**予測と摂動（P&P）**サイクルは、学習されたビデオ分布の高密度領域へと潜在表現を反復的に誘導する疑似ギブズマルコフ連鎖を形成します。概念的には、外部モデルを必要とせずに、生成を時間的一貫性があり物理的に妥当な状態へと引き寄せます。この改善は、粗い運動と構造が決定されるサンプリング軌道の初期段階（低ノイズレベル）において主に適用されます。

2. 不確実性認識型改善

複数の P&P 反復の単純な適用は、特に背景などの静的領域において、クラスターフリーガイダンス（CFG）効果の蓄積により、過飽和やアーティファクトを引き起こす可能性があります。これを解決するため、著者は不確実性認識型 P&Pを提案します：

• 自己整合性尺度: 連続する P&P 反復間の再構成予測を比較することで不確実性マップを計算します。分散が高い領域（自己整合性が低い領域）は不確実な領域として特定されます。
• 選択的改善: 信頼度閾値 $\tau$ に基づいて不確実性マスクを生成します。P&P 改善は、不確実な領域（通常は移動物体）にのみ適用され、信頼できる領域（静的背景）は保持されます。
• 効率性: この戦略は、標準的なサンプリングステップ中に計算された予測を再利用することで、追加のネットワーク関数評価（NFE）なしに実装されます。

主要な貢献

1. トレーニング不要の自己改善: 本論文は、事前学習済みビデオ生成モデルが、外部検証器、追加トレーニング、またはドメイン固有のデータなしに、推論時に自身の出力を改善するという新たなパラダイムを導入します。
2. 予測と摂動（P&P）フレームワーク: フローマッチングと DAE の間の理論的リンクを確立し、反復的な内部ループ改善を可能にします。これは局所探索メカニズムとして機能し、運動の一貫性と物理的妥当性を向上させます。
3. 不確実性認識型戦略: モデルの内部自己整合性信号に基づき、不確実で運動に関連する領域のみを選択的に改善することで、過剰改善によるアーティファクトを防止するメカニズムを開発しました。
4. 広範な適用性: この手法は、Wan2.1、Wan2.2、Cosmos-2.5 などの最先端フローマッチングモデルと互換性があり、既存の ODE ソルバーにプラグアンドプレイ方式で統合できることが実証されています。

実験結果

著者は、複数のベンチマークにわたる最先端ビデオ生成モデルにおいて、自らの手法を評価しました：

• 運動の一貫性（Dynamic-bench & VideoJAM-bench）:
  • Dynamic-bench（体操や多物体相互作用などの困難な運動）において、この手法はデフォルトサンプリャーに対して人間評価で73.57% の勝率を、トレーニング不要のガイダンス手法 FlowMo に対して**70.57%**の勝率を達成しました。
  • 自動指標（VBench）は、運動の一貫性と一貫性スコアの大幅な改善を示しました。
• 物理的現実性（ロボティクス & PAI-Bench）:
  • 画像からビデオ（I2V）へのロボティクスタスクにおいて、この手法はベース ODE サンプリャーと比較して、Cosmos で把持成功率を +11.0%、Wan で +8.4% 向上させました。
  • 検証器ベースのリジェクションサンプリング（ベストオブ 4）を上回りながら、計算オーバーヘッドを大幅に低減しました（推論時間の 1.5 倍対 4.0 倍）。
• 物理的整合性（VideoPhy2 & PhyWorldBench）:
  • 人間評価では、物理的常識に関する出力において、デフォルトサンプリャーに対して84% の好意を示しました。
  • PisaBench 実験において、この手法はベースラインと比較してより正確な自由落下軌道を生成しました。
• 空間的一貫性:
  • この手法は、大規模なカメラ運動（例：360 度回転）を伴うビデオの空間的一貫性を大幅に改善し、標準的なソルバーよりもシーン内容をよりよく保持しました。
• 視覚的推論:
  • この手法はグラフ探索タスクの成功率を 0.1 から 0.8 に向上させましたが、迷路解きなどの離散的意味タスクでは限定的な改善しか示さず、改善の局所探索的な性質を浮き彫りにしました。

意義と主張

本論文は、自己改善型ビデオサンプリングが、既存の事前学習済みビデオ生成モデルを強化するための実用的かつ広範に適用可能なアプローチを提供すると主張しています。生成モデル自身の学習済み事前分布を自己改善器として再利用することで、この手法は追加トレーニングや外部検証システムの計算的負担なしに、運動の一貫性、物理的妥当性、および空間的一貫性において大幅な改善を達成します。

著者は、このアプローチが大規模ビデオ生成モデルの最近の進歩を補完し、ロボット操作や物理シミュレーションなどの実世界アプリケーションにおいてビデオ生成をより信頼性の高いものにするための原理的なサンプリング戦略を提供することを強調しています。また、この手法は時間的不整合や運動誤差の修正に効果的な局所探索として機能しますが、離散的な意味的正しさを必要とするタスクにおけるグローバルプランニングの代わりにはなり得ない点に留意しています。