技術要約：Flex-Forcing

問題提起

現在のビデオ生成手法は、硬直した推論パラダイムによって制約を受けており、以下の2つの支配的なアプローチ間のトレードオフを強いています。

1. 双方向拡散モデル（Bidirectional Diffusion Models）: これらは全コンテキストのアテンションを活用してすべてのフレームを共同でモデリングし、高い視覚的忠実度と強力な長距離の時間的一貫性（例：カメラの動き、シーンの遷移）を実現します。しかし、計算オーバーヘッドが高く推論が遅いため、リアルタイムや長尺ビデオ生成へのスケーラビリティが制限されます。
2. 自己回帰モデル（Autoregressive Models）: これらは因果的条件付けとKVキャッシュを用いてフレームを逐次的に生成し、効率的なストリーミングおよびリアルタイム推論を可能にします。しかし、生成中のグローバルなコンテキストの欠如により、誤差の蓄積（ドリフト）が発生し、オブジェクトの外観や動きに影響を与え、結果としてグローバルな時間的一貫性が弱くなります。

既存の研究は通常、一方のパラダイムを最適化する一方で他方を妥協させており、単一のフレームワーク内で両方の利点を統合的に実現するメカニズムを欠いています。

手法：Flex-Forcing

著者らは、単一のビデオ拡散モデルが双方向、自己回帰、またはハイブリッドのレジーム下でシームレスに動作することを可能にする統一された学習・推論フレームワークであるFlex-Forcingを提案しています。その核心となるイノベーションは、2つの直交する軸によって定義される**柔軟なチャンキング（Flexible Chunking）**メカニズムにあります。

1. 柔軟なチャンキング戦略

• 時間軸（フレーム・チャンキング）: ビデオは様々なサイズの連続したチャンクに分割されます。チャンク内ではフレームが双方向（フルアテンション）でモデリングされます。チャンク間では、生成は自己回帰的（前のチャンクに条件付けされる）であり続けます。これにより、デバイスの予算やビデオの長さに応じてチャンクの粒度を適応させることができます。
• デノイジング・タイムステップ軸: チャンキング戦略はデノイジングの軌跡全体を通じて動的です。初期段階（高ノイズ時）では、グローバルな構造を捉えるために大きなチャンクを使用し、後半の精緻化段階（低ノイズ時）では、局所的な詳細に焦点を当てるために小さなチャンクを使用します。これにより、ノイズレベルが低下するにつれてチャンクサイズが減少する、階層的なピラミッド構造が形成されます。

2. 学習目的

本フレームワークは、以下の手法を通じて、混合された因果的および非因果的コンテキストを扱う単一のモデルを訓練します。

• 確率的チャンキング（Stochastic Chunking）: 学習中、モデルは厳密な因果的（フレームごと）なものから完全に双方向的なものまで、ランダムなチャンク分割にさらされます。これは、因果性を注入しつつ非因果的なアテンション能力を保持する、非対称な蒸留パイプライン（CausVidおよびSelf-Forcingに着想を得たもの）を通じて実現されます。
• ノイズレベルの整合（K-Projection）: 同じクエリ・トークンが異なるノイズレベルのキー・バリュー状態（クリーンな過去のトークン vs ノイジーな未来のトークン）にアテンションを向ける可能性があるため、重大な課題が生じます。標準的なセルフアテンションはこれらを一様に扱いますが、これは性能低下を招きます。著者らは、クリーンな過去フレームのキー状態を現在のタイムステップの「ノイジー」な潜在空間へとマッピングする、軽量でタイムステップ依存の線形投影であるK-Projectionを導入しました。これにより、アテンションを受けるすべてのキーが一致したノイズ表現空間内に存在することを保証し、柔軟な推論を安定させます。

3. 推論の柔軟性

テスト時、訓練されたモデルは以下の構成が可能です。

• 最大限のグローバルな一貫性のための双方向モード（Bidirectional Mode）。
• 最大限の効率性とストリーミングのための自己回帰モード（Autoregressive Mode）。
• 品質と速度の最適なパレート・フロントを見つけるために、チャンクサイズとノイズレベルへの依存関係を調整するハイブリッドモード（Hybrid Mode）。

主な貢献

1. 統一されたフレームワーク: 双方向と自己回帰のパラダイムが単一の訓練済みモデル内で共存できることを示した初めてのアプローチであり、テスト時の推論レジームの制御を可能にします。
2. 柔軟なチャンキングと整合: 時間的なフレームとデノイジング・ステップの両方における柔軟なチャンキングの導入、ならびに、訓練とテストの一貫した目的関数と、異なる因果的コンテキストを橋渡しするK-Projectionメカニズムを組み合わせました。
3. 任意の順序、任意のタイムステップでの編集: 統一されたフレームワークを活用することで、著者らは以下の新しい編集機能を可能にしました。
   • 任意のタイムステップ編集（Any-Timestep Editing）: 高レベルのプランニングを保持しながら、編集を低レベルの精緻化タイムステップに限定することで、グローバルな構造とローカルな詳細を分離します。
   • 任意の順序編集（Any-Order Editing）: 過去と未来のクリーンなトークンの両方に条件付けることで、ビデオ全体の再生成を行うことなく、任意の時間セグメントを再編集することを可能にします。

実験結果

Wan2.1をベースとして、5秒および30秒のビデオベンチマークを用いた広範な実験が行われました。

• 性能と効率のトレードオフ: Flex-Forcingは、Self-Forcingのようなベースラインと比較して、著しく改善されたパレート・フロントを達成しました。因果的モデルよりも高い品質を提供しつつ、硬直した双方向モデルよりも高速な推論を実現し、一貫して性能を上回りました。
• 5秒ビデオ: ベースライン（1.3Bパラメータ）に相当する構成において、Flex-Forcingはより高いVBenchスコア（例：Self-Forcingの84.31に対し85.07）と、より高いFPS（24.9に対し25.8）を達成しました。また、数ステップの蒸留された拡散モデルをも上回りました。
• 30秒ビデオ: 長尺ビデオのベンチマークにおいて、Flex-ForcingはInfinity-RoPEおよびSelf-Forcingをほとんどの指標で上回り、特に**Dynamic Degree（動的度合い）とMotion Smoothness（動きの滑らかさ）**において優れた性能を示し、優れた長期的プランニングと誤差の蓄積の減少を証明しました。
• ユーザーの嗜好: ユーザー調査では、5秒および30秒のビデオの両方において、視覚的品質とプロンプトへの適合性の両面で、Self-ForcingよりもFlex-Forcingが好まれるという結果が出ました。
• アブレーション解析: K-Projectionは不可欠であることが示されました。これがない場合、チャンクサイズが大きくなるにつれて性能が著しく低下しましたが、導入することで性能は安定し、向上しました。

意義と主張

本論文は、Flex-Forcingが双方向生成と自己回帰生成を、競合するパラダイムではなく、要求に応じてスムーズに調整可能な「制御可能な推論次元」として再定義していると主張しています。これらのアプローチを統合することで、本手法は以下を実現します。

• 特化した個別のアーキテクチャを維持するための計算コストと環境負荷の軽減。
• 実行時に動的な速度・品質のトレードオフを可能にすることで、リソース制約のある環境における高精度な長尺ビデオ生成の民主化。
• クリエイティブおよび産業用途における精密で局所的な編集ツールの提供による、適応型生成システムの促進。

著者らは限界についても認めており、厳格な左から右への制約は緩和されているものの、非常に長いビデオにおいては訓練と推論のミスマッチによる誤差の蓄積が起こり得ること、および、本手法の有効性が事前学習のプライア（特に双方向エンコーディング）に大きく依存していることを指摘しています。