技術要約：自己回帰型ビデオ拡散のためのリサンプリング・フォーシング（Resampling Forcing）

問題提起

自己回帰（AR）ビデオ拡散モデルは、過去の観測に基づき未来のフレームを予測することで、物理的なダイナミクスの因果性を厳密に遵守するワールドシミュレーションの有望なパラダイムを提供します。しかし、これらのモデルは**露出バイアス（exposure bias）という重大な問題に直面しています。学習時、モデルは通常、正解の履歴フレームを条件とする「ティーチャー・フォーシング（teacher forcing）」に依存します。しかし、推論時には、自身が生成した（そして不完全な）出力に条件付ける必要があります。この訓練とテストの間のミスマッチは誤差の累積（error accumulation）**を引き起こし、初期の予測における小さなアーティファクトが自己回帰的なロールアウトを通じて増幅され、長時間の生成において破滅的なビデオ崩壊を招くことがよくあります。

このミスマッチを緩和するための既存の解決策は、一般に補助的なモデルを必要とするポストトレーニング戦略に依存しています：

1. 蒸留ベースのアプローチ（例：Self Forcing）： 双方向のティーチャーモデルを先に学習させ、それを因果的なスチューデントに蒸留します。これは、未来の情報をリークさせる可能性のある非因果的なティーチャーへの依存を生み出し、厳密な時間的因果性を損なわせます。
2. 敵対的アプローチ（例：AAPT）： ジェネレータとディスクリミネータを共同で最適化します。これには複雑なオンライン・ディスクリミネータの学習が必要であり、スケーラビリティを制限します。

さらに、AR生成を長尺ビデオへと拡張する場合、履歴コンテキストが無限に成長するため、アテンションの計算量が増大し、学習と推論の両方において計算上のボトルネックを生じさせます。

手法：リサンプリング・フォーシング（Resampling Forcing）

著者らは、自己回帰型ビデオ拡散モデルをゼロから学習するために設計された、エンドツーエンドかつティーチャーフリーのフレームワークであるリサンプリング・フォーシングを提案しています。その核心となる哲学は、クリーンな予測目的を維持しながら、入力の摂動（シミュレートされたエラー）に対してモデルを頑健にすることです。

1. 自己リサンプリング・メカニズム

学習中に推論時のモデルエラーをシミュレートするために、本手法は**自己リサンプリング（self-resampling）**スキームを導入しています。

• プロセス： クリーンな正解の履歴を用いる代わりに、モデルは「劣化」した履歴フレームを条件とします。
• 実装：
  1. 正解フレームをタイムステップ $t_s$ までノイズによって破損させます（ノイズの導入）。
  2. オンラインモデル自体（現在の重みを持つモデル）を使用して、残りのデノイジングステップを $t_s$ から 0 まで自己回帰的に完了させ、劣化したノイズフリーのフレーム $\tilde{x}$ を生成します。
  3. この、モデル由来のエラーを含む劣化フレーム $\tilde{x}$ が、次のフレームを予測するための条件として使用されます。
• 重要な設計： グラディエント（勾配）はこのリサンプリングプロセスからデタッチ（切り離し）されます。これは、「ショートカット学習」（入力を無視することを学習してしまう現象）を防ぐためです。これにより、モデルは自身の不完全さを修正することを学習することを強制されます。
• タイムステップ・サンプリング： 破損タイムステップ $t_s$ は、履歴の忠実度とエラー修正の柔軟性のバランスを取るために、パラメータ $s$ によってシフトされたロジットノーマル分布からサンプリングされます。リサンプリング・フォーシングに切り替える前に、標準的なティーチャー・フォーシングを用いたウォームアップフェーズが採用されます。

2. 効率的なアテンションのためのヒストリー・ルーティング

長時間の生成において、増え続ける履歴へのアテンションによる計算コストに対処するため、著者らはパラメータフリーのヒストリー・ルーティングメカニズムを導入しています。

• 動的リトリーバル： すべての過去フレームへのアテンション（高密度な因果的アテンション）や固定されたスライディングウィンドウの代わりに、モデルは各クエリ・トークンに対して最も関連性の高い上位 $k$ 個の履歴フレームを動的に抽出します。
• 選択指標： 関連性は、クエリ・トークンと履歴フレームのキーの平均プーリングされた記述子とのドット積によって決定されます。
• 複雑性： これにより、ビデオの長さ $L$ が増加しても、アテンションの計算量を線形 $O(L)$ から定数 $O(k)$ へと削減しつつ、多様なコンテキストの組み合わせを許容することで、固定ウィンドウよりも広い受容野を維持します。

3. 学習目的

モデルは、時間的因果性を強制する**スパースな因果マスク（sparse causal mask）**を用いて学習されます（フレームは過去のフレームのみにアテンションを張る）。これにより、フレームごとの拡散損失を通じた並列学習が可能になります。損失は、劣化（リサンプル）された履歴を条件とした、モデルの予測と正解のクリーンなフレームとの間で計算されます。

主な貢献

1. ティーチャーフリーのエンドツーエンド学習： 双方向のティーチャーやディスクリミネータに依存することなく、自己回帰型ビデオ拡散モデルをゼロから学習する最初のフレームワークであり、未来情報のリークを回避します。
2. リサンプリング・フォーシング・アルゴリズム： 推論時のエラーを学習中にシミュレートする新しい自己リサンプリング戦略により、誤差の累積を効果的に軽減し、長時間の生成を安定化させます。
3. パラメータフリーのヒストリー・ルーティング： 関連する履歴コンテキストを選択する動的なメカニズムにより、高密度アテンションと比較して品質低下をほとんど受けることなく、定数に近いアテンション計算量で効率的な長尺ビデオ生成を可能にします。
4. ネイティブな長尺ビデオ学習： 短いクリップからの蒸留に頼るのではなく、長いシーケンス（例：15秒）でネイティブに学習できる能力を持ち、優れた時間的一貫性をもたらします。

実験結果

本手法は、5秒および15秒のビデオで学習された Wan2.1-1.3B アーキテクチャを用いて評価されました。

• 定性的性能：
  • 安定性： 時間経過とともに色やテクスチャが徐々に劣化していくベースライン（例：Pyramid Flow, CausVid）とは異なり、リサンプリング・フォーシングは15秒間のビデオにおいて安定した視覚的品質を維持します。
  • 因果性： 物理シミュレーション（例：牛乳を注ぐ動作）において、モデルは因果律（液位の単調な上昇）を厳密に遵守します。これに対し、蒸留ベースのベースライン（例：LongLive）は、ティーチャーからの未来情報のリークにより、しばしば因果律を破ります。
• 定量的性能 (VBench)：
  • 本手法は、0–5s、5–10s、10–15s の各セグメントにおいて、最先端の蒸留ベースライン（Self Forcing, CausVid）と同等またはそれ以上の時間的および視覚的品質スコアを達成しています。
  • ネイティブな長さでの学習により、長尺ビデオにおける時間的一貫性においてベースラインを凌駕しています。
• 効率性：
  • ヒストリー・ルーティング・メカニズムは、高密度アテンションと比較して品質低下をほとんど伴わずに、75%のアテンション・スパース性（20フレーム中トップ5）を実現しています。
  • 競合する蒸留手法で必要とされる、大規模な14Bパラメータの双方向ティーチャーを排除しています。

意義と主張

本論文は、リサンプリング・フォーシングが、補助的なモデルを使用せずに露出バイアスという根本的な問題を解決することで、自己回帰型ビデオ・ワールドモデルのスケーラビリティを前進させると主張しています。学習中にエラーをシミュレートすることで、モデルは自身のドリフトを修正する方法を学び、長時間の安定した生成を可能にします。動的なヒストリー・ルーティングの統合は、長文脈アテンションのメモリおよび計算のボトルネックをさらに解消します。著者らは、本研究を、品質のために時間的因果性を妥協することのない、堅牢で厳密に因果的なビデオモデルをゼロから学習するための実行可能なパスとして位置づけています。