技術サマリー: UniTemp

問題提起

自己回帰的なビデオ拡散モデルは、ブロック単位の生成とキー・バリュー（KV）キャッシュを活用することで、効率的な長尺ビデオ生成を実現する有望なアプローチとして台頭しています。しかし、既存の手法は前方（因果的）な時間方向の生成に限定されており、各ブロックは以前に生成されたコンテンツのみを条件としています。この制限は、以下のような柔軟な時間順序を必要とする実用的なビデオ制作ワークフローを妨げています：

• 後方拡張（Backward extension）: 既存のクリップを条件としてプロローグ（前日譚）を生成する。
• 中間生成（Inbetween generation）: 2つのセグメント間の時間的なギャップを埋める。
• ビジュアル・ストーリーテリング: キーフレームを先に生成し、それらを接続する。

前方のみのモデルをナイーブに後方生成へと拡張しようとすると、特に動きの激しいシーンにおいて、深刻なブロック間のフリッカー（ちらつき）や不連続性が発生します。本論文は、このアーティファクトの根本原因が、最先端のビデオ拡散モデル（例：CogVideoX、HunyuanVideo、Wan）で広く採用されているCausal 3D VAEアーキテクチャにあることを特定しています。Causal 3D VAEは、過去のコンテキストに厳密に条件付けられた潜在変数（latents）をエンコードします。これは前方生成には適していますが、後方生成においては根本的なミスマッチを引き起こします。デコーダーは利用不可能な「過去のコンテキスト」を期待するため、目に見える境界部のアーティファクトが生じるのです。非因果的なVAEを再学習させることは、既存の学習済みティーチャーモデルとの互換性を損なうため、現実的ではありません。

手法: UniTemp

著者らは、既存のティーチャーモデルやVAEを変更することなく、任意の時間方向（前方、後方、または中間）でビデオを生成できる単一の自己回帰的スチューデントモデルを訓練する、統一的な双方向蒸留フレームワークであるUniTempを提案します。

1. ブロック単位のアンカー潜在変数（Blockwise Anchor Latents）

後方生成時におけるCausal 3D VAEの過去コンテキスト不足に起因するブロック間のフリッカーに対処するため、著者らはブロック単位のアンカー潜在変数を導入しました。

• メカニズム: 後方生成中、ブロックサイズを $B$ から $(P + B)$ へと拡張します（ここで $P$ はアンカー潜在変数の数）。これらのアンカー潜在変数は、先行するビデオトークンを表します。
• 機能: 拡張されたブロックは、フルシーケンスの自己注意（self-attention）を用いて共同でデノイジングされます。これにより、ターゲットとなるブロックは、逆順で生成されている場合でも、欠落している過去のコンテキストのプロキシ（代理物）としてアンカー潜在変数に注意を向けることができます。
• 破棄: デノイジング後、アンカー潜在変数は破棄され、最終的な出力には含まれません。これらは、ターゲットブロックの生成を安定させ、因果的デコーダーに必要なコンテキストを提供するためだけに機能します。
• 結果: このメカニズムは、ブロック境界における欠落した過去のコンテキストを効果的に復元し、視覚的なアーティファクトやブロック間のフリッカーを大幅に軽減します。

2. 統一的な双方向蒸留（Unified Bidirectional Distillation）

UniTempは、凍結されたティーチャー拡散モデルによって監督される、非対称な蒸留フレームワーク（Self-Forcingをベースとしたもの）を採用しています。

• 学習: スチューデントは、共有モデルと共有の「フェイク」クリティック（$\mu_{fake}^\phi$）を使用して、前方および後方の両方の生成タスクで訓練されます。
  • 前方: 標準的なブロック単位の自己回帰的ロールアウトに従います。
  • 後方: ブロック単位のアンカー潜在変数を使用してコンテキストウィンドウを拡張します。
• 損失関数: 本フレームワークは、分布マッチング蒸留（DMD）を利用して、スチューデントの出力分布をティーチャーの分布に一致させ、ティーチャーのスコアとフェイククリティックのスコアの差から導出された勾配を通じてスチューデントを更新します。
• 効率性: 方向間でモデルを共有することで、別々の生成器を持つことによるメモリコストを回避し、前方生成と後方生成の間の性能差を縮小します。

3. 多様なテスト時コンディショニング

この統一されたアーキテクチャにより、推論時における柔軟なコンディショニングが可能になります：

• 任意の方向の生成: モデルは、任意の過去、未来、またはその両方のKVキャッシュを条件として扱うことができます。
• 両端ガイド付きシンク潜在変数（Both-End-Guided Sink Latents）: 長期間にわたるコンテンツの変化を制御するために、シーケンスの開始時と終了時の両方に「シンク潜在変数（安定化トークン）」を配置することが可能です。
• 中間生成: モデルは、トレーニング時のブロックサイズに関わらず（アテンションのホライゾンがトレーニングの制限範囲内であれば）、ヘッドブロックとテールブロックのそれぞれのKVキャッシュを条件とすることで、それらの間のコンテンツをインフィル（補完）できます。

主な貢献

1. UniTempフレームワーク: 単一のモデルを使用して、任意の時間方向（前方、後方、中間）での自己回帰的なビデオ生成を可能にする統一的な蒸留フレームワーク。
2. ブロック単位のアンカー潜在変数: Causal 3D VAEによる後方生成時のインターブロック・フリッカーを軽減するための新しいメカニズム。VAEを再学習することなく、欠落した過去のコンテキストを復元します。
3. 統一された学習戦略: トレーニングの効率を維持し、柔軟なテスト時コンディショニングをサポートする共有モデルアプローチであり、個別の生成器を用いたベースラインを上回る性能を示します。
4. 実証された能力: 本フレームワークは、タスク固有のファインチューニングを行うことなく、双方向ビデオ拡張、シーン遷移、ループビデオ生成、ビジュアル・ストーリーテリングなどの多様なワークフローを解禁します。

結果

実験により、UniTempは前方のみの手法と同等の性能を達成しながら、新たな能力を実現していることが示されました：

• 短尺ビデオ生成: 5秒間のビデオにおいて、UniTempは前方および後方の両方向においてSelf-Forcingベースラインと同等の性能を達成し、後方生成においてはわずかに高いスコアを記録しました。
• 長尺ビデオ生成: UniTempは最大100秒までの安定した長尺ビデオ生成をサポートします。両端ガイド付きシンク潜在変数を利用することで、コンテンツのドリフトを効果的に制御し、高い被写体の一貫性と美的品質を維持し、動的なコンテンツ生成においてトレーニングベースのベースラインを上回りました。
• 中間生成: UniTempは、背景の一貫性、画質、およびビデオの分布において、Wan FLF2VやGenerative Inbetweening (GI) といった特化したモデルよりも優れた性能を示しました。条件となるフレームの潜在変数を再生成するのではなく再利用することで、優れた境界一貫性を実現しています。
• アーティファクトの削減: アンカー潜在変数の導入により、後方生成におけるインターブロック・フリッカーの比率は、ベースラインの1.42から、$P=3$ の場合の1.07へと減少しました。これは理想的な値である1.0に近づいています。

意義

本論文は、UniTempが自己回帰的なビデオ生成の効率性と、現実世界のビデオ制作に求められる柔軟性の間の溝を埋めるものであると主張しています。アンカー潜在変数を通じて、Causal VAEと後方生成の不適合という特定の技術的課題を解決することで、UniTempは単一のモデルで多様な時間的コンディショニングモードを扱うことを可能にします。これにより、複数の専門化されたモデルや、計算コストの高いフルシーケンス・アテンション手法の必要性を排除し、複雑なビデオ編集やストーリーテリングのためのスケーラブルなソリューションを提供します。

限界

著者らは、後方生成において、アンカー潜在変数の共同デノイジングによるため、ブロックあたりの計算量が増加することを認めています。さらに、Causal VAEとティーチャーモデルは本質的に前方へのバイアスを持っています。アンカー潜在変数はその非対称性を緩和しますが、完全に排除するものではありません。著者らは、既存の学習済みティーラーと互換性のある双方向VAEアーキテクチャの探索を今後の研究課題として挙げています。