以下は、提供された論文「Adapting VACE for Real-Time Autoregressive Video Diffusion」の技術的サマリーです。

論文サマリー：リアルタイム自己回帰型動画生成への VACE の適応

1. 背景と課題 (Problem)

リアルタイム動画生成モデル（LongLive, Krea Realtime Video, StreamDiffusion V2 など）は、因果的注意機構（causal attention）を用いて固定サイズのチャンク単位で動画を生成します。これにより、KV キャッシュを活用したメモリ効率の良いストリーミング生成が可能になりますが、バッチ処理型の動画生成モデルが持つ高度な制御機能（参照画像によるガイド、構造的条件付け、部分的な編集/インペインティングなど）を欠いています。

既存の統一動画制御モデル「VACE (Video All-in-one Creation and Editing)」は、参照フレームを拡散潜在空間に直接連結し、双方向注意機構（bidirectional attention）で処理します。このアーキテクチャは、以下の理由からストリーミング生成と互換性がありません。

1. 可変シーケンス長さ: 参照フレームの数によって入力長が変わるため、固定サイズのチャンク処理が不可能。
2. KV キャッシュの汚染: 参照フレームが過去の生成履歴としてキャッシュされ、誤った因果関係を生む。また、位置エンコーディング（RoPE）がキャッシュに埋め込まれているため、参照フレームの除去が困難。
3. ポストプロセッシングのオーバーヘッド: 生成後に参照フレームを除去する処理が必要。

2. 手法とアーキテクチャ (Methodology)

本論文は、VACE の制御機能を再学習なしでストリーミング自己回帰パイプラインに統合するためのアーキテクチャ変更を提案します。

核心的な変更点

• 参照フレームの分離: 参照フレーム（Reference Frames）を拡散潜在空間（Diffusion Latent Space）から並列の条件付け経路（Parallel Conditioning Pathway）へ移動させます。
• ヒント注入（Hint Injection）: 参照フレームは「Context Blocks」で別々に処理され、「ヒント（Hints）」と呼ばれる加算信号を生成します。このヒントは、ゼロ初期化された線形投影（zero-initialized linear projections）を介して、メインの拡散トランスフォーマー（DiT）経路に注入されます。
• 固定チャンクサイズの維持: 動画の潜在変数（Latents）のみが固定サイズのチャンクとして処理されるため、参照フレームの数はチャンクサイズに影響を与えません。これにより、KV キャッシュの汚染を防ぎ、ストリーミング生成を可能にします。

重みの転移（Transfer of Weights）

• ファインチューニング不要: 既存の VACE の事前学習済み重み（Context Block）をそのまま使用できます。
• 理由: VACE はベースの DiT を凍結し、Context Block のみを学習する「Context Adapter Tuning」を採用しています。本適応では、参照の注入位置とヒントの注入先が変わるだけで、Context Block 内部の構造やゼロ初期化された投影行列は変化しないため、学習済み重みがそのまま機能します。

3. 主な貢献 (Key Contributions)

1. アーキテクチャ的解決策: 参照フレームを潜在空間から分離し、並列条件付け経路へ移すことで、VACE の制御機能と固定サイズチャンク処理の非互換性を解消しました。
2. 再学習なしでの重み転移: 事前学習済みの VACE Context Block 重みが、ファインチューニングなしで適応済みアーキテクチャに直接転送されることを実証しました。
3. リアルタイム性能の実証: Wan2.1 ベースの 1.3B および 14B パラメータモデルにおいて、構造的制御（深度、スケッチ、オプティカルフロー、レイアウト）、マスク付き生成（インペインティング/アウトペインティング）、時間的拡張（Temporal Extension）が、消費者向けハードウェア上でリアルタイム（17–22 FPS）で動作することを確認しました。
4. スケーラビリティ: 同一の適応コードを 1.3B と 14B の両モデルスケールで、モデルごとの修正なしに適用可能であることを示しました。

4. 結果とパフォーマンス (Results)

Wan2.1 ベースの 1.3B モデル（LongLive）と 14B モデル（Krea Realtime Video）でのベンチマーク結果は以下の通りです。

• レイテンシオーバーヘッド:
  • 構造的制御（Depth Control）およびインペインティング：約 20–30% のレイテンシ増加。
  • 時間的拡張（I2V）：1.3B モデルでは参照ヒントをキャッシュするため、2 番目以降のチャンクではオーバーヘッドがほぼゼロ（約 1%）になります。
• VRAM コスト:
  • 1.3B モデル：VACE 重みにより約 1.4 GB の増加。
  • 14B モデル：ベースモデルの VRAM 使用量（約 45 GB）に対して無視できるレベル。
• 制御精度:
  • 深度制御やマスク保持（SSIM 0.983）などの構造的制御は、ストリーミングモードでも高い精度を維持しました。
• 制約事項:
  • 参照画像から動画へ（R2V）の品質低下: 因果的注意機構とチャンクごとの処理の制約により、参照画像との忠実度がバッチ処理版 VACE に比べて著しく低下しました。
  • 時間的整合性: 100 フレーム以上の長期生成では、リアンカーリングなしに時間的整合性が劣化する可能性があります。

5. 意義と結論 (Significance)

本論文は、事前学習済みの高度な制御モデル（VACE）を、再学習やベースモデルの重み変更なしに、リアルタイムストリーミング生成パイプラインに統合するための実用的な解決策を示しました。

• 柔軟性: 単一のモデルで、参照ガイド、構造的制御、部分的編集、時間的拡張を任意に組み合わせることが可能になります。
• 効率性: 追加のトレーニングコストや大幅な VRAM 増大を伴わずに、リアルタイム動画生成に高度な制御機能を付与できます。
• 限界と将来展望: 参照画像からの生成品質は因果制約により低下しますが、構造的制御やマスク編集などの実用的なユースケースにおいては、リアルタイム性と制御性のバランスが取れた有効なアプローチであることが示されました。

この手法は、Daydream 社によって実装され、GitHub で公開されています。