技術的概要：SwiftI2V

問題定義

高解像度の画像から動画への生成（I2V）は、高解像度の入力画像（例：2K 解像度）の微細な外観詳細と空間構造を厳密に保持しつつ、現実的な時間的ダイナミクスを合成することを目的としています。本論文はこの分野における 2 つの主要な課題を特定しています：

1. 計算スケーリング: 視覚トークンの数は空間解像度に対して二次関数的に増加するため、Diffusion Transformer（DiT）におけるアテンションベースの生成は、メモリとレイテンシの面で許容しがたいほど高価になります。
2. 強力な条件付け下での忠実度: テキストから動画への生成（T2V）とは異なり、I2V は入力画像のアイデンティティとテクスチャへの厳密な準拠を必要とします。既存の解決策は、効率性と忠実度のバランスを取るのに苦労しています：
   • エンドツーエンドモデル: 高い忠実度を達成できますが、すべてのトークンを同時に処理する必要があり、管理不能な GPU メモリ使用量とレイテンシをもたらします。
   • 低解像度＋動画超解像（LR+VSR）: このアプローチは低解像度の動画を生成し、それをアップスケールします。しかし、超解像段階は入力画像に対して明示的に条件付けられていないことが多く、幻覚的な詳細の生成や、入力画像の局所構造からの逸脱を引き起こします。

手法

SwiftI2V は、運動モデリングと詳細合成を分離する、2K 解像度の I2V に特化した効率的な 2 段階フレームワークを提案します。

1. 2 段階の高解像度 I2V フレームワーク

このフレームワークは、運動と詳細を分離した設計に従います：

• ステージ I：低解像度の運動参照生成:
  • 入力画像は低解像度（360P）にダウンサンプリングされます。
  • 大容量の DiT バックボーン（低解像度 LoRA 搭載）が低解像度の動画を生成します。このステージは、全体的に整合性の取れた運動と粗い構造の学習に焦点を当てます。
  • 推論を高速化するため、Few-Step LoRA を採用してデノイジングステップを 4 ステップに削減します。
  • ハイブリッド参照構築: ステージ I の出力を目標解像度にアップサンプリングします。最初のフレームは、厳密な境界条件として機能する元の高分解能入力画像に置き換えられ、以降のフレームは運動参照を保持します。このハイブリッド動画がステージ II の構造的ガイドとして機能します。
• ステージ II：高解像度動画合成:
  • このステージは、ステージ I の運動参照と入力画像の外観に条件付けられた高周波数の詳細の合成に焦点を当てます。
  • 運動をゼロから再モデル化する必要がないため、より小さな DiT バックボーンが使用されます。
  • トークン数を削減するため、より高いダウンサンプリング因子（16, 16, 4）を持つ 3D VAE が利用されます。
  • 入力構築: 雑音を含む潜在シーケンスの最初のブロックを符号化された入力画像（$z_x$）に置き換えることで、アンカーを形成します。このアンカーは、符号化されたハイブリッド参照動画（$z_{ref}$）と連結され、DiT 入力を形成します。

2. 条件付きセグメント別生成（CSG）

2K 生成におけるトークン予算の制約に対処するため、SwiftI2V は CSG を導入します：

• セグメンテーション: 時間的シーケンスは境界付きセグメントに分割されます。各セグメントは、固定数の雑音ブロック（$M$）と、先行セグメントからの短い隣接ブロックのコンテキスト（$N$）を処理します。
• 双方向コンテキスト相互作用: 従来のブロックが固定された読み取り専用コンテキストとなる標準的な自己回帰（AR）ストリーミングとは異なり、CSG はウィンドウ内で双方向アテンションを採用します。アンカーブロック、隣接ブロック、現在の雑音ブロックは互いにアテンションを向けます。これにより、コンテキストが現在のセグメントのデノイジング要件に合わせて動的に再編成され、入力忠実度を維持しつつ、誤差の蓄積と境界アーティファクトを軽減します。
• ストリーミング: セグメントは順次処理され、ストリーミング出力を可能にし、ステップごとのメモリフットプリントを制限します。

3. ステージ遷移トレーニング

ステージ II のトレーニング中に使用されるクリーンな低解像度入力と、推論中のステージ I の出力（アーティファクトを含む可能性あり）の間のギャップを埋めるため、著者は単純な遷移戦略を提案します：

• トレーニング中、ステージ II の入力は、真のラベル（ground-truth）の低解像度動画を取得し、ノイズを加え、ステージ I モデルを使用してデノイジングすることで合成されます。
• これにより、ステージ I 特有のアーティファクト（例：VAE の歪み、ちらつき）がトレーニングデータに注入され、ステージ II が運動モデリングを再導入することなく、これらの特定のインターフェースの不一致に対する頑健性を学習することを可能にします。

主要な貢献

1. SwiftI2V フレームワーク: エンドツーエンドのベースラインと比較して、総 GPU 時間を202 倍削減しながら、競争力のある 2K I2V 性能を達成する効率的なフレームワークです。これにより、単一のコンシューマー GPU（例：RTX 4090）での実用的な 2K 生成が可能になります。
2. 条件付きセグメント別生成（CSG）: 2K ストリーミング生成におけるステップごとのトークン予算を制限する新しい戦略です。自己回帰的な誤差の蓄積を防ぎ、セグメント間の整合性を維持するために、双方向コンテキスト相互作用を利用します。
3. ステージ遷移トレーニング: ステージ I のアーティファクトをステージ II のトレーニング入力に注入する単純な戦略であり、カスケード型パイプラインにおける訓練 - テストのギャップを大幅に縮小し、頑健性を向上させます。

実験結果

2K 解像度（2560×1408、81 フレーム）のVBench-I2Vベンチマークで評価：

• 性能: SwiftI2V は合計スコア6.4244を達成し、CineScale（6.3638）や LTX-2（6.3579）などの効率的なモデルを含むエンドツーエンドのベースラインを上回りました。VSR ベースのパイプラインと比較して入力固有の構造の保持が優れていることを示す、最高レベルのI2V 背景スコア（0.9975）を達成しました。
• 効率性:
  • 時間: SwiftI2V は単一の NVIDIA H800 GPU で動画を111 秒で生成します。対照的に、CineScale は 4 台の GPU で 5600 秒を要します。これは総 GPU 時間の202 倍の削減に相当します。
  • メモリ: SwiftI2V はピークメモリ使用量を33.5 GB（ステージ I で発生）に抑え、ステージ II はわずか 20.8 GB でピークに達します。これにより、メモリオフロードを伴うコンシューマーグレードの GPU（例：24GB VRAM を搭載した RTX 4090）での展開が可能になります。
• アブレーション研究: CSG を除去すると、メモリ使用量の増加とストリーミング機能の欠如を招きます。双方向相互作用を除去すると、忠実度の低下と誤差蓄積の増加を引き起こします。ステージ遷移トレーニングを除去すると、最終出力にアーティファクトが持続します。

意義と主張

本論文は、SwiftI2V が高解像度 I2V における効率性と忠実度のジレンマに成功裏に対処したと主張しています。運動生成（ステージ I）と詳細の洗練（ステージ II）を分離し、CSG を採用することで、この手法は高解像度モデルの許容しがたいコストを回避します。

著者は、このアプローチが単一のコンシューマー GPU 上で実用的な 2K I2V 生成を可能にすることを強調しており、高品質な動画合成へのハードウェアの障壁を下げています。提案されたセグメントベースのパラダイムは、スケーラブルで長尺かつインタラクティブな生成動画に向けた有望な方向性として提示されており、計算的な実行可能性と入力画像の忠実度への厳密な準拠との間のバランスを提供します。論文は、効率性が大幅に向上したものの、厳密なリアルタイム合成はまだ達成されていないことに言及し、さらなるモデル圧縮とハードウェアを考慮した推論を将来の方向性として特定しています。