技術サマリー：AtlasVid

問題定義

最近の拡散ベースの動画生成モデルは、高い視覚忠実度とプロンプト制御性を達成しているが、これらを超解像度（UHR）および長時間の動画に拡張することは、依然として極めて高コストである。主なボトルネックは、Diffusion Transformers（DiT）における全アテンション機構の二次的な計算複雑性（$O((HWT)^2)$）にあり、ここで$H$、$W$、$T$はそれぞれ高さ、幅、時間長を表す。これらの次元を2倍にすると、計算コストは64倍に増加する。

既存のアプローチは重大なトレードオフに直面している：

• ネイティブ高解像度トレーニング： ネイティブの4K以上の長時間動画の大規模データセットと、広範な計算リソース（例：32〜64 GPUクラスター）を必要とし、これらは希少かつ高価である。
• 生成後スーパー解像度： 「疑似高解像度」パイプラインは鮮明さを向上させるが、豊かな高周波詳細の回復や意味論的誤りの修正に失敗することが多い。
• 自己回帰的スティッチング： クリップを逐次的に生成すると、大域的な時間的整合性やシーン構造において不整合が生じることが多い。
• 長時間のシングルショット生成： クリップ遷移なしに、4K以上の解像度で連続した長時間の動画（例：>10秒）を生成することは、現在のモデルでは依然としてほぼ不可能である。

手法：AtlasVid

AtlasVidは、大域的意味構造と局所的高周波詳細の生成を分離する非結合型グローバル・ローカルモデリングフレームワークを提案する。このアプローチは解像度非依存のトレーニングを可能にし、主に720Pでトレーニングされたモデルが4K以上に直接汎化することを可能にする。

1. 非結合型2段階パイプライン

このフレームワークは2つの明確な段階で動作する：

• 段階1：大域的意思代理生成。
  • 意味生成器は、大域的意思代理として機能する低解像度・低フレームレートの動画を生成する。
  • トークン数を増やすことなく時間的視野を拡張するために、この手法は時間スケール付きRoPE（回転位置エンベディング）を採用する。時間インデックスを係数$r_t$（例：$r_t=4$）でスケーリングすることで、モデルは隣接するフレームをより大きな時間間隔で隔てられたものとして解釈する。これにより、短いシーケンス（例：81フレーム）が、同じ計算コストを維持しながら長い時間（例：20秒）を表すことができる。
• 段階2：高解像度詳細生成。
  • 大域的意思代理に導かれ、詳細ブランチが最終的なUHR動画を生成するために共同ノイズ除去を行う。
  • この段階では、階層的局所性保持アテンション機構を利用する。フラット化されたトークンシーケンスに対して全アテンションや単純なウィンドウアテンションを適用する代わりに、潜在動画ボリュームを時空間キューブに分割する。トークンは、同じキューブ内のトークンが連続するように再順序付けられる。
  • 局所性保持アテンション： これらの再順序付けされたシーケンスにウィンドウアテンションを適用し、アテンションウィンドウが時空間における実際の幾何学的近傍に対応することを保証する。これにより、事前学習モデルの微細な局所詳細の合成能力を維持しつつ、複雑性を低減する。

2. 効率的な共同ノイズ除去

• 非対称階層アテンション： 大域的意思トークン（$X_{global}$）と詳細トークン（$X_{detail}$）を連結する。アテンションマスクは非対称に設計される：
  • $X_{global}$は自分自身のみ（無制限）にアテンションする。
  • $X_{detail}$は自身の局所的近傍（局所性保持アテンションを介して）と、整列された大域的意思トークンにアテンションする。
  • $X_{global}$は$X_{detail}$にアテンションしないよう（マスク値$-\infty$）制限され、一方向の意味論的ガイダンスフローが強制される。
• 位置整合： 大域的意思が正しい時空間領域を導くことを保証するために、大域トークンのRoPE座標を解像度比（$W/w, H/h, T/t$）でスケーリングし、高解像度潜在グリッドにマッピングする。
• トレーニング戦略： モデルは720Pデータ上でLoRA（低ランク適応）を使用してトレーニングされる。詳細ブランチのフィードフォワード層は、事前学習された局所的生成能力を維持するために凍結されたままとし、アテンション投影と大域的条件付け層のみを適応させる。オプションの軽量な微調整段階では、短い4Kクリップを使用してフィードフォワード層を微調整できる。

3. 推論効率

• 分類器フリーガイダンス（CFG）の除去： 大域的意思が決定的な意味論的ターゲットを提供するため、AtlasVidは推論中のCFGの必要性を排除し、生成を大幅に高速化する。
• 解像度非依存性： 720Pでトレーニングされたモデルは、メインの生成タスクにネイティブ高解像度トレーニングデータを必要とすることなく、4Kおよび8Kに直接汎化する。

主な貢献

1. 非結合型グローバル・ローカルモデリング： 大域的意思モデリングと局所詳細合成を分離する新規フレームワークであり、DiTアーキテクチャの二次的なスケーリングボトルネックに対処する。
2. 解像度非依存トレーニング： 著者の知る限り、ネイティブな4Kトレーニングデータセットに依存することなく、空間解像度（4K以上まで）と時間的持続時間（321フレームまで）を同時にスケーリングする最初の手法。モデルは720Pでトレーニングされ、より高解像度に汎化する。
3. 効率性とアクセシビリティ：
   • 4KにおいてWan2.1-1.3Bベースラインと比較して60.9倍の高速化を達成。
   • 8K生成においてFlashAttentionと比較して、層ごとのアテンションFLOPsを最大1208.2倍削減。
   • トレーニングにNVIDIA RTX Pro 6000 GPU 2枚のみを必要とし（他の手法では32〜64 GPU）、4K 81フレーム動画の推論を単一GPUで約29分以内に実行可能。
4. 局所性保持アテンション： トークンを再順序付けして幾何学的局所性を維持する機構であり、動画の時空間構造を尊重する効果的な疎アテンションを可能にする。

実験結果

• 定性的性能： AtlasVidは、安定した構造と微細な詳細を備えた、一貫性のある長時間動画（例：8K 29フレーム、4K 161フレーム、2K 321フレーム）を生成する。長時間にわたる時間的整合性の維持や構造的アーティファクト（例：変形するオブジェクト、色の変化）の回避において、ネイティブ4K生成モデル（T3-VideoやUltraGenなど）を上回る。
• 定量的指標： VBenchおよび高解像度指標（HD-FVD、HD-LPIPS）において、AtlasVidは4K生成手法の中で最高の性能を達成し、720Pベースモデルと競合する性能を維持する。
  • HD-FVD： 284.71（低いほど良い）で、T3-Video（311.29）およびUltraGen（432.71）を上回る。
  • 動きと意味論： 被写体の一貫性、背景の一貫性、動きの滑らかさにおいて高いスコア。
• アブレーション研究：
  • 大域的意思代理を除去すると一貫性のない生成となり、大域的意思条件付けの必要性が確認される。
  • 局所性保持アテンションを除去するとモデルは4Kへのスケーリングに失敗し、単純なブロックアテンションでは汎化できない。
  • オプションの4K微調整は自然さを向上させるが、妥当な4K生成には厳密に必要ではなく、720Pトレーニングベースの堅牢性を示している。

意義と主張

本論文は、AtlasVidが事前学習モデルがすでに高解像度詳細に必要な局所的視覚事前知識を備えていることを実証することで、UHR長時間動画生成のパラダイムを根本的に変えることを主張する。主な課題は生成能力の欠如ではなく、長距離依存関係のモデリング効率である。

これらのタスクを非結合することで、AtlasVidは以下を実現する：

• アクセスの民主化： UHR動画生成の参入障壁を下げ、大規模GPUクラスターへのアクセスを持たない学術グループや独立したクリエイターにも実現可能にする。
• 環境負荷の削減： 二次アテンションを線形複雑性の局所性保持変種に置き換えることで、UHRモデルのトレーニングおよびサービス提供に伴うエネルギーと炭素フットプリントを劇的に削減する。
• 新たな応用の実現： 高空間詳細と長時間の時間的整合性の両方を必要とするシネマティックなロングテイク、ドキュメンタリースタイルの映像、プロフェッショナルなコンテンツの生成を、クリップスティッチングに依存することなく可能にする。

著者は限界を認め、段階1の意味論的代理における誤りが最終出力に伝播する可能性があり、またこの手法は蒸留などの他の加速技術と直交しており、これにより速度をさらに向上できる可能性があると指摘している。