技術要約：ビデオ拡散トランスフォーマーにおける時間の編集可能性の実現

問題提起

現代の拡散トランスフォーマー（DiT）は、高忠実度のビデオフレームと現実的な動きの生成において顕著な成功を収めてきた。しかし、これらは限定的な時間的制御性に苦しんでいる。標準的なDiTベースのビデオ生成において、「拡散時間（diffusion time）」は、デノイジングの進行度と動きの進化の両方の代用となる、オーバーロードされた変数として機能している。その結果、時間的ダイナミクスは、明示的かつ独立して制御可能な変数としてモデル化されるのではなく、コンテンツと動きの表現に絡み合ってしまっている。

この絡み合いは曖昧さを生む。モデルは、デノイジングがどの程度進行したのかと、時間が経過するにつれて動きがどのように展開すべきなのかを区別することに苦慮する。その結果、ターゲットとなる時間グリッド（例：フレームレート/FPS）が学習時に対して変化した場合、モデルは一貫した時間的ダイナミクスを維持できなくなる。個々のフレームは妥当に生成できても、中間的な動きの質に苦戦し、関節構造（例：手足）におけるアーティファクトや、物理的なプロセス（例：霧の消散）が正しく進化することの失敗を引き起こす。既存の手法は「何が」動くか、あるいは「どこが」動くかを制御するが、時間的進行そのものを明示的に編集可能な変数にはしていない。

手法

著者らは、事前学習済みのDiTバックボーンに、**タイムアダプター（Time Adapter: TA）**と呼ばれる明示的な時間制御モジュールを拡張する手法を提案している。このアプローチは、バックボーンのアーキテクチャを再設計することなく、グローバルな動きのペース配分とローカルな時間的整合性を分離する。

コアアーキテクチャ：タイムアダプター

この手法は、軽量な加法的アダプターを介して統合される2つの補完的な時間信号を導入する：

1. グローバルFPSコンディショニング： 入力FPS（例：15, 24, 30, 60）から導出される埋め込み $E_{fps}(fps)$。これはデノイジング・コンディショニング経路を通じてグローバルな動きの速度を調整し、シーンの進化の期待されるペースを決定する。
2. ローカル潜在時間埋め込み： フレームごとの時間的位置（$\tau$）を表す埋め込み $E_{\tau}(\tau)$。これはトークンレベルでのローカルな時間的順序と対応関係を提供し、特定のフレームの進行を整列させる。

コンディショニングベクトル $e$ は次のように定式化される：
$$e = E_t(t) + E_{fps}(fps)$$
ここで、$E_t(t)$ は標準的な拡散時間埋め込みである。潜在時間埋め込みはパッチ埋め込みに加算される：
$$h_0 = \text{PatchEmbed}(x_t) + E_{\tau}(\tau)$$

この因子分解により、モデルは拡散時間を単なる暗黙的な代用として頼るのではなく、明示的に時間的進行を表現することが可能になる。アダプターは、事前学習済みバックボーンの挙動を保持するように初期化される。

学習レジーム

著者らは2つの学習戦略を評価している：

• タイムアダプター（TA）： DiTバックボーンを凍結したまま、時間的分岐（アダプター）のみを学習させる。これにより、元の生成プリバイアスが保持される。
• ファインチューンド・タイムアダプター（FTTA）： 同様の時間的コンディショニングを使用するが、DiTバックボーン全体をさらにファインチューニングする。これにより、より強力なグローバルな時間的正規化が導入される。

これらのモデルは、人間の動作や自然なプロセスを複数のFPSレジーム（24–60 FPS）にわたってカバーする、約40,000本のビデオで構成された精選されたデータセットを用いて学習される。

主な貢献

1. 明示的な時間的因子分解： 本論文は、時間をグローバルな動きのペース配分（FPS）とローカルな時間的整合性（潜在時間）に分離することで、デノイジングプロセスから時間を切り離すフレームワークを導入した。
2. バックボーンの保存： TAアプローチは、バックボーンを再設計することなく明示的な時間編集を可能にし、モデルの視覚的および構造的なプリバイスを保持しながら、制御可能なダイナミックレンジを拡張する。
3. クロスアーキテクチャ転移性： 著者らは、明示的な時間的因子分解が、異なるパラメータスケールや出力解像度を持つ異なるDiTバックボーン（Wan2.2およびKandinsky 5.0 Lite）間で転移可能であることを示している。
4. 時間的一貫性の向上： 本手法は、学習中に密な時間的遷移をモデルに露出させることで、中間的な動きの一貫性を改善し、関節のダイナミクスにおける知覚的なアーティファクトを減少させる。

実験結果

評価には、**人間による動作（Human Actions）と自然なプロセス（Natural Processes）**の2つのドメインにわたるVMBenchベンチマークを使用し、15, 24, 30, 60 FPSでテストを行った。

定量的知見

• 人間による動作： TAとFTTAは共に、ベースラインと比較してFlow AccelerationとLPIPS-Varを減少させ、より安定した短期的な遷移を示した。TAは24–60 FPSにおいて最も強いFlow Directional Consistency (FDC) を達成しており、これはターゲットFPSが学習レジームと一致する場合に、明示的なコンディショニングが中間的な動きの一貫性を向上させることを示唆している。
• 自然なプロセス： FTTAは一貫して最も強力な時間的正規化を実現し、最高のMotion Smoothness Scores (MSS) と最小のFlow Accelerationをもたらした。これは、分散した物理的プロセス（例：霧、波）を時間的コンディショニングに対してより応答性を持たせるFTTAの能力に起因する。
• 指標の限界： 著者らは、標準的な指標が必ずしも時間的品質の向上を反映しないことを指摘している。例えば、関節のアーティファクトは、知覚される動きの質を低下させているにもかかわらず、Perceptible Amplitude Score (PAS) を増加させることがあり、定量的なスコアと人間による評価の間に乖 perlu な乖離を生じさせる。

定性的および人間による評価

• サイド・バイ・サイド（SBS）評価： 人間の評価者は、関節のある人間の動きと自然さについてはTAを、分散した物理的プロセスと速度の一貫性についてはFTTAを好んだ。
• 物理的進化： 事後的なFPSリサンプリング（単にフレームを補間するもの）とは異なり、提案手法は生成される時間的進化そのものを変化させる。ターゲットFPSを上げると、単に再生がスムーズになるのではなく、シーンの進行が速くなる。
• 汎用性： Wan2.2で観察された定性的な傾向はKandinsky 5.0 Liteでも再現され、明示的な時間的因子分解がアーキテクチャ固有ではないという主張を裏付けている。

重要性と限界

重要性

本論文は、時間を単一のオーバーロードされた変数として扱うことが、現在のビデオ拡散モデルにおける根本的な限界であると主張している。時間を明示的な因子分解を通じて編集可能にすることで、著者らはより物理的に一貫し、信頼性の高いビデオ生成を可能にしている。この研究は、時間的制御性が単なるデノイジングの副産物ではなく、主要な制御可能変数になり得ることを示唆している。

限界

著者らは以下の3つの限界を明示的に認めている：

1. 学習レジームへの感度： 時間的因子分解は制御性を向上させるが、モデルは表現が不足している時間スケール（例：低FPS）に対して依然として敏感である。明示的な時間表現は、学習データに欠落している時間的プリバイスを完全に補完することはできない。
2. 固定された生成ホライゾン： 本手法は時間的ダイナミクスの制御性を高めるが、生成されるフレーム数を増やすものではない。強力な時間的加速は、アクションを実現するための利用可能な時間を圧縮し、行動の途切れを引き起こす可能性がある。
3. 評価指標： 現在の指標は、中間的な動きにおける知覚的なアーティファクトを捉えるのが難しく、定量的なスコアと知覚される時間的品質の間にギャップが生じている。

著者らは、時間を編集可能にすることは信頼できるビデオ生成への必要なステップであるが、長期間の生成には不十分であり、それには明示的な時間表現と適応的な生成長の組み合わせが必要になると結論づけている。