技術要約：適応型1Dビデオ拡散オートエンコーダ (One-DVA)

1. 問題提起

近年のビデオ生成モデルは、ピクセル空間のビデオを潜在表現へと圧縮するために、ビデオオートエンコーダに大きく依存しています。しかし、既存のビデオオートエンコーダには、以下の3つの決定的な制限があります：

1. 固定レート圧縮: 現在のモデルは、ビデオの複雑さに関わらず固定のトークン数を使用します。これは、単純なビデオに対してトークンを浪費し、効率性を最適化できていません。単純なシーンは、複雑なテクスチャや動きを持つシーンよりも少ないトークンで済むためです。
2. 柔軟性に欠けるCNNアーキテクチャ: 従来の畳み込みニューラルネットワーク（CNN）は、固定サイズのカーネルと人間が設計した事前知識に依存しており、可変形状の入力や可変長の潜在表現を処理するには不向きです。
3. 決定論的なデコーダ: 標準的なデコーダは決定論的であり、高度に圧縮された潜在表現から適切な詳細を復元することに苦慮します。トークン数が少ない場合、損失の多い圧縮によってデコーダは欠落した詳細を推論せざるを得ず、その結果、再構成エラーが生じやすくなります。

2. 手法

著者らは、適応的な1Dエンコーディングと拡散ベースのデコーディングのために設計された、トランスフォーマーベースのフレームワークである**One-Dimensional Diffusion Video Autoencoder (One-DVA)**を提案します。

アーキテクチャ

• エンコーダ (Query-based Vision Transformer): エンコーダは、入力ビデオフレームから時空間特徴を抽出するためにVision Transformer (ViT) バックボーンを利用します。これは、これらの特徴量と自己注意（self-attention）を介して相互作用する学習可能な1Dクエリを採用し、不可欠な視覚的内容を抽出します。これにより、以下のハイブリッドな潜在表現が生成されます：
  • 構造的潜在表現 (Structural Latents): ViTバックボーンから派生し、空間構造を捉える。
  • 1D潜在シーケンス (1D Latent Sequence): クエリメカニズムを介して抽出される。
• 可変長ドロップアウト (Variable-Length Dropout): 「マトリョーシカ」型の学習戦略が適用され、可変長ドロップアウトメカニズムによって、1D潜在シーケンスを末尾から先頭に向かって動的に切り詰めます。ドロップアウト比率は、ピクセル差分から計算されたモーションスコアに基づいてサンプリングされ、モデルがビデオの複雑さに応じて潜在サイズを適応できるようにします。
• デコーダ (Pixel-Space Diffusion Transformer): デコーダは、ピクセル空間で動作するDiffusion Transformer (DiT) です。これは、潜在表現（構造的および1D）を条件付き入力として扱い、ビデオを再構成するための拡散プロセスを実行します。この生成的なアプローチにより、デコーダはデータセットの分布を学習し、欠落した詳細を補完することが可能になります。

学習戦略

One-DVAは、高い再構成忠実度と生成能力を確保するために、2段階の学習戦略を採用しています：

1. ステージ1：決定論的前学習 (Deterministic Pretraining): エンコーダは、重要な特徴を抽出するように最適化されます。デコーダは（拡散プロセスをバイパスして）純粋なランダムノイズと完全な潜在入力を受け取ります。これにより、エンコーダはデコーダの生成的な事前知識に頼ることなく、必要なすべての情報を捉えることを強制されます。
2. ステージ2：確率的事後学習 (Stochastic Post-Training): 拡散タイムステップのサンプリングと可変長ドロップアウトが導入されます。モデルは、拡散損失（フローマッチング）、知覚損失、KLダイバージェンス（潜在分布を正則化するため）、およびREPA損失を含む複合損失関数を用いて学習されます。

ダウンストリーム生成への適応

ダウンストリームの潜在拡散モデル (LDM) をサポートするために：

• 潜在空間の整合 (Latent Space Alignment): 正則化項を用いて、コサイン距離の最小化と自己類似性の最大化を通じて1D潜在表現を構造的潜在表現と整合させ、構造的な事前知識を柔軟な1Dクエリに注入します。
• デコーダの微調整 (Decoder Fine-tuning): デコーダは、学習済みLDMからサンプリングされた潜在表現（グラウンドトゥルースのエンコードされた潜在表現ではなく）を使用して微調整されます。これにより、生成プロセスにおける予測誤差によるアーティファクトを軽減し、学習時と推論時のギャップを埋めます。

3. 主な貢献

• 適応型1Dエンコーディング: クエリベースのメカニズムと可変長ドロップアウトを備えたトランスフォーマーベースのエンコーダを導入し、ビデオコンテンツに合わせた動的な圧縮率を可能にしました。
• 生成的デコーディング: ピクセル空間のDiffusion Transformerをデコーダとして実装し、再構成のパラダイムを決定論的なマッピングから条件付き生成へと転換することで、失われた詳細の復元を実現しました。
• 2段階学習と正則化: 特徴抽出の最適化と生成デコーディングを分離した新しい学習パイプラインを提供し、次世代のビデオ生成のための潜在空間とデコーダを最適化するための特定の整合および微調整技術を組み合わせました。

4. 実験結果

モデルは、ビデオ再構成および生成タスク（クラス・トゥ・ビデオおよびテキスト・トゥ・ビデオ）において評価されました。

• 再構成性能: 標準的な圧縮率（4×16×16）において、One-DVAは、最先端の3D-CNN VAE（例：CogVideoX, HunyuanVideo, Wanx2.1/2.2）と同等またはそれ以上の再構成指標（PSNR, SSIM, rFVD）を達成しています。
  • PSNR: 36.48 (HunyuanVideoの35.54に対し)。
  • rFVD: 56.96 (低いほど良い)。
• 適応型圧縮: 適応的な潜在長（モーションスコアに基づく）が、固定長ベースラインよりも優れた性能を示すことが実験で示されています。動きの激しいビデオは品質を維持するために長い潜在表現を必要とする一方、単純なビデオはより積極的に圧縮できます。
• 生成品質: 潜在拡散モデルのバックボーンとして使用した場合、One-DVAは210.9のクラス・トゥ・ビデオ gFVDを達成し、Hi-VAE + DiTの性能に匹敵しました。
  • アブレーション研究により、デコーダの微調整ステップが極めて重要であることが確認されました。これを行わない場合、性能が大幅に低下します（gFVD 274.2）。
  • 構造的潜在表現のみを使用した場合（1D 0%）、妥当な結果は得られますが、高周波情報の欠如により制限されます。

5. 意義と主張

本論文は、One-DVAが適応型ビデオトークン化と拡散ベースの生成的デコーディングを、単一のトランスフォーマーフレームワーク内で成功裏に統合したと主張しています。その主な意義は以下の通りです：

1. 効率性: 可変長のエンコーディングをサポートすることで、単純なコンテンツに対するトークンの浪費を避け、トークンの使用を最適化します。
2. 柔軟性: アテンションメカニズムを通じて、任意の形状の入力および出力を可能にすることで、CNNの構造的な硬直性を克服します。
3. 生成的再構成: ビデオ再構成を生成サブタスクとして再定義し、データ分布を学習することで、強力な圧縮中に失われた詳細を復元することを可能にします。
4. ダウンストリームの互換性: 高品質なビデオ生成のためのダウンストリーム潜在拡散モデルをサポートするために、特別に正則化および微調整された潜在空間とデコーダを提供します。

著者らは、One-DVAが高度な3D-CNN VAEと同等の再構成品質を達成しつつ、次世代のビデオ合成に必要な柔軟性と生成能力を提供すると結論付けています。