技術的概要：DOLLAR（蒸留と潜在報酬最適化）

問題定義

拡散確率モデルはテキストから動画（T2V）の生成において重要なブレークスルーを達成したが、その実用的な応用は計算効率の低さによって妨げられている。標準的な拡散モデルは高品質な動画を生成するために数百回の反復サンプリングステップを必要とし、リアルタイムまたはニアリアルタイムでの生成を非現実的にしている。サンプリングステップ数を削減する（少数ステップ生成）ことは効率を向上させるが、通常はトレードオフを招く：動画品質の著しい低下、多様性の喪失（モード崩壊）、または特定のユーザーの嗜好との整合性の欠如である。さらに、既存の蒸留手法は、高価な再トレーニングなしに教師モデルのパフォーマンスを上回ることや、特定のダウンストリーム要件に適応することにしばしば苦労している。

手法

著者らは、高品質で多様性のある少数ステップの動画生成を実現するために、蒸留と潜在報酬最適化を組み合わせたフレームワークDOLLARを提案する。この手法は以下の 3 つの中核コンポーネントから構成される：

1. ハイブリッド蒸留戦略（VSD + CD）

既存の蒸留手法の限界に対処するため、DOLLAR は**変分スコア蒸留（VSD）と一貫性蒸留（CD）**を統合する：

• 変分スコア蒸留（VSD）： クルバック・ライブラー（KL）ダイバージェンスを最小化することで、学生モデルのサンプル分布を教師モデルに整合させる。品質に対して効果的である一方、VSD 単独ではモード崩壊（多様性の低下）を招く可能性がある。
• 一貫性蒸留（CD）： 拡散軌道上でのサンプル予測の一貫性を保証し、多様性を促進する。しかし、CD 単独ではサンプルの忠実度が低下し、過度に滑らかな出力を生み出す可能性がある。
• 統合： 著者らは、VSD の高い忠実度と CD の多様性を活用するために、これらの損失を組み合わせる。単一ステップ近似ではなく、多ステップ教師ノイズ除去関数（$Denoise_m$）を用いる一般化された CDアプローチを採用し、生成品質を向上させている。学生モデルは教師モデルから初期化され、共役速度予測目的関数を用いて訓練される。

2. 潜在報酬モデル（LRM）の微調整

教師モデルの能力を超えたパフォーマンスの向上と、特定の指標（例：審美性、テキストとの整合性）への整合をさらに強化するため、著者らは**潜在報酬モデル（LRM）**を導入する：

• メカニズム： 大規模なピクセル空間の報酬モデルとデコーダを通じた勾配の逆伝播（メモリ集約的であり、微分可能な報酬を必要とする）の代わりに、DOLLAR はコンパクトで微分可能な報酬モデルを直接潜在空間で訓練する。
• 訓練： LRM は、生成された潜在サンプルを用いて、事前学習されたピクセル空間の報酬モデル（例：HPSv2、PickScore）のスコアを近似するように訓練される。
• 最適化： 拡散学生モデルは LRM からの勾配を用いて微調整される。このアプローチは、微分不可能な報酬指標をサポートし、デコーダや大規模な報酬モデルをバイパスすることでメモリ使用量を大幅に削減し、効率的な最適化を可能にする。

3. 多目的訓練

最終的な訓練目的関数は、蒸留損失と報酬微調整損失を組み合わせる：
$$\mathcal{L}(\theta) = \mathcal{L}_{VSD}(\theta) + \beta_{CD}\mathcal{L}_{CD}(\theta) + \beta_{FT}\mathcal{L}_{FT}(\theta; \phi)$$
ここで、$\mathcal{L}_{FT}$ は LRM からの負の期待報酬である。これにより、モデルは分布の整合性、一貫性、および特定の報酬指標を同時に最適化できる。

主要な貢献

1. 効率的な少数ステップ蒸留： VSD と CD 損失を組み合わせる蒸留手法の導入により、わずか 4 ステップで高品質かつ多様な 10 秒間（128 フレーム）の動画を生成可能にした。
2. 一般化された一貫性蒸留： 多ステップ教師ノイズ除去関数を利用することで標準的な CD を改良し、蒸留プロセスの有効性を高めた。
3. 潜在報酬最適化： コンパクトな潜在報酬モデルを用いた革新的でメモリ効率の良い微調整アプローチ。この手法は微分可能な報酬モデルの要件を排除し、大規模なピクセル空間モデルとデコーダを通じた逆伝播の必要性をなくすことで、大規模動画モデルに対する報酬ベースの調整を現実的なものにした。

実験結果

この手法は、VBenchベンチマークと人間の評価を用いて、大規模な T2V 設定（128 フレーム、12 FPS、192x320 解像度）で評価された。

• ベースラインとの性能比較： 蒸留された 4 ステップの学生モデルは（HPSv2 報酬を使用）、VBench 総スコア 82.57を達成し、教師モデル（80.25）および Gen-3（82.32）、Kling（81.85）、T2V-Turbo（81.01）を含む最先端のベースラインを上回った。
• 品質と多様性： 学生モデルは 16 項目の VBench 指標のうち 9 項目で教師モデルを上回った。CD と LRM の組み合わせは、純粋な VSD 蒸留でよく見られるモード崩壊を効果的に緩和し、高いサンプル多様性（Vendi スコアで測定）を維持した。
• 効率性： 4 ステップの学生モデルは、50 ステップの教師モデルと比較して15.6 倍の加速を達成した。1 ステップ構成では最大278.6 倍の加速を達成し、ニアリアルタイム生成を可能にした。
• 人間による評価： 対比較において、DOLLAR モデル（4 ステップ）は、一般的な嗜好において教師モデル（50 ステップ DDIM）を**51.1%**の人間評価者が好んでおり、視覚的品質スコアも著しく高かった。
• 報酬調整： LRM による微調整は、ReFL や DRaFT などの直接報酬勾配法に伴う莫大なメモリコストなしに、特定の指標（例：テキストと動画の整合性、照明）を効果的に向上させた。

意義と主張

本論文は、DOLLAR が生成効率と品質の間のトレードオフを解決することで、動画生成の最先端を大幅に進展させると主張している。蒸留と潜在報酬最適化を組み合わせることで、この手法は以下を実現する：

• リアルタイムの可能性： 拡散サンプリングを最大 278 倍まで加速し、リアルタイム動画生成アプリケーションへの道を開く。
• 教師モデルへの優位性： 蒸留された学生モデルが教師モデルのパフォーマンスを上回ることを実証し、学生のパフォーマンスが教師によって厳密に上限付けられるという概念に挑戦する。
• スケーラブルな微調整： ピクセル空間での逆伝播の計算的負担なしに、多様で微分不可能な報酬指標と動画生成モデルを整合させるための実用的な解決策を提供する。

著者らは、この手法が大幅な改善を達成している一方で、プロンプト長さのバイアス（モデルは長く記述的なプロンプトでより良いパフォーマンスを発揮する）や、特定の指標を過度に追求することで全体の視覚品質が低下する可能性のある報酬の過剰最適化といった課題が残っていることに言及している。