技術サマリー：高速な画像および動画生成のための並列デコーディング蒸留（Parallel Decoding Distillation）

1. 問題提起

大規模な拡散モデル（Diffusion Models）およびフローマッチング（Flow Matching）モデルは、テキストからの画像、動画、およびマルチモーダル生成において最先端（SOTA）の結果を達成しています。しかし、それらが本質的に持つ反復的なサンプリングプロセスは、数百回のネットワーク評価（NFE）を必要とし、多大な計算コストとレイテンシを生じさせます。このボトルネックは、リアルタイムの動画生成、コンテンツ編集、インタラクティブなワールドモデリングといったアプリケーションの妨げとなっています。

既存の加速手法は、大きく以下の2つのカテゴリーに分類されます：

• 軌道ベースの手法（Trajectory-based methods）： 教師モデルの逐次的なサンプリングプロセスを、より少ないステップへと蒸留します。画像に対しては効果的ですが、動画モデルに適用する場合、品質の低下を招いたり、高コストな学習アルゴリズム（例：ヤコビアン・ベクトル積や有限差分法）を必要としたりすることがよくあります。
• 分布ベースの手法（Distribution-based methods）： 特定の軌跡を追うのではなく、生徒モデルと教師モデルの周辺分布を一致させます。動画蒸留において主流（例：Variational Score Distillationや敵対的損失の使用）ですが、モード崩壊（Mode Collapse）を引き起こし、動画の多様性の喪失や静止した動きを招く傾向があります。また、これらはしばしば交互の学習目的関数を必要とし、ハイパーパラメータに対して敏感です。

本論文は、高解像度動画生成に特化して、分布ベースの手法が抱える最適化の困難さ（モード崩壊）と、既存の軌道ベースの手法が抱える計算オーバーヘッド（JVP、有限差分）の両方を回避できる、スケーラブルな軌道ベースの蒸曲手法の必要性を指摘しています。

2. 手法：並列デコーディング蒸留（Parallel Decoding Distillation: PDD）

著者らは、拡散モデルおよびフローマッチングモデルの推論を加速するために設計された、軌道ベースの蒸曲フレームワークであるParallel Decoding Distillation (PDD) を提案します。

コアコンセプト

複数のデノイジングステップを単一の大きなステップに統合する従来の手法とは異なり、PDDは、単一のネットワーク評価で連続する複数の時間間隔に対する平均速度を予測する並列デコーダーを学習します。

• 離散化： 時間領域 $[0, 1]$ を $N$ 個の間隔に離散化します。これらはサイズ $L$ のブロックにグループ化されます。
• 並列予測： 時刻 $t_n$ における状態 $X_n$ が与えられたとき、並列デコーダー $\bar{u}_\theta$ は、ブロック $\{n, \dots, n+L-1\}$ 内のすべての $L$ 個の間隔に対する平均速度を同時に予測します：
  $$\bar{u}_\theta(n|X_n) \approx u_k(X_k), \quad k = n, \dots, n+L-1$$
  ここで、$u_k$ は第 $k$ 間隔の平均速度です。
• サンプリング： 推論時、モデルは予測された速度を用いて一度に $L$ 個の間隔を進み、総NFEを $N/L$ に削減します。学習中にブロックサイズ $L$ を変化させることで、追加の時間条件付けなしに、推論時の可変NFEをサポートします。

学習目的関数

PDDは、VSD、敵対的損失、JVP、または有限差分を必要としない、簡略化された回帰ベースの学習目的関数を採用しています。

• 教師近似： 目標となる平均速度は、学習済みの教師モデルに適用されたルンゲ＝クッタ法（オイラー法または中間点法）を用いて近似されます。
• オンポリシー学習： 損失は生徒モデル自身の出力（オンポリシー）に基づいて計算されます。生徒モデルは速度を予測し、ブロック内の軌跡をシミュレーションし、サンプリングされたステップ $k$ における生徒の予測速度と、その状態における教師の近似平均速度を比較することで損失を算出します。
• 損失関数：
  $$\mathcal{L}_{PD}(\theta) = \mathbb{E} \left[ \| \bar{u}_\theta(n|X_n) - u_k(\text{sg}(\bar{X}_k)) \|^2 \right]$$
  ここで、$\text{sg}$ はストップグラディエント演算子を表し、$\bar{X}_k$ は生徒の予測速度に従って到達した状態です。

アーキテクチャ

• バックボーン： PDDは、学習済み教師モデルと全く同じバックボーンアーキテクチャを利用します。
• 出力層： 最終的な線形層は、チャンネル次元を $N$ 回（$N$ はグリッドサイズ）繰り返すことで拡張されます。これにより、モデルは各タイムステップに対応する $N$ 個の異なる速度予測を出力できます。
• レイヤー融合： 生成時、$L$ 個の個別の線形層を適用する代わりに、重みを単一の線形層に融合し、ブロックの加重平均速度を出力します。これにより、推論時の計算コストが教師のシングルステップ評価と比較して増加しないことが保証されます。

データフリー学習

大規模モデルでデータが入手不可能な場合、PDDはデータフリーの学習スキームをサポートします。モデルは初期ノイズをサンプリングし、ソルバーのステップ（生徒自身の予測を用いて状態を進める）と学習ステップを交互に繰り返すことで、自身が生成した軌跡から事実上学習します。

3. 主な貢献

1. PDDの定式化： 単一の評価で複数の間隔に対する平均速度を予測し、フローマッチングおよび拡散モデルの高速推論を可能にする、スケーラブルな軌道ベースの蒸曲手法。
2. 簡略化された学習： JVP、有限差分、多段階学習、VSD、またはGAN損失を必要とせず、高品質かつ多様なサンプルを生成する、単一の回帰ベースの目的関数。
3. 柔軟なアーキテクチャ： 追加の時間条件付けや第2の時間座標を必要とせず、推論時に可変NFEをサポートする、あらゆる学習済みモデルと互換性のある設計。
4. 実証的検証： ImageNet-256、Qwen-Image (Text-to-Image)、Wan2.1 (Text-to-Video 1.3B/14B)、および LTX-2.3 (Text-to-Video/Audio) において、分布ベースのベースラインと比較して大幅な多様性の向上を伴うSOTA性能を実証。

4. 実験結果

著者らは、3つのタスクにわたってPDDを評価しました。

• クラス条件付き画像生成 (ImageNet-256):

  • PDDは、シングルステップ設定において競争力のあるFIDスコア（中間点法でFID 2.69）を達成し、可変NFE（1, 2, 4, 8）をサポートしながら、FreeFlowやPi-FlowといったSOTA手法と同等以上の性能を示しました。
  • この手法は、異なるハイパーパラメータにわたって安定した収束を示しました。

• テキストからの画像生成 (Qwen-Image 20B):

  • OneIG、DPG-Bench、GenEvalのベンチマークにおいて、2, 4, 8 NFEで評価。
  • PDD (Midpoint) は、4および8 NFEにおいてOneIGおよびDPG-Benchで最高の総合スコアを獲得し、DMD2、TwinFlow、Pi-Flowなどのベースラインを上回りました。
  • 極めて重要な点として、PDDは、モード崩壊を起こしたDMD2と比較して、有意に高い多様性（OneIGの多様性指標で測定）を維持しました。

• テキストからの動画生成 (Wan2.1 1.3B & 14B):

  • VBenchを用いて4および8 NFEで評価。
  • PDDはSOTAの動画品質と総合スコアを達成し、1.3Bモデルで第1位、14Bモデルで第2位（総合指標ではAnyFlowに次ぐが、多様性はより高い）となりました。
  • 多様性： PDDは、分布ベースのベースライン（DMD2、AnyFlow）と比較して優れた多様性スコアを示しました。
  • 動き（Motion）： 視覚的分析により、PDDが生成した動画は、ベースラインが生成する静止または反復的な動画と比較して、より高い程度の動きと動的な一貫性を示していることが確認されました。

• テキストからの動画/音声生成 (LTX-2.3):

  • PDDは、音声付きの10秒間 720p 動画生成のために、22BのLTX-2.3モデルをわずか8 NFEで蒸曲しました。
  • わずか250回の学習イテレーション後、PDDは学習データへのアクセスがないにもかかわらず、公式の8ステップ蒸曲モデルと同等またはそれ以上の性能を発揮しました。
  • 人間の好みの評価（Gemini 3.1 Proによる）では、プロンプトへの適合性、視覚的品質、動きの質、および音声の質において、PDDが公式の蒸曲モデルに勝利またはタイとなりました。

5. 重要性と主張

本論文は、PDDが、改善された多様性を伴う高解像度・少ステップの動画生成を可能にする最初の純粋な軌道ベースの蒸曲手法であると主張しています。

• モード崩壊の克服： 分布ベースの損失（VSD/GAN）に依存しない軌道ベースのアプローチを採用することで、現在の動画蒸曲手法によく見られるモード崩壊や動きの欠如を回避しています。
• 計算効率： 高価なJVPや有限差分を排除しており、これにより大規模モデル（最大22Bパラメータ）へのスケーリングが可能となり、データフリー学習とも互換性があります。
• 柔軟性： ブロックサイズの選択を通じて推論時の可変NFEをサポートできる能力は、多様なアプリケーションシナリオに対して実用的な利点を提供します。
• 動きと多様性： 著者らは、PDDが生成を加速するだけでなく、教師モデルの出力の「豊かさ」、特に動画生成において極めて重要な動きのダイナミクスやサンプルの多様性を保持することを強調しています。

著者らは、PDDは現在フローおよび拡散モデルに限定されているものの、並列デコーディングの原理は将来的に離散自己回帰モデルにも一般化できる可能性があると結論付けています。また、ImageNet-256を超えたデータ依存の設定におけるPDDの調査は、今後の研究課題として残されていることも述べています。