技術要約: D2PO – 動的選好による拡散サンプラーの最適化

1. 問題提起

拡散確率モデル（DPM）は、画像、テキスト・トゥ・イメージ、ビデオ生成において最先端の結果を達成しているが、多くの関数評価（NFE）を必要とする反復的なサンプリングプロセスの性質により、高い計算コストに悩まされている。数値ソルバーや知識蒸留を含む様々な加速手法が存在するものの、**学生・教師回帰フレームワーク（student-teacher regression frameworks）**には根本的な限界が残っている。

これらのフレームワークでは、低NFEの「学生（student）」サンプラーが、固定された高NFEの「教師（teacher）」の軌跡や出力を模倣するように、回帰損失（例：$\ell_2$ や LPIPS）を用いて学習される。本論文は、決定的な構造的ボトルネックを特定している。すなわち、学生のNFEと教師のNFEの差が広がるにつれ（積極的な加速を実現するために一般的な要件）、回帰目的関数は、学生に対して教師の粗い軌跡への低レベルな整合性を優先させるようになる。これにより、高周波テクスチャや微細なディテールが抑制され、たとえ教師モデルが高忠実度であっても、知覚的な品質が低下するという結果を招く。既存の手法は、教師の離散化によって定義される静的なエラーフロアに縛られているため、低NFE制約下で高品質な教師の潜在能力を十分に活用できていない。

2. 手法: D2PO

これを解決するために、著者らはD2PO (Dynamic Direct Preference Optimization) を提案する。これは、サンプラーの最適化を回帰タスクから選好ベースの整列（alignment）問題へと再定義するフレームワークである。

2.1 決定論的ポリシーのためのエネルギーベースのサロゲート

拡散サンプラーに直接選好最適化（DPO）を適用する際の主要な課題は、サンプリングポリシーが決定論的（固定された数値ソルバーによって誘導される）であり、出力の尤度が退化し微分不可能になることである。D2POは、ポリシーを**エネルギーベースモデル（EBM）**としてモデル化することでこれを克服する。

• ポリシー $\pi_\phi$ は、候補サンプル $\mathbf{x}$ と決定論的サンプラーの出力 $\mathbf{x}_\phi$ との距離をエネルギー $E(\mathbf{x})$ とする滑らかなサロゲートとして定義される。
• この定式化により、DPOに必要な対数尤度比をエネルギー値の差として表現することが可能になり、最適化が実行可能となる。

2.2 新規スコアベース距離指標

LPIPSや$\ell_2$のような、高周波テクスチャのエラーを捉えることに失敗することが多い標準的な知覚指標の代わりに、D2POは学習済みの拡散スコアネットワーク $s_\theta$ から直接導出されるスコアベース・エネルギー指標を導入する。

• エネルギーは、複数のノイズレベルにおける候補サンプルとサンプラー出力のスコア予測間の不一致として定義される。
• 具体的には、距離 $d_\theta$ は、様々なタイムステップにおけるノイズ予測（$\epsilon_\theta$）の二乗 $\ell_2$ 差を測定する。
• ノイズスケジュールに沿って特定の重み付け（$w(t) = \sigma_t^2$）を用いてこれらの不一致を統合することで、この指標は粗い構造的一貫性（高ノイズレベル時）と微細なテクスチャの詳細（低ノイズレベル時）の両方を捉え、従来の指標よりも豊かな選好シグナルを提供する。

2.3 動的選好メカニズム

D2POは、学生ポリシーと共に進化する動的参照メカニズムによって、静的な教師による監督を置き換える。

• 学生サンプラー ($\phi$): 最適化対象となるターゲットポリシー（パラメータ：タイムステップ・スケジュール $S$ および CFG 重み $\omega$）。
• 敗北サンプル ($x_l$): スパースで高速なスケジュールを用いて学生によって生成され、その後、低品質な出力をシミュレートするために劣化（例：ローパスフィルタリング）させたもの。
• 勝利サンプル ($x_w$): 現在の学生のパラメータから派生した動的教師 ($\phi'$) によって生成される。この動的教師は、学生の現在のスケジュールを補間することによって作成された、より精緻で密なタイムステップ・スケジュール（例：学生の $N$ ステップに対し $2N$ ステップ）を使用する。
• 参照ポリシー ($\phi_{ref}$): 最適化を固定するために、学生の履歴を追跡するポリシー（CFG重みはEMAを介して、タイムステップはエポックごとにコピーすることで更新される）。

この動的なループは、学生が自身のより高忠実度な、密なスケジュールの近似へと整合することを促す。理論的には、これにより外部の教師によって課される固定された残留誤差ではなく、学生自身の離散化誤差を最小化するように導く。

3. 主な貢献

1. D2POフレームワーク: 決定論的ポリシーをエネルギーベースのサロゲートとしてモデル化することで、実行可能な整列目的関数を確立する、拡散サンプラーのための選好ベースの最適化フレームワーク。
2. スコアベース・エネルギー指標: 学習済みのスコアネットワークから導出され、マルチスケールの構造的およびテクスチャ的な不一致を捉える新しい距離指標。これは従来の知覚損失よりも離散化エラーの検出において優れている。
3. 動的選好ループ: 「教師」が現在の学生ポリシーの動的に洗練されたバージョンとなる自己改善メカニズム。これにより、静的な蒸留の固定エラーフロアを排除し、学生自身の離散化誤差を最小化するようにサンプラーを駆動する。
4. 包括的な検証: 様々なソルバーやデータセットにおいて、D2POが優れたサンプリングポリシーを学習し、最先端の蒸留ベースライン（LD3, GITS, DMNなど）を凌駕することを示す広範な実験。

4. 実験結果

著者らは、Stable Diffusion v1.5、ImageNet-256（潜在空間）、および InstaFlow モデルを用いたテキスト・トゥ・イメージ合成においてD2POを評価した。

• 定量的パフォーマンス:
  • 低NFE (4-5ステップ): D2POは、ベースラインと比較して、より高い知覚的品質（HPSv2およびAestheticスコア）と、有意に低いFIDスコアを達成する。これは、回帰ベースの手法が導入するボケやアーティファクトといった根本的な欠陥を効果的に修正する。
  • 高NFE (6-7ステップ): D2POは、知覚的スコアにおいて大きなリードを維持する。FIDスコアについてはベースラインと同等になるが（品質と多様性のトレードオフを反映）、知覚的品質への最適化においては依然として優位である。
  • 汎用性: D2POは、異なるODEソルバー（iPNDM, UniPC, DPM-Solver++）および現代的なバックボーン（Stable Diffusion 3.5-Medium）に汎用でき、一貫してベースラインを上回る。
• アブレーション研究:
  • 動的選好を除去した場合（固定教師に戻した場合）、性能が低下し、自己改善ループの必要性が確認された。
  • スコアベース・エネルギーをLPIPSに置き換えると、忠実度が大幅に低下し、微細なエラーを捉える指標としての能力が検証された。
• 人間による評価: ブラインド・ユーザー調査において、D2POは全体的な選好において**60.3%**の票を獲得し、LD3 (27.6%) や GITS (12.1%) を大きく引き離した。これは、指標の改善が人間の知覚品質に直結していることを裏付けている。
• 意味的整合性: D2POはベースラインよりも高いCLIPスコアも達成しており、厳格なポイントワイズ回帰よりも、選好への整列を最適化する方がプロンプトへの関連性をより良く保持できることを示唆している。

5. 意義と主張

本論文は、D2POが拡散サンプラー最適化における決定的な性能ボトルネックに対処することを主張している。回帰・教師パラダイムから動的選好整列パラダイムへと移行することで、D2POは、静的な離散化誤差に制約されることなく、高品質な教師の潜在能力を最大限に引き出す。

著者らは、このアプローチが生成バックボーンを凍結したまま、低次元のサンプリングポリシーのみを排他的に最適化するため、既存の重みチューニング手法に対して軽量かつ直交的であると断言している。動的教師メカニズムは、理論的に裏付けられた学習シグナルを提供し、学生が自身の離散化誤差を最小化するように強制する。これにより、特に厳格な低NFE制約下において、真の連続時間プロセスとより一貫し、知覚的に優れたサンプリング軌跡を実現する。