技術要約: Direct Diffusion Score Preference Optimization (DDSPO)

問題提起

拡散モデルは、特にテキストからの画像生成（text-to-image synthesis）において、生成タスクで大きな成功を収めてきました。しかし、生成された出力がユーザーの微細な意図に沿うように調整することや、高い美的品質を一貫して維持することには、しばしば苦慮します。Diffusion Direct Preference Optimization (Diffusion DPO) のような既存の好みの学習手法は、最終的なサンプルに対するペアごとの好みを学習することで、これらの問題に対処しようと試みています。

現在の Diffusion DPO のような手法における決定的な限界は、終端サンプル（$x_0$）から導出される順方向プロセス $q(x_{t-1} | x_t, x_0)$ を用いて、逆方向のデノイジング遷移を近似することに依存している点です。この近似は、推論時におけるモデルの実際の逆方向デノイジング・プロセスを反映していません。その結果、提供される監督信号はモデルの真のデノイジング軌跡と乖離しており、効果的なステップごとの監督を提供できていません。

手法

著者らは、Direct Diffusion Score Preference Optimization (DDSPO) を提案します。これは、好みの監督を最終的なサンプル空間ではなく、各拡散タイムステップにおけるスコア空間で直接定式化するフレームワークです。

コア概念: ステップごとの対照的ポリシー・ペアの監督

最終的な出力 $(x_0^w, x_0^l)$ に対して好みを定義する従来の手法とは異なり、DDSPOは、各タイムステップにおいて**対照的ポリシー・ペア（contrastive policy pair）**のデノイジング・スコアを比較することにより、ステップごとの監督を導入します。好みのラベルは、好ましいデノイジング・ポリシーと好ましくないデノイジング・ポリシーから導出される、デノイジング遷移のタプル $((x_t^w, x_{t-1}^w), (x_t^l, x_{t-1}^l))$ へと拡張されます。

目的関数は、モデルのデノイジング予測を、各ステップにおける好ましい挙動および好ましくない挙動に対応するターゲット $\boldsymbol{\epsilon}_\star^w$ および $\boldsymbol{\epsilon}_\star^l$ へと最適化します。損失関数は以下のように定義されます：
$$\mathcal{L}_{\text{DDSPO}}(\theta) = - \mathbb{E} \left[ \log \sigma \left( - \beta \cdot \left[ \| \boldsymbol{\epsilon}_\star^w - \boldsymbol{\epsilon}_\theta(x_t^w, t, c) \|_2^2 - \| \boldsymbol{\epsilon}_\star^w - \boldsymbol{\epsilon}_{\text{ref}}(x_t^w, t, c) \|_2^2 - (\| \boldsymbol{\epsilon}_\star^l - \boldsymbol{\epsilon}_\theta(x_t^l, t, c) \|_2^2 - \| \boldsymbol{\epsilon}_\star^l - \boldsymbol{\epsilon}_{\text{ref}}(x_t^l, t, c) \|_2^2) \right) \right) \right]$$
ここで、$\boldsymbol{\epsilon}_\star^w$ と $\boldsymbol{\epsilon}_\star^l$ は、順方向プロセスの近似ではなく、実際の逆方向デノイジング遷移を保持した、対照的ポリシー・ペアから得られるデノイジング・スコア・ターゲットです。

対照的ポリシー・ペアの実装形態

本論文では、対照的ポリシー・ペアを実装するための2つの実用的な方法を提案しています。

1. データ駆動型対照的ポリシー・ペア (DD-CPP):

   • 画像ペア $(x_0^w, x_0^l, c)$ の好みラベル付きデータセットを必要とします。
   • 事前学習済みの初期化から、2つの別々のモデルを微調整します。一つは好ましいサンプルに対する「勝利」モデル $\phi^w$、もう一つは好ましくないサンプルに対する「敗北」モデル $\phi^l$ です。
   • 監督ターゲットは、これら特化したモデルによって予測されるデノイジング・スコアです：$\boldsymbol{\epsilon}_\star^w \leftarrow \boldsymbol{\epsilon}_{\phi^w}(x_t, t, c)$ および $\boldsymbol{\epsilon}_\star^l \leftarrow \boldsymbol{\epsilon}_{\phi^l}(x_t, t, c)$。

2. 学習フリー対照的ポリシー・ペア (TF-CPP):

   • 追加の学習や好みのラベル付きデータを必要としません。
   • 単一の事前学習済みリファレンス・モデルを利用します。
   • 元のプロンプト $c$（好ましい）と、意味的に劣化させたバリアント $c^-$（好ましくない）を用いることで、対照的なペアを構築します。
   • 好ましいターゲットは $\boldsymbol{\epsilon}_{\text{ref}}(x_t, t, c)$ であり、好ましくないターゲットは $\boldsymbol{\epsilon}_{\text{ref}}(x_t, t, c^-)$ です。
   • このアプローチは、大きなタイムステップにおいては逆方向の更新が主に条件付け信号によって駆動されるという観察に基づいています。これにより、$c^-$ は特定の好ましくない画像 $x_0^l$ を生成することなく、意味のある負のスコア・ターゲットを提供できます。

主な貢献

1. DDSPOフレームワーク: 順方向プロセスの近似に依存することなく、対照的ポリシー・ペアを介してスコア空間における中間デノイジング・ステップを直接監督することを可能にする、好み最適化フレームワーク。
2. 実用的な実装形態: ラベル付きデータからポリシーを学習するDD-CPPと、プロンプトの劣化を用いてリファレンス・モデルから対照的な方向を構築するTF-CPPの導入。後者は報酬モデルも手動のアノテーションも必要としません。
3. 実証的検証: ステップごとの監督が、順方向プロセスに基づく監督よりも、テキスト・画像アライメントおよび美的品質の両方のタスクにおいて効果的であることを示す広範な実験。

実験結果

著者らは、Stable Diffusionのバリアント（SD-1.4, SD-1.5, SDXL）およびDiTベースのモデル（SANA, SD3-M）を用いて、テキスト・画像アライメントおよび美的品質向上のタスクでDDSPOを評価しました。

• テキスト・画像アライメント:

  • TF-CPP（人間によるアノテーションなし）を使用した場合、DDSPOはGenEvalおよびT2I-CompBenchのベンチマークにおいて、Diffusion DPO、DSPO、およびその他のベースラインと比較して、最先端（SOTA）の結果を達成しました。
  • DDSPOは、人間によるアノテーション付きのデータや報酬モデルを必要とせずに、CompBenchにおいてItercompやCaPOのようなSOTA手法を上回りました。
  • 定性的な結果は、Diffusion DPOやDSPOと比較して、条件付き分布の分離がより明確であり、複雑なプロンプトへの遵守度が高いことを示しました。

• 美的品質:

  • Pick-a-Picデータセット上でDD-CPPを使用した場合、DDSPOはSD-1.5およびSDXLに対してHPSv2およびPickScoreの指標を向上させ、Diffusion DPOおよびDiffusion KTOを上回りました。
  • TF-CPPのバリアント（人間によるデータなし）も、教師あり手法と同等の競争力を維持しました。

• アブレーション研究:

  • 異なるプロンプト劣化戦略（例：ランダムなトークン削除 vs. LLMによる書き換え）がテストされました。アライメントにはランダムな削除が最も優れた性能を示し、美的品質には美的特性に合わせて調整されたLLMベースの劣化が最も優れた性能を示しました。
  • 好ましい画像を負のターゲットとして再利用する（明示的な好ましくない画像の生成を避ける）効率的なTF-CPPのバリアントは、フルセットの設定と同等の性能を示し、フレームワークの柔軟性を強調しました。

重要性と主張

本論文の主な意義は、DDSPOがモデルの実際の逆方向デノイジング・プロセスに沿ったステップごとの監督を提供できる点にあると主張しています。順方向プロセスのサロゲート（代用物）に頼るのではなく、局所的な逆方向遷移（$x_t \to x_{t-1}$）に対して直接好みを定義することで、DDSPOはより豊かな、遷移レベルの監督を提供します。

著者らは、このアプローチがデノイジング軌道全体にわたってより堅牢な学習信号をもたらし、結果として、意味的なアライメントと美的品質の両方において一貫した改善をもたらすと断言しています。さらに、**学習フリーの対照的ポリシー・ペア（TF-CPP）**は、人間による好みの注釈の収集や報酬モデルの訓練というコストをかけることなく、高品質な好みの最適化が可能であることを示しており、この手法の高度なスケーラビリティとデータ効率性を証明しています。本研究は、DDSPOを拡散モデルおよびフローベースの生成モデルの両方に適用可能な、汎用性の高いフレームワークとして位置付けています。