テクニカルサマリー：1ステップ生成モデルのためのドリフティング・プレファレンス最適化（DrPO）

問題提起

1ステップのテキスト・トゥ・イメージ生成器（例：SD-Turbo、SDXL-Turbo）は、単一のフォワードパスで画像を生成できるため、低レイテンシかつリソース制約のあるアプリケーションへのデプロイにおいて非常に魅力的です。しかし、ポストトレーニングを通じてこれらのモデルを人間の好みに適合させる（アライメント）ことは依然として困難です。

RLHF（人間からのフィードバックによる強化学習）やDPO（直接的選好最適化）といった標準的なアライメント手法は、通常、確率的なポリシー確率、密度比、またはデノイジング・トラジェトリに依存していますが、これらは決定論的な1ステップ生成器においては利用できないか、あるいは定義が不明確な構造です。生成された画像を通じて微分可能な報酬を直接バックプロパゲーションする代替手法もありますが、これには報酬モデルが微分可能である必要があります。このアプローチは、大規模な視覚言語モデル（VLM）ベースの報酬を用いる場合には計算コストが極めて高くなり、ブラックボックス型や離散的な評価器（例：ルールベースの正当性チェック）を用いる場合には不可能です。したがって、以下の要件を満たす選好ファインチューニング手法が求められています：

1. 決定論的な1ステップ生成器で動作すること。
2. 報酬モデルのバックプロパゲーションを回避すること。
3. 大規模、ブラックボックス、または非微分的な報酬をサポートすること。
4. シングルフォワードパスの推論能力を維持すること。

手法：ドリフティング・プレファレンス最適化（DrPO）

著者らは、報酬によってランク付けされたサンプルを、報酬の勾配を必要とせずに特徴空間の更新方向に変換するオンライン選好ファインチューニング手法であるDrPOを提案しています。この手法は、明示的な密度推定を特徴空間のドリフト場に置き換える「ドリフティング・モデル」から着想を得ています。

コアメカニズム

DrPOは、潜在特徴空間において**非パラメトリックな双極子選好場（dipole preference field）と参照ドリフト場（reference drift field）**を構築することで動作します。

1. 候補サンプリングとランキング:
   与えられたプロンプトに対して、現在の生成器 $g_\theta$ がバッチの候補をサンプリングします。ターゲットとなる報酬モデル $R$ が、これらの候補をランク付けします。このランキングに基づき、手法は正例（高スコア）と負例（低スコア）のペアを形成します。

2. 双極子選好場 ($V_{pref}$):
   報酬関数の勾配を使用する代わりに、DrPOはカーネル重み付きの吸引・反発メカニズムを用いて更新方向を合成します。

   • 吸引（Attraction）: 正例のサンプルは、現在の特徴表現をそれらに引き寄せます。
     ের
   • 反発（Repulsion）: 負例のサンプルは、特徴表現をそれらから遠ざけます。
     これは、更新速度が特徴空間における正例の平均シフトと負例の平均シフトの差となる双極子場として定式化されます。この場は局所的であり、観測されたサンプルから遠い点は更新をほとんど受けないため、外挿エラーを低減します。

3. 参照ドリフト ($V_{ref}$):
   生成器が元の分布から離れすぎる（モード崩壊や忠実度の喪失）のを防ぐため、凍結されたベース生成器 ($g_{ref}$) から参照ドリフトを推定します。これは、標準的なRLHFにおけるKL正則化と同様の安定化力として機能しますが、尤度比ではなくサンプルベースのドリフトを介して推定されます。

4. 最適化目的関数:
   総更新場は、選好場と重み付き参照場の合計となります：$V_{DrPO} = V_{pref} + \lambda V_{ref}$。
   生成器は、現在の特徴出力と**切り離されたターゲット（detached target）**との距離を最小化するように訓練されます：
   $$z^* = \text{sg}(z + \eta V_{DrPO}(z))$$
   ここで、$z$ は生成された画像の特徴表現であり、$\text{sg}$ はストップグラディエント演算子、$\eta$ は速度スケールを表します。損失関数は、現在の特徴と切り離されたターゲットとの単純な平均二乗誤差です。

主な特性

• 報酬非依存性: 報酬モデルはサンプルのランク付けと正例・負例のセット（$A^+$ および $A^-$）の形成にのみ使用されるため、報酬関数自体を微分する必要はありません。これにより、VLMベースの報酬（HPSv3など）や離散的なタスク評価器（GenEvalなど）の使用が可能になります。
• 1ステップ推論: トレーニングは生成器の重みを修正しますが、推論は更新された生成器のシングルフォワードパスのままです。テスト時の最適化や探索は必要ありません。
• オフライン拡張: 著者らは、固定されたデータセットから選好ペアを抽出するナイーブなオフラインバリアントも提案していますが、オフポリシーのスパース性を慎重に扱う必要があると述べています。

主な貢献

1. DrPOアルゴリズム: 報酬のバックプロパゲーションを排除し、ランク付けされたサンプルを切り離されたドリフティング更新へと変換する、決定論的な1ステップ生成器のための新しいオンライン選好ファインチューニング手法。
2. 双極子選好場: 従来の報酬勾配をサンプルベースのドリフティング更新に置き換え、正例と負例から潜在空間の更新方向を構築する非パラメトリックなメカニズム。
3. 実証的検証: SD-TurboおよびSDXL-Turboを用いた、複数の報酬モデル（PickScore, HPSv3, ImageReward, GenEval）にわたる包括的な評価。DrPOは、報酬勾配を用いないベースラインの中で優れた性能を示しました。
4. 効率性の向上: 報酬モデルのバックプロパゲーションを不要にすることで、DrPOが報酬モデルを用いた際の訓練計算量を大幅に削減することを実証。

実験結果

著者らは、Pick-a-Pic v2、Parti-Prompts、GenEvalを含むベンチマークを用いて、SD-TurboおよびSDXL-Turbo上でDrPOを評価しました。

• パフォーマンス: SDXL-Turboにおいて、DrPOはPickScore、Aesthetic Score (AES)、およびImageRewardの観点から、報酬勾配を用いない1ステップのベースライン（DPO1-step, PSO, GRPO1-step）の中で最高の利得を達成しました。また、報酬勾配ベースの手法（DRaFTなど）に匹敵、あるいはそれを上回る性能を示しました。
• 人間/VLMの選好: Qwen3-VLを用いたペア比較評価により、DrPOが生成した画像は、ベースラインの1ステップ手法やベースモデルよりも一貫して好まれることが示され、プロンプトの忠実度と視覚的な一貫性が高いことが示されました。
• 非微分的報酬: DrPOは、GenEvalスコア（組成的な制約に関する離散的で非微分的な指標）を効果的に活用し、勾配ベースの手法が失敗するようなカウント、色の配置、オブジェクトの結合といったタスクにおいて性能を向上させました。
• 効率性: 大規模なHPSv3報酬モデルを用いて訓練する場合、DrPOは、報酬を介してバックプロパゲーションを行うベースラインと比較して、実効バッチ設定において更新時間を3.51倍短縮しました。
• アブレーション研究: 実験により、候補プールのサイズを大きくすると安定性が向上すること、およびドリフト計算において潜在MAE特徴が生の潜在特徴よりも優れていることが確認されました。また、本手法はカーネルの選択や速度スケールに対して頑健であることが分かりました。

意義と主張

本論文は、DrPOが、複雑で高価、あるいは非微分的な報酬信号に対して、1ステップ生成モデルをアライメントするための実用的な解決策を提供すると主張しています。報酬評価を最適化勾配から切り離すことで、DrPOは、報酬の微分に伴う膨大な計算コストを負うことなく、最先端のVLMベースの報酬モデル（HPSv3など）を高速な生成器のファインチューニングに利用することを可能にします。

著者らは、DrPOを、高速な低レイテンシの画像生成と、人間の好みへのアライメントの両方が極めて重要となるインタラクティブなアプリケーションにおいて、高品質な生成をアクセシブルにするための重要な一歩として位置付けています。また、オフライン実験は予備的なものであるとしつつも、サンプルベースの勾配合成アプローチは、オンラインサンプリングが不可能なオフライン設定へ選好最適化を拡張するための有望な方向性を示唆していると述べています。

本研究はすべてのアライメントの課題を解決すると主張しているわけではありません。選好場の質は、属性をエンコードする特徴抽出器の能力に依存すること、および本手法は使用される報酬モデルが持つ限界を継承することを認めています。