技術的概要：一般化された嗜好アライメントへの道：ナッシュ均衡における拡散モデル

問題定義

人間のフィードバックに基づく強化学習（RLHF）およびその計算効率的な変種である直接嗜好最適化（DPO）は、テキストから画像への（T2I）拡散モデルを人間の嗜好に整合させるための標準的手法となっています。しかし、拡散モデルの整合化における既存の嗜好ベースの手法の多くは、RLHF パラダイムをほぼそのまま継承しており、ブラッドリー・テリー（BT）モデルによって誘発される暗黙の報酬信号に依存しています。著者らは、BT モデルの推移性（A > B かつ B > C ならば A > C）の仮定が、じゃんけんのような非推移的なサイクルを含む人間の嗜好の完全な複雑さを捉えられていないと主張します。さらに、現在の手法は、最適化を行う前に人間の嗜好を報酬誘発関数に変換する傾向があり、嗜好関係を直接モデル化していません。本論文は、ゲーム理論的視点、特に人間のフィードバックからのナッシュ学習（NLHF）が、BT モデルの制限的な推移性仮定を回避する、より堅牢な拡散モデル整合化の枠組みを提供すると提唱しています。

手法：拡散ナッシュ嗜好最適化（Diff.-NPO）

著者らは、ナッシュ均衡の視点から導き出された一般化された嗜好最適化枠組みであるDiff.-NPOを提案します。BT 誘発尤度を最大化する代わりに、Diff.-NPO は、現在のポリシー（$\pi$）と以前のポリシー（$\pi_{prev}$）との間の二人零和ゲームとして整合化を定式化し、参照ポリシー（$\pi_{ref}$）によって正則化します。

中核的枠組み

1. ゲーム理論的定式化: 目的関数は、最大プレイヤー（現在のポリシー）が最小プレイヤー（以前のポリシー）のサンプルよりも好まれるサンプルを生成しようとする一方、両者が分布のドリフトを防ぐために参照ポリシー（$\pi_{ref}$）に近い状態に保たれるよう正則化される、ミニマックスゲームとして定義されます。
2. オンライン鏡面降下法（OMD）: 安定した学習ダイナミクスを確保し、貪欲な最適応答更新の不安定性を回避するため、エントロピー正則化を伴う楽観的鏡面降下法（Hedge）を採用します。これにより、ポリシー更新が参照ポリシーによって制約された、以前のポリシーに対する最適応答となる自己対戦目的が導かれます。
3. 損失関数の導出:
   • 本手法は、画像レベルの嗜好を逆方向の軌道空間へと持ち上げます。
   • 軌道確率の対数比に基づき、ペアワイズ・ロジスティック損失を導出します。
   • 最終的な目的関数$L_{Diff.-NPO}$は、現在のポリシー（$p_\theta$）を、参照ポリシー（$p_{ref}$）および以前のポリシー（$p_{prev}$）の両方と比較します。
   • 損失は以下のように定式化されます：
     $$L_{Diff.-NPO} = -\mathbb{E} \left[ \log \sigma \left( \beta \left[ \delta_\theta - \frac{\tau}{\eta}\delta_{ref} - \frac{\eta-\tau}{\eta}\delta_{prev} \right] \right) \right]$$
     ここで、$\delta$項は、好ましいサンプル（$x^+$）と棄却されたサンプル（$x^-$）との間の暗黙の報酬（ノイズ予測誤差）の差を表します。
   • ハイパーパラメータ $\gamma = \tau/\eta$ は、参照ポリシー（DPO 風、$\gamma=1$）と以前のポリシー（純粋な自己対戦、$\gamma=0$）との間の補間を制御します。

既存手法との主な相違点

• Diffusion-DPO との比較: Diffusion-DPO がオフラインであり、現在のポリシーを固定された参照ポリシーとのみ比較するのに対し、Diff.-NPO は本質的にオンラインであり、自己対戦指向です。更新は、現在の/以前のポリシーによって生成されたサンプルに対して評価されます。
• INPO（反復ナッシュポリシー最適化）との比較: INPO が、実用的なオラクルベースのランキングでは成り立たない可能性のある特定の人口仮定によって正当化される二乗損失を使用するのに対し、Diff.-NPO はペアワイズ・ロジスティック損失を利用します。これは、確率的嗜好分布からサンプリングされるのではなく、オラクルによって生成されたサンプルをランキング付けすることで嗜好ペアが決定論的に順序付けられる場合に、より安定していると主張されます。

主な貢献

1. 理論的基盤: 本論文は、人間のフィードバックからのナッシュ学習（NLHF）と拡散モデルの整合化の間のギャップを埋め、BT 仮定を回避する一般化された嗜好ゲームとして拡散整合化を定式化します。
2. アルゴリズムの提案: 標準的な DPO と自己対戦パラダイムを単一の定式化内で統合し、正則化係数がこれらの領域間で補間する、新しいオンポリシー一般化嗜好最適化アルゴリズムDiff.-NPOの導入。
3. 明示的なモデル化仮定: 嗜好最適化の背後にある仮定を明示し、目的関数を参照ポリシー、以前のポリシー、および嗜好信号から構築されたターゲット分布への適合として解釈します。
4. 実証的検証: Pick-a-Pic、Parti-Prompts、HPSV2 データセットを使用した Stable Diffusion 1.5（SD1.5）および SDXL における広範な実験により、本手法の有効性を実証しました。

実験結果

著者らは、Diff.-NPO を Online-SFT、Online-DPO、SPIN、Seppo などのベースラインと比較評価しました。

• 勝利率: Diff.-NPO は、SD1.5 および SDXL の両方において、すべての評価データセット（Pick-a-Pic、Parti-Prompts、HPSV2）で最も高い平均勝利率を達成しました。
  • Parti-Prompts における SDXL において、Diff.-NPO は Online-Diff-DPO に対して ImageReward 勝利率を 8.6%、Aesthetic Score 勝利率を 10.8% 向上させました。
  • Pick-a-Pic および HPSV2 においても、Online-DPO を上回りました。
• 自動指標: 本手法は、ベースラインと比較して、自動指標（PickScore、HPSV2、CLIP、ImageReward、Aesthetic Score）において優れた性能を示しました。
• アブレーション研究:
  • $\tau/\eta$ 比率: 中間値（特に $\tau/\eta = 1/2$）が最良の性能をもたらすことが確認され、参照ポリシー（DPO）のみに依存するか、以前のポリシー（純粋な自己対戦）のみに依存することは最適ではないという仮説が検証されました。
  • 損失関数: ペアワイズ・ロジスティック目的関数を INPO で使用されるような二乗距離目的関数に置き換えると、性能が大幅に低下しました。これは、決定論的オラクルランキングに対するロジスティック損失の設計選択を支持するものです。
• 定性的分析: 視覚的比較により、Diff.-NPO はベースラインと比較して、より優れた意味的整合性、解剖学的正確性（例：全身ポートレート）、および視覚的一貫性を有する画像を生成することが示されました。

意義と主張

本論文は、参照ポリシー正則化を伴う自己対戦風目的関数を通じて相対的嗜好確率を直接最適化することにより、Diff.-NPO がオンライン拡散整合化に対するシンプルで安定したアプローチを提供すると主張しています。

著者らは、ナッシュ風オンライン学習が、拡散モデルの整合化に対する報酬中心の定式化に対する有望な代替手段であると述べています。ブラッドリー・テリーモデルの推移的仮定から離れることで、この手法は嗜好整合化に対するより一般的な視点を提供します。この研究は、拡散モデルに対するナッシュ風学習の将来の研究の基盤を確立し、ゲーム理論的レンズを通じて DPO と自己対戦を統合することが、優れた整合化の質をもたらすことを実証しています。

本論文は控えめに、現在の制約として、現在の嗜好構築は 5 つのスコアリングモデルの平均ランクに依存しており、より広範なスコアリングモデルの組み合わせにより、より包括的な信号が得られる可能性があることに言及しています。今後の研究では、この枠組みをより強力なオンラインデータ収集戦略およびより広範な拡散生成および編集タスクに拡張する計画です。