Beyond Pairwise Preferences: Listwise Reward-Aware Alignment for Diffusion Models

技術的概要：Diffusion LAIR

問題定義
テキストから画像への拡散モデルを整合させるための現在の選好最適化手法、すなわち直接選好最適化（DPO）およびその拡散固有の派生手法（Diffusion-DPO、DSPO など）は、主にペアワイズ監督に依存しています。これらの手法は、与えられたプロンプトに対する訓練データを「勝者 - 敗者」という二値比較に還元します。著者らは、この還元が以下の 2 つの主要な理由により制限的であると主張しています。

1. データ構造: 実用的な選好データセット（Pick-a-Pic など）は、単一のプロンプトに対して複数の候補画像を含むことが多く、ペアワイズ手法が無視する自然なリストワイズ構造を形成しています。
2. 情報損失: 現代の報酬モデルは連続的なスコアを提供します。これらを単一の二値ラベルに還元することは、選択されなかった候補の相対的な品質を廃棄し、サンプル間の報酬ギャップの大きさを無視します。
   さらに、既存の拡散整合のためのオンライン強化学習（RL）アプローチは、計算コストが高く、並列化が困難であり、オンポリシー性質により分布シフトに対して敏感です。オフライン手法はより効率的ですが、リストワイズで報酬スコア付けされたデータに利用可能なより豊かなシグナルを十分に活用できていません。

手法：Diffusion LAIR
本論文では、整合をリストワイズかつ報酬認識型の問題として扱うオフライン選好最適化手法であるDiffusion LAIR（Listwise Advantage-weighted Implicit Reward）を提案します。

• データ表現: 独立したペアの代わりに、本手法はプロンプト $c$ と、$N_c$ 個の候補画像の集合 $\{x^{(i)}_0\}$ およびそれに対応する連続的な報酬スコア $\{r_i\}$ を処理します。
• アドバンテージ重み付け: 報酬スコアは中心化されたアドバンテージ重み（$w_i$）に変換されます。まず、温度パラメータ $\tau$ を用いてソフトマックス確率 $p_i$ を計算します。次に、重みを均一なベースラインに対して中心化します。
  $$w_i = p_i - \frac{1}{N_c}$$
  これにより $\sum w_i = 0$ が保証され、グループ平均に対して高報酬サンプルには正の重み、低報酬サンプルには負の重みが割り当てられます。
• 最適化目的: 本手法は、暗黙的報酬に対するアドバンテージ重み付き回帰目的関数を最適化します。暗黙的報酬は、固定された参照モデル（$ref$）に対する現在のモデル（$\theta$）のデノイジング損失の改善として定義されます。
  $$s_\theta(x_0, x_t, t, c, \epsilon) = \omega(\lambda_t) (l_{ref} - l_\theta)$$
  損失関数は以下の通りです。
  $$L_{LAIR} = \mathbb{E} \left[ -\sum_{i=1}^{N_c} w_i s^{(i)}_\theta + \frac{\lambda}{N_c} \sum_{i=1}^{N_c} (s^{(i)}_\theta)^2 \right]$$
  第一項は、モデルが高報酬サンプルに対して暗黙的報酬を増加させ、低報酬サンプルに対して減少させることを促します。第二項は、暗黙的報酬の大きさを正則化する二次ペナルティであり、参照モデルからの急激な逸脱を防ぎます。

理論的解析
著者らは、この目的関数の理論的特徴付けを提供します。

1. 閉形式最適解: この目的関数は、暗黙的報酬空間において一意で有界な閉形式最適解 $s^*_i = \frac{N_c}{2\lambda} w_i$ を許容します。これにより、正則化強度 $\lambda$ が選好更新の大きさを直接制御することが明確になります。
2. 代理 KL 境界: 特定の仮定（対数比近似と有界な全支持拡張）の下で、著者らは誘導分布と参照分布との間のカルバック・ライブラー（KL）ダイバージェンスの境界を導出します。$D_{KL} \le \frac{\Delta_c}{\eta}$。これは、$\lambda$ が選好の傾きの鋭さを制御し、更新が保守的なままであることを保証することを示唆しています。
3. ペアワイズに対する優位性: 勝者と敗者の間のマージンを最大化するために暗黙的報酬を無限大に駆り立てる可能性のあるペアワイズ目的関数（Bradley-Terry など）とは異なり、LAIR のリストワイズ定式化は、候補セット全体に基づいて有限の相対的なターゲットを割り当て、ランキング構造と報酬間隔を保持します。

実験結果
本手法は、Pick-a-Pic v2データセットを用いて、Stable Diffusion 1.5（SD1.5）およびStable Diffusion XL（SDXL）で評価されました。

• 設定: 画像は PickScore 報酬モデルを用いてオフラインでスコア付けされました。モデルは、テキストから画像への生成（HPD、Parti-prompts）、構成的生成（GenEval）、および指示に基づく画像編集（InstructPix2Pix）において微調整および評価されました。
• 性能: Diffusion LAIR は、ほとんどの指標において強力なベースライン（Diffusion-DPO、DSPO、Diffusion-KTO、MaPO、InPO）を上回りました。
  • SD1.5において、Parti-prompt および HPD データセットの両方で、PickScore、HPS、Aesthetics、CLIP、ImageReward のすべての指標で最高スコアを達成しました。
  • SDXLにおいても、MaPO や Diffusion-DPO を含むベースラインを同様に上回りました。
  • 汎化性: 特筆すべきは、PickScore でのみ訓練されたにもかかわらず、モデルは他の指標（ImageReward など）で顕著な改善を示しました。これは、リストワイズ目的関数が、使用された特定の報酬モデルを超えて一般的なサンプル品質を向上させることを示唆しています。
  • 構成的および編集: 本手法は、ペアワイズベースラインと比較して、GenEval（構成的推論）および InstructPix2Pix（画像編集）の勝率において一貫した向上を示しました。
• 効率性: 訓練プロセスは、オンライン RL ベースラインよりも著しく効率的であり、他のオフライン手法と同様またはそれ以上に効率的でした。SD1.5 では約 24 GPU 時間、SDXL では 140 A100 GPU 時間を要しました。

意義と主張
本論文は、Diffusion LAIR がペアワイズ還元の制限を超えて拡散モデルを整合させるためのシンプルかつ効果的な方向性を提供すると主張しています。その主な貢献点は以下の通りです。

1. リストワイズ学習: 拡散選好最適化において、相対的なサンプル品質の完全な構造を利用するために、報酬スコア付けされた画像のグループを直接活用する最初の手法です。
2. 理論的明瞭性: 有界な閉形式最適解を提供し、正則化が分布シフトと更新の大きさをどのように制御するかについての洞察を与えます。
3. 実証的優位性: 生成、構成、編集タスク全体で強力な性能を示し、リストワイズかつ報酬認識型の最適化がペアワイズ手法よりも広範な改善をもたらすことを証明しています。

著者らは、訓練に使用された報酬モデルの品質への依存と、理論的 KL 境界における理想化された仮定という限界を指摘しています。しかし、彼らはこの手法が、人間の注釈データセットに共通するノイズの多い選好ラベルに対して頑健であると仮定しています。