Beyond Pairwise Preferences: Listwise Reward-Aware Alignment for Diffusion Models

Technische Zusammenfassung: Diffusion LAIR

Problemstellung
Aktuelle Methoden zur Präferenzoptimierung zur Ausrichtung von Text-zu-Bild-Diffusionsmodellen, wie die Direct Preference Optimization (DPO) und ihre diffusionspezifischen Varianten (z. B. Diffusion-DPO, DSPO), stützen sich weitgehend auf paarweise Überwachung. Diese Methoden reduzieren Trainingsdaten auf binäre „Gewinner-Verlierer"-Vergleiche für einen gegebenen Prompt. Die Autoren argumentieren, dass diese Reduktion aus zwei Hauptgründen limitierend ist:

1. Datenstruktur: Praktische Präferenzz Datensätze (z. B. Pick-a-Pic) enthalten oft mehrere Kandidatenbilder für einen einzelnen Prompt, was eine natürliche listenweise Struktur schafft, die paarweise Methoden ignorieren.
2. Informationsverlust: Moderne Belohnungsmodelle liefern kontinuierliche Scores. Die Reduktion dieser auf ein einziges binäres Label verwirft die relative Qualität nicht ausgewählter Kandidaten und ignoriert die Größe der Belohnungslücken zwischen den Proben.
   Darüber hinaus sind bestehende Online-Reinforcement-Learning (RL)-Ansätze für die Diffusionsausrichtung rechenintensiv, schwer zu parallelisieren und aufgrund ihres on-policy-Charakters empfindlich gegenüber Verteilungsverschiebungen. Während Offline-Methoden effizienter sind, haben sie das reichhaltigere Signal in listenweisen, belohnungsbewerteten Daten nicht vollständig genutzt.

Methodik: Diffusion LAIR
Die Arbeit schlägt Diffusion LAIR (Listwise Advantage-weighted Implicit Reward) vor, eine Offline-Präferenzoptimierungsmethode, die Ausrichtung als ein listenweises, belohnungsbewusstes Problem behandelt.

• Datenrepräsentation: Anstelle unabhängiger Paare verarbeitet die Methode einen Prompt $c$ mit einer Menge von $N_c$ Kandidatenbildern $\{x^{(i)}_0\}$ und ihren entsprechenden kontinuierlichen Belohnungsscores $\{r_i\}$.
• Advantage-Gewichtung: Die Belohnungsscores werden in zentrierte Advantage-Gewichte ($w_i$) umgewandelt. Zuerst wird eine Softmax-Wahrscheinlichkeit $p_i$ unter Verwendung einer Temperatur $\tau$ berechnet. Anschließend werden die Gewichte gegen eine uniforme Basislinie zentriert:
  $$w_i = p_i - \frac{1}{N_c}$$
  Dies stellt sicher, dass $\sum w_i = 0$ gilt, wobei hohe Belohnungsproben positive Gewichte und niedrige Belohnungsproben negative Gewichte relativ zum Gruppenmittelwert erhalten.
• Optimierungsziel: Die Methode optimiert ein advantage-gewichtetes Regressionsziel auf dem impliziten Reward. Der implizite Reward ist definiert als die Verbesserung des Denoising-Verlusts des aktuellen Modells ($\theta$) gegenüber einem festen Referenzmodell ($ref$):
  $$s_\theta(x_0, x_t, t, c, \epsilon) = \omega(\lambda_t) (l_{ref} - l_\theta)$$
  Die Verlustfunktion lautet:
  $$L_{LAIR} = \mathbb{E} \left[ -\sum_{i=1}^{N_c} w_i s^{(i)}_\theta + \frac{\lambda}{N_c} \sum_{i=1}^{N_c} (s^{(i)}_\theta)^2 \right]$$
  Der erste Term ermutigt das Modell, den impliziten Reward für Proben mit hoher Belohnung zu erhöhen und für Proben mit niedriger Belohnung zu verringern. Der zweite Term ist eine quadratische Strafe, die die Größe des impliziten Rewards regularisiert und eine aggressive Abweichung vom Referenzmodell verhindert.

Theoretische Analyse
Die Autoren liefern eine theoretische Charakterisierung des Ziels:

1. Geschlossene Optimumsform: Das Ziel erlaubt ein eindeutiges, beschränktes geschlossenes Optimum im Raum des impliziten Rewards: $s^*_i = \frac{N_c}{2\lambda} w_i$. Dies verdeutlicht, dass die Regularisierungsstärke $\lambda$ die Größe der Präferenzaktualisierung direkt steuert.
2. Surrogat-KL-Schranke: Unter spezifischen Annahmen (Log-Ratio-Approximation und beschränkte Erweiterung mit vollem Support) leiten die Autoren eine Schranke für die Kullback-Leibler-Divergenz (KL) zwischen der induzierten Verteilung und der Referenzverteilung ab: $D_{KL} \le \frac{\Delta_c}{\eta}$. Dies legt nahe, dass $\lambda$ die Schärfe der Präferenzneigung steuert und sicherstellt, dass die Aktualisierung konservativ bleibt.
3. Vorteil gegenüber paarweisen Ansätzen: Im Gegensatz zu paarweisen Zielen (z. B. Bradley-Terry), die den impliziten Reward ins Unendliche treiben können, um den Margin zwischen Gewinner und Verlierer zu maximieren, weist die listenweise Formulierung von LAIR endliche, relative Ziele basierend auf der gesamten Kandidatenmenge zu, wodurch die Ranking-Struktur und der Belohnungsabstand erhalten bleiben.

Experimentelle Ergebnisse
Die Methode wurde an Stable Diffusion 1.5 (SD1.5) und Stable Diffusion XL (SDXL) unter Verwendung des Pick-a-Pic v2-Datensatzes evaluiert.

• Setup: Bilder wurden offline mit dem PickScore-Belohnungsmodell bewertet. Die Modelle wurden feinabgestimmt und bei der Text-zu-Bild-Generierung (HPD, Parti-prompts), der kompositorischen Generierung (GenEval) und der instruktionsbasierten Bildbearbeitung (InstructPix2Pix) evaluiert.
• Leistung: Diffusion LAIR übertraf starke Baselines (Diffusion-DPO, DSPO, Diffusion-KTO, MaPO, InPO) bei den meisten Metriken.
  • Bei SD1.5 erzielte es die höchsten Scores bei PickScore, HPS, Aesthetics, CLIP und ImageReward sowohl für die Parti-prompt- als auch für die HPD-Datensätze.
  • Bei SDXL übertraf es ebenfalls die Baselines, einschließlich MaPO und Diffusion-DPO.
  • Generalisierung: Bemerkenswerterweise zeigte das Modell trotz des Trainings nur mit PickScore signifikante Verbesserungen bei anderen Metriken (z. B. ImageReward), was darauf hindeutet, dass das listenweise Ziel die allgemeine Probenqualität über das spezifisch verwendete Belohnungsmodell hinaus verbessert.
  • Komposition & Bearbeitung: Die Methode zeigte konsistente Gewinne bei GenEval (kompositorisches Schlussfolgern) und InstructPix2Pix (Bildbearbeitung) in Bezug auf Gewinnquoten im Vergleich zu paarweisen Baselines.
• Effizienz: Der Trainingsprozess war deutlich effizienter als Online-RL-Baselines und vergleichbar oder effizienter als andere Offline-Methoden und erforderte etwa 24 GPU-Stunden für SD1.5 und 140 A100-GPU-Stunden für SDXL.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass Diffusion LAIR eine einfache und effektive Richtung zur Ausrichtung von Diffusionsmodellen bietet, indem es über die Grenzen der paarweisen Reduktion hinausgeht. Seine Hauptbeiträge sind:

1. Listenweises Lernen: Es ist die erste Methode, die direkt Gruppen von belohnungsbewerteten Bildern für die Diffusionspräferenzoptimierung nutzt und die vollständige Struktur der relativen Probenqualität auswertet.
2. Theoretische Klarheit: Es bietet ein beschränktes geschlossenes Optimum und liefert Einblicke darin, wie Regularisierung Verteilungsverschiebungen und die Größe der Aktualisierung steuert.
3. Empirische Überlegenheit: Es demonstriert starke Leistung bei Generierungs-, Kompositions- und Bearbeitungsaufgaben und beweist, dass listenweise, belohnungsbewusste Optimierung breitere Verbesserungen liefert als paarweise Methoden.

Die Autoren weisen auf Einschränkungen hin, insbesondere die Abhängigkeit von der Qualität des für das Training verwendeten Belohnungsmodells und die idealisierten Annahmen in der theoretischen KL-Schranke. Sie gehen jedoch davon aus, dass die Methode robust gegenüber verrauschten Präferenzlabels ist, wie sie in menschlich annotierten Datensätzen üblich sind.