Technisches Resümee: Direct Diffusion Score Preference Optimization (DDSPO)

Problemstellung

Diffusionsmodelle haben signifikante Erfolge bei generativen Aufgaben erzielt, insbesondere in der Text-zu-Bild-Synthese. Sie haben jedoch häufig Schwierigkeiten, die generierten Ausgaben präzise auf die nuancierte Intention des Nutzers abzustimmen und eine konsistente ästhetische Qualität aufrechtzuerhalten. Bestehende präferenzbasierte Trainingsmethoden, wie etwa Diffusion Direct Preference Optimization (Diffusion DPO), versuchen diese Probleme zu adressieren, indem sie aus paarweisen Präferenzen über finale Stichproben lernen.

Eine kritische Einschränkung aktueller Ansätze wie Diffusion DPO ist deren Abhängigkeit von der Approximation der rückwärts gerichteten Denoising-Übergänge durch den Vorwärtsprozess $q(x_{t-1} | x_t, x_0)$, der aus terminalen Stichproben ($x_0$) abgeleitet wird. Diese Approximation spiegelt nicht den tatsächlichen reversen Denoising-Prozess des Modells während der Inferenz wider. Folglich ist das bereitgestellte Aufsichtssignal nicht mit der wahren Denoising-Trajektorie des Modells abgestimmt, was eine effektive schrittweise Aufsicht (stepwise supervision) verhindert.

Methodik

Die Autoren schlagen Direct Diffusion Score Preference Optimization (DDSPO) vor, ein Framework, das die Präferenz-Aufsicht direkt im Score-Raum an jedem Diffusions-Zeitschritt formuliert, anstatt im Raum der finalen Stichproben.

Kernkonzept: Schrittweise kontrastive Policy-Paar-Aufsicht

Im Gegensatz zu früheren Methoden, die Präferenzen über finale Ausgaben $(x_0^w, x_0^l)$ definieren, führt DDSPO eine schrittweise Aufsicht ein, indem die Denoising-Scores eines kontrastiven Policy-Paares zu jedem Zeitschritt $t$ verglichen werden. Die Präferenz-Labels werden auf Tupel von Denoising-Übergängen $((x_t^w, x_{t-1}^w), (x_t^l, x_{t-1}^l))$ erweitert, die von den bevorzugten und nicht bevorzugten Denoising-Policies abgeleitet sind.

Die Zielfunktion optimiert die Denoising-Vorhersagen des Modells in Richtung der Ziele $\boldsymbol{\epsilon}_\star^w$ und $\boldsymbol{\epsilon}_\star^l$, welche den bevorzugten bzw. nicht bevorzugten Verhaltensweisen an jedem Schritt entsprechen. Die Verlustfunktion ist definiert als:
$$\mathcal{L}_{\text{DDSPO}}(\theta) = - \mathbb{E} \left[ \log \sigma \left( - \beta \cdot \left[ \| \boldsymbol{\epsilon}_\star^w - \boldsymbol{\epsilon}_\theta(x_t^w, t, c) \|_2^2 - \| \boldsymbol{\epsilon}_\star^w - \boldsymbol{\epsilon}_{\text{ref}}(x_t^w, t, c) \|_2^2 - (\| \boldsymbol{\epsilon}_\star^l - \boldsymbol{\epsilon}_\theta(x_t^l, t, c) \|_2^2 - \| \boldsymbol{\epsilon}_\star^l - \boldsymbol{\epsilon}_{\text{ref}}(x_t^l, t, c) \|_2^2) \right) \right) \right]$$
Hierbei sind $\boldsymbol{\epsilon}_\star^w$ und $\boldsymbol{\epsilon}_\star^l$ Denoising-Score-Ziele, die aus dem kontrastiven Policy-Paar gewonnen werden und die tatsächlichen rückwärts gerichteten Denoising-Übergänge beibehalten, anstatt auf Approximationen des Vorwärtsprozesses zu basieren.

Instanziierungen des kontrastiven Policy-Paares

Das Paper schlägt zwei praktische Wege vor, um das kontrastive Policy-Paar zu instanziieren:

1. Datengetriebenes kontrastives Policy-Paar (DD-CPP):

   • Erfordert einen präferenz-labelierten Datensatz von Bildpaaren $(x_0^w, x_0^l, c)$.
   • Zwei separate Modelle werden ausgehend von einer vortrainierten Initialisierung feinjustiert: ein „Gewinner“-Modell $\phi^w$ auf bevorzugten Stichproben und ein „Verlierer“-Modell $\phi^l$ auf nicht bevorzugten Stichproben.
   • Die Aufsichtsziele sind die Denoising-Scores, die von diesen spezialisierten Modellen vorhergesagt werden: $\boldsymbol{\epsilon}_\star^w \leftarrow \boldsymbol{\epsilon}_{\phi^w}(x_t, t, c)$ und $\boldsymbol{\epsilon}_\star^l \leftarrow \boldsymbol{\epsilon}_{\phi^l}(x_t, t, c)$.

2. Trainingsfreies kontrastives Policy-Paar (TF-CPP):

   • Erfordert kein zusätzliches Training oder präferenz-labelte Daten.
   • Nutzt ein einzelnes vortrainiertes Referenzmodell.
   • Konstruiert ein kontrastives Paar durch Verwendung des ursprünglichen Prompts $c$ (bevorzugt) und einer semantisch degradierten Variante $c^-$ (nicht bevorzugt).
   • Das bevorzugte Ziel ist $\boldsymbol{\epsilon}_{\text{ref}}(x_t, t, c)$, und das nicht bevorzugte Ziel ist $\boldsymbol{\epsilon}_{\text{ref}}(x_t, t, c^-)$.
   • Dieser Ansatz nutzt die Beobachtung, dass bei größeren Zeitschritten der reversible Update-Schritt primär durch das Konditionierungssignal getrieben wird, was es $c^-$ ermöglicht, selbst ohne Generierung einer spezifischen nicht bevorzugten Stichprobe $x_0^l$ ein aussagekräftiges negatives Score-Ziel zu liefern.

Zentrale Beiträge

1. DDSPO-Framework: Ein Framework zur Präferenzoptimierung, das eine direkte Aufsicht über die intermediären Denoising-Schritte im Score-Raum mittels eines kontrastiven Policy-Paares ermöglicht und somit die Abhängigkeit von Approximationen des Vorwärtsprozesses vermeidet.
2. Praktische Instanziierungen: Die Einführung von DD-CPP (Lernen von Policies aus gelabelten Daten) und TF-CPP (Konstruktion kontrastiver Richtungen aus einem Referenzmodell mittels Prompt-Degradation), wobei Letzteres weder Reward-Modelle noch manuelle Annotationen benötigt.
3. Empirische Validierung: Umfangreiche Experimente, die zeigen, dass die schrittweise Aufsicht, die aus kontrastiven Policy-Paaren abgeleitet wird, sowohl für die Text-Bild-Ausrichtung als auch für Aufgaben der ästhetischen Qualität effektiver ist als die Aufsicht basierend auf dem Vorwärtsprozess.

Experimentelle Ergebnisse

Die Autoren evaluierten DDSPO bei Aufgaben zur Text-zu-Bild-Ausrichtung und zur Verbesserung der ästhetischen Qualität unter Verwendung von Stable Diffusion Varianten (SD-1.4, SD-1.5, SDXL) und DiT-basierten Modellen (SANA, SD3-M).

• Text-zu-Bild-Ausrichtung:

  • Unter Verwendung von TF-CPP (ohne menschlich annotierte Daten) erreichte DDSPO auf den GenEval- und T2I-CompBench-Benchmarks State-of-the-Art-Ergebnisse im Vergleich zu Diffusion DPO, DSPO und anderen Baselines.
  • DDSPO übertraf SOTA-Methoden wie Itercomp und CaPO auf CompBench, ohne menschliche Präferenzdaten oder Reward-Modelle zu benötigen.
  • Qualitative Ergebnisse zeigten eine klarere Trennung zwischen den bedingten Verteilungen und eine bessere Einhaltung komplexer Prompts im Vergleich zu Diffusion DPO und DSPO.

• Ästhetische Qualität:

  • Durch die Verwendung von DD-CPP auf dem Pick-a-Pic-Datensatz verbesserte DDSPO die HPSv2- und PickScore-Metriken gegenüber SD-1.5 und SDXL und übertraf damit Diffusion DPO und Diffusion KTO.
  • Die TF-CPP-Variante (ohne menschliche Daten) blieb mit überwachten Methoden konkurrenzfähig.

• Ablationsstudien:

  • Verschiedene Strategien der Prompt-Degradation (z. B. zufällige Token-Entfernung vs. LLM-basiertes Umschreiben) wurden getestet. Die zufällige Entfernung schnitt am besten für die Ausrichtung ab, während die LLM-basierte Degradation, die auf Ästhetik zugeschnitten war, am besten für die ästhetische Qualität geeignet war.
  • Eine effiziente Variante von TF-CPP, die bevorzugte Bilder für negative Ziele wiederverwendet (um die explizite Generierung nicht bevorzugter Bilder zu vermeiden), zeigte eine mit dem vollen Setup vergleichbare Performance, was die Flexibilität des Frameworks unterstreicht.

Bedeutung und Behauptungen

Das Paper behauptet, dass die primäre Bedeutung von DDSPO in der Fähigkeit liegt, eine schrittweise Aufsicht zu bieten, die mit dem tatsächlichen rückwärts gerichteten Denoising-Prozess des Modells abgestimmt ist. Durch die Definition von Präferenzen direkt über lokale Rückwärts-Übergänge ($x_t \to x_{t-1}$) anstatt sich auf Surrogatmodelle des Vorwärtsprozesses zu verlassen, bietet DDSPO eine reichhaltigere Aufsicht auf Übergangsebene.

Die Autoren führen an, dass dieser Ansatz zu robusteren Lernsignalen über die gesamte Denoising-Trajektorie führt, was in konsistenten Verbesserungen sowohl der semantischen Ausrichtung als auch der ästhetischen Qualität resultiert. Darüber hinaus zeigt die Trainingsfreie Kontrastive Policy-Paar-Methode (TF-CPP), dass eine hochwertige Präferenzoptimierung ohne den Aufwand der Sammlung menschlicher Präferenz-Annotationen oder das Training von Reward-Modellen erreicht werden kann, was die Methode hochgradig skalierbar und dateneffizient macht. Die Arbeit positioniert DDSPO als ein verallgemeinerbares Framework, das sowohl für Diffusions- als auch für Flow-basierte generative Modelle anwendbar ist.