🤖 machine learning

Towards General Preference Alignment: Diffusion Models at Nash Equilibrium

Dieser Beitrag stellt die Diffusion Nash Preference Optimization (Diff.-NPO) vor, ein spieltheoretisches Framework, das Diffusionsmodelle ermöglicht, durch Selbstspiel gegen sich selbst eine überlegene Text-zu-Bild-Ausrichtung zu erreichen und damit die Grenzen traditioneller, auf dem Bradley-Terry-Modell basierender Präferenzmethoden zu überwinden.

Ursprüngliche Autoren: Jiaming Hu, Jiamu Bai, Haoyu Wang, Debarghya Mukherjee, Ioannis Ch. Paschalidis

Veröffentlicht 2026-05-07

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Jiaming Hu, Jiamu Bai, Haoyu Wang, Debarghya Mukherjee, Ioannis Ch. Paschalidis

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr talentierten Künstler (das Diffusionsmodell), der Bilder basierend auf Ihren Beschreibungen malen kann. Dieser Künstler wurde jedoch auf dem gesamten Internet trainiert, sodass sein Stil, obwohl er geschickt ist, nicht immer genau dem entspricht, was Sie persönlich mögen. Manchmal malt er eine Katze, die ein bisschen wie ein Hund aussieht, oder einen Sonnenuntergang, der eher wie eine Suppe aussieht.

Um dies zu beheben, unterrichten wir den Künstler normalerweise, indem wir ihm Paare von Bildern zeigen: „Ich mag dieses hier lieber als jenes." Dies wird als Präferenz-Alignment bezeichnet.

Der alte Weg: Das Problem des „Punktezählers"

Die meisten aktuellen Methoden (wie DPO) versuchen, den Künstler zu unterrichten, indem sie so tun, als gäbe es einen versteckten „Punktezähler" (ein Belohnungsmodell). Sie gehen davon aus, dass, wenn Bild A besser ist als Bild B und Bild B besser ist als Bild C, dann Bild A muss besser sein als Bild C.

Die Arbeit argumentiert, dass dies eine fehlerhafte Annahme ist. Der menschliche Geschmack ist chaotisch und manchmal zirkulär, wie das Spiel Stein-Schere-Stein:

Sie könnten einen Stein über Schere bevorzugen.
Sie könnten Schere über Papier bevorzugen.
Aber Sie könnten auch Papier über Stein bevorzugen.

Die alten Methoden versuchen, diese Entscheidungen in eine gerade Linie zu zwingen (A > B > C), was die Komplexität des echten menschlichen Geschmacks nicht erfasst. Sie verlassen sich zudem auf einen „Punktezähler", den der Computer erraten muss, was ungenau sein kann.

Der neue Weg: Das „Sparringspartner"-Spiel (Diff.-NPO)

Die Autoren schlagen eine neue Methode namens Diff.-NPO (Diffusion Nash Preference Optimization) vor. Anstatt einen Punktestand zu erraten, verwandeln sie den Trainingsprozess in ein Spiel zwischen zwei Versionen des Künstlers:

Der aktuelle Künstler: Die Version des Modells, die wir verbessern wollen.
Der vorherige Künstler: Die Version des Modells aus dem letzten Trainingsschritt (die als Gegner fungiert).

Wie das Spiel funktioniert:
Stellen Sie sich vor, der aktuelle Künstler und der vorherige Künstler befinden sich in einem Boxring. Beide erhalten denselben Prompt (z. B. „Zeichne eine Katze").

Beide malen ein Bild.
Ein Schiedsrichter (ein Präferenzprüfer) betrachtet beide und entscheidet, welches besser ist.
Der aktuelle Künstler versucht, die Runde zu gewinnen, indem er ein Bild malt, das der Schiedsrichter dem Bild des vorherigen Künstlers vorzieht.
Entscheidend ist, dass der aktuelle Künstler auch daran denken muss, nicht zu vergessen, wie man allgemein gut malt (nahe am ursprünglichen Training zu bleiben), sonst könnte er anfangen, seltsame, unsinnige Dinge nur zu malen, um das Spiel zu gewinnen.

Dies wird als Nash-Gleichgewicht bezeichnet. Das Ziel ist es, einen Punkt zu erreichen, an dem der aktuelle Künstler so gut ist, dass keine andere Strategie ihn konsistent schlagen könnte. Es ist eine „Selbstspiel"-Schleife, in der das Modell gegen sich selbst kämpft, um besser zu werden, anstatt nur zu versuchen, einen statischen Punktestand zu erfüllen.

Die Balance im „Sweet Spot"

Die Arbeit führt einen speziellen „Regler" ein (ein mathematisches Verhältnis namens $\tau/\eta$ ), der steuert, wie das Spiel gespielt wird:

Drehen Sie den Regler in die eine Richtung: Der Künstler versucht nur, den „vorherigen Künstler" zu schlagen. Dies ist wie reines Selbstspiel. Es ist aggressiv und lernt schnell, aber der Künstler könnte außer Kontrolle geraten und vergessen, wie man normale Dinge malt.
Drehen Sie den Regler in die andere Richtung: Der Künstler versucht nur, einen „Referenzkünstler" (eine feste, ursprüngliche Version) zu schlagen. Dies ist sicher und stabil, aber der Künstler könnte stecken bleiben und sich nicht viel verbessern, da das Ziel zu einfach oder zu starr ist.
Der Sweet Spot: Diff.-NPO findet den perfekten Mittelweg. Es nutzt den vorherigen Künstler, um Verbesserungen voranzutreiben (Online-Lernen), und den Referenzkünstler, um das Modell bodenständig zu halten (Stabilität).

Was passierte, als sie es ausprobierten?

Die Forscher testeten dies an beliebten Bildgeneratoren (Stable Diffusion 1.5 und SDXL) unter Verwendung eines massiven Datensatzes menschlicher Präferenzen namens Pick-a-Pic.

Das Ergebnis: Diff.-NPO schlug die alten Methoden konsistent.
Der Beweis: Als sie das neue Modell in einem „Face-off" gegen die alten Modelle antreten ließen, gewann das Diff.-NPO-Modell öfter. Es erzeugte Bilder, die Menschen (und automatisierte Richter) mehr mochten.
Visuelle Qualität: Bei direkten Vergleichen waren die Diff.-NPO-Bilder realistischer, folgten den Prompts besser und sahen kohärenter aus als Bilder, die von den älteren Methoden erstellt wurden.

Zusammenfassung

Einfach ausgedrückt sagt die Arbeit: „Hören Sie auf, einen perfekten Punktestand für das zu berechnen, was Menschen mögen, weil der menschliche Geschmack dafür zu kompliziert ist. Lassen Sie stattdessen die KI ein Spiel gegen ihr eigenes vergangenes Ich spielen, mit einem Sicherheitsnetz, das verhindert, dass sie verrückt wird. Dieser „Sparrings"-Ansatz schafft einen besseren, besser abgestimmten Künstler."

Technische Zusammenfassung: Auf dem Weg zur allgemeinen Präferenzabstimmung: Diffusionsmodelle im Nash-Gleichgewicht

Problemstellung

Reinforcement Learning from Human Feedback (RLHF) und seine rechnerisch effiziente Variante, Direct Preference Optimization (DPO), haben sich zum Standard für die Abstimmung von Text-zu-Bild (T2I)-Diffusionsmodellen mit menschlichen Präferenzen entwickelt. Allerdings erben bestehende präferenzbasierte Methoden zur Diffusionsabstimmung weitgehend das RLHF-Paradigma und verlassen sich auf implizite Belohnungssignale, die durch das Bradley–Terry (BT)-Modell induziert werden. Die Autoren argumentieren, dass die Annahme der Transitivität des BT-Modells (wenn A > B und B > C, dann A > C) die volle Komplexität menschlicher Präferenzen nicht erfasst, welche intransitiv sein können (z. B. Rock-Papier-Schere-Zyklen). Darüber hinaus wandeln aktuelle Methoden menschliche Präferenzen häufig vor der Optimierung in eine belohnungsinduzierte Funktion um, anstatt die Präferenzrelation direkt zu modellieren. Diese Arbeit vertritt die These, dass eine spieltheoretische Perspektive, speziell Nash Learning from Human Feedback (NLHF), einen robusteren Rahmen für die Diffusionsabstimmung bietet, der die restriktiven Transitivitätsannahmen des BT-Modells vermeidet.

Methodik: Diffusion Nash Preference Optimization (Diff.-NPO)

Die Autoren schlagen Diff.-NPO vor, ein allgemeines Präferenzoptimierungs-Framework, das aus einer Nash-Gleichgewichtsperspektive abgeleitet ist. Anstatt eine durch BT induzierte Wahrscheinlichkeit zu maximieren, formuliert Diff.-NPO die Abstimmung als ein Zwei-Spieler-Nullsummenspiel zwischen der aktuellen Policy ( $\pi$ ) und einer vorherigen Policy ( $\pi_{prev}$ ), regularisiert durch eine Referenz-Policy ( $\pi_{ref}$ ).

Kernframework

Spieltheoretische Formulierung: Das Ziel wird als Minimax-Spiel definiert, bei dem der „Max-Spieler" (aktuelle Policy) versucht, Proben zu generieren, die denen des „Min-Spielers" (vorherige Policy) vorgezogen werden, während beide regularisiert werden, um nahe an einer Referenz-Policy ( $\pi_{ref}$ ) zu bleiben, um eine Verteilungsdrift zu verhindern.
Online Mirror Descent (OMD): Um stabile Lern dynamiken sicherzustellen und die Instabilität gieriger Best-Response-Updates zu vermeiden, setzt die Methode Optimistic Mirror Descent mit Entropie-Regularisierung (Hedge) ein. Dies führt zu einem Self-Play-Ziel, bei dem das Policy-Update eine Best-Response auf die vorherige Policy ist, eingeschränkt durch die Referenz-Policy.
Ableitung der Verlustfunktion:
- Die Methode hebt Bildpräferenzen auf den Raum der inversen Trajektorien.
- Sie leitet einen paarweisen logistischen Verlust basierend auf den Log-Verhältnissen der Trajektorienwahrscheinlichkeiten ab.
- Das finale Ziel, $L_{Diff.-NPO}$ , kontrastiert die aktuelle Policy ( $p_\theta$ ) sowohl gegen die Referenz-Policy ( $p_{ref}$ ) als auch gegen die vorherige Policy ( $p_{prev}$ ).
- Der Verlust wird wie folgt formuliert:
  $L_{Diff.-NPO} = -\mathbb{E} \left[ \log \sigma \left( \beta \left[ \delta_\theta - \frac{\tau}{\eta}\delta_{ref} - \frac{\eta-\tau}{\eta}\delta_{prev} \right] \right) \right]$
  Dabei repräsentieren die $\delta$ -Terme die Differenz der impliziten Belohnungen (Rauschvorhersagefehler) zwischen bevorzugten ( $x^+$ ) und abgelehnten ( $x^-$ ) Proben.
- Der Hyperparameter $\gamma = \tau/\eta$ steuert die Interpolation zwischen der Referenz-Policy (DPO-Stil, $\gamma=1$ ) und der vorherigen Policy (reines Self-Play, $\gamma=0$ ).

Wichtige Unterscheidungen zu bestehenden Methoden

vs. Diffusion-DPO: Während Diffusion-DPO offline ist und die aktuelle Policy ausschließlich gegen eine feste Referenz kontrastiert, ist Diff.-NPO inhärent online und auf Self-Play ausgerichtet und bewertet Updates gegen Proben, die von der aktuellen/vorherigen Policy generiert wurden.
vs. INPO (Iterative Nash Policy Optimization): Im Gegensatz zu INPO, das einen quadratischen Verlust verwendet, der durch spezifische Populationsannahmen gerechtfertigt wird, die bei praktischen rankingbasierten Orakeln möglicherweise nicht gelten, nutzt Diff.-NPO einen paarweisen logistischen Verlust. Dies wird als stabiler erachtet, wenn Präferenzpaare deterministisch durch ein Orakel geordnet werden (Ranking generierter Proben) anstatt aus einer probabilistischen Präferenzverteilung gesampelt zu werden.

Hauptbeiträge

Theoretische Grundlage: Die Arbeit schließt die Lücke zwischen Nash Learning from Human Feedback (NLHF) und der Abstimmung von Diffusionsmodellen, indem sie die Diffusionsabstimmung als ein allgemeines Präferenzspiel formuliert, das die Bradley–Terry-Annahme vermeidet.
Algorithmus-Vorschlag: Die Einführung von Diff.-NPO, einem neuen on-policy allgemeinen Präferenzoptimierungsalgorithmus. Er vereint Standard-DPO- und Self-Play-Paradigmen in einer einzigen Formulierung, wobei der Regularisierungskoeffizient zwischen diesen Regimen interpoliert.
Explizite Modellannahmen: Das Framework macht die Annahmen hinter der Präferenzoptimierung explizit und interpretiert das Ziel als Anpassung an eine Zielverteilung, die aus der Referenz-Policy, der vorherigen Policy und dem Präferenzsignal konstruiert wird.
Empirische Validierung: Umfassende Experimente mit Stable Diffusion 1.5 (SD1.5) und SDXL unter Verwendung der Datensätze Pick-a-Pic, Parti-Prompts und HPSV2 belegen die Wirksamkeit der Methode.

Experimentelle Ergebnisse

Die Autoren bewerteten Diff.-NPO gegen Baselines, darunter Online-SFT, Online-DPO, SPIN und Seppo.

Gewinnraten: Diff.-NPO erzielte konsistent die höchsten durchschnittlichen Gewinnraten über alle Evaluierungsdatensätze (Pick-a-Pic, Parti-Prompts, HPSV2) hinweg für sowohl SD1.5 als auch SDXL.
- Bei SDXL mit Parti-Prompts verbesserte Diff.-NPO die ImageReward-Gewinnrate um 8,6 % und die Aesthetic-Score-Gewinnrate um 10,8 % im Vergleich zu Online-Diff-DPO.
- Es übertraf Online-DPO auch bei Pick-a-Pic und HPSV2.
Automatische Metriken: Die Methode zeigte eine überlegene Leistung bei automatischen Metriken (PickScore, HPSV2, CLIP, ImageReward, Aesthetic Score) im Vergleich zu Baselines.
Ablationsstudien:
- $\tau/\eta$ -Verhältnis: Die Studie bestätigte, dass ein intermediärer Wert (speziell $\tau/\eta = 1/2$ ) die beste Leistung liefert und die Hypothese validiert, dass sich ausschließlich auf die Referenz-Policy (DPO) oder ausschließlich auf die vorherige Policy (reines Self-Play) zu verlassen suboptimal ist.
- Verlustfunktion: Der Ersatz des paarweisen logistischen Ziels durch ein quadratisches Distanzziel (wie in INPO verwendet) führte zu einem erheblichen Leistungsabfall, was die Designentscheidung für den logistischen Verlust bei deterministischen Orakel-Rankings stützt.
Qualitative Analyse: Visuelle Vergleiche zeigten, dass Diff.-NPO Bilder mit besserer semantischer Abstimmung, anatomischer Korrektheit (z. B. Ganzkörperporträts) und visueller Kohärenz im Vergleich zu Baselines erzeugt.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass Diff.-NPO einen einfachen und stabilen Ansatz für die Online-Diffusionsabstimmung bietet, indem es relative Präferenzwahrscheinlichkeiten direkt durch ein Self-Play-ähnliches Ziel mit Referenz-Policy-Regularisierung optimiert.

Die Autoren behaupten, dass Nash-artiges Online-Lernen eine vielversprechende Alternative zu belohnungszentrierten Formulierungen für die Abstimmung von Diffusionsmodellen darstellt. Durch die Abkehr von den transitiven Annahmen des Bradley–Terry-Modells bietet die Methode eine allgemeinere Perspektive auf die Präferenzabstimmung. Die Arbeit legt den Grundstein für zukünftige Forschung zu Nash-artigem Lernen für Diffusionsmodelle und zeigt, dass die Vereinigung von DPO und Self-Play durch eine spieltheoretische Linse zu einer überlegenen Abstimmungsqualität führen kann.

Die Arbeit vermerkt bescheiden eine Einschränkung: Der aktuelle Präferenzentwurf stützt sich auf einen durchschnittlichen Rang von fünf Bewertungsmodellen, und die Einbeziehung eines breiteren Sets von Bewertungsmodellen könnte ein umfassenderes Signal liefern. Geplante zukünftige Arbeiten sollen das Framework auf stärkere Online-Datenerfassungsstrategien und breitere Diffusionsgenerierungs- und Bearbeitungsaufgaben erweitern.