🤖 machine learning

Drifting Preference Optimization for One-Step Generative Models

Das Paper schlägt Drifting Preference Optimization (DrPO) vor, eine Online-Finetuning-Methode, die eine effiziente, einstufige Ausrichtung von deterministischen Text-zu-Bild-Generatoren unter Verwendung nicht-differenzierbarer Belohnungen ermöglicht, indem sie Richtungen für Merkmalsraum-Updates aus gerankten Proben synthetisiert, ohne dass eine Backpropagation des Belohnungsmodells erforderlich ist.

Ursprüngliche Autoren: Zhou Jiang, Yandong Wen, Zhen Liu

Veröffentlicht 2026-06-02

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Zhou Jiang, Yandong Wen, Zhen Liu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen superschnellen Künstler, der in einem Augenblick ein Bild aus einem einzigen Satz malen kann. Das ist das, was „One-Step“-Bildgeneratoren leisten. Sie sind unglaublich schnell, aber sie haben oft Schwierigkeiten, genau das zu malen, was Menschen sehen wollen. Normalerweise erfordert das Lehren dieser Künstler, damit sie besser werden, einen langsamen, komplizierten Prozess, bei dem man ihnen tausende Beispiele zeigt, winzige mathematische Fehler berechnet und ihr „Gehirn“ Stück für Stück anpasst.

Das Paper stellt eine neue Methode namens DrPO (Drifting Preference Optimization) vor. Dies ist eine intelligentere, schnellere Art, diesen superschnellen Künstler zu lehren, ohne die schweren mathematischen Berechnungen durchführen zu müssen, die normalerweise die Geschwindigkeit bremsen.

So funktioniert DrPO, unter Verwendung einfacher Analogien:

1. Das Problem: Der „Black Box“-Lehrer

Normalerweise benötigt man, um eine KI zu lehren, einen Lehrer, der sich ein Gemälde ansehen kann, genau berechnet, warum es falsch ist, und ein mathematisches Signal an den Künstler sendet, um ihn zu korrigieren.

Das Problem: Manchmal ist der Lehrer eine „Black Box“ (wir wissen nicht, wie er denkt), oder der Lehrer ist zu groß und komplex, um Signale zurückzusenden. Oder der Lehrer gibt nur eine einfache Bewertung wie „Gut gemacht“ oder „Schlecht gemacht“ ab, statt eines detaillierten Lehrplans.
Der alte Weg: Den Versuch, den Künstler durch diese Lehrer zu lehren, erfordert oft, den Künstler zu verlangsamen oder teure Computerberechnungen durchzuführen, die die „One-Step“-Geschwindigkeit unterbrechen.

2. Die Lösung: Das „Driftfeld“

DrPO verändert die Spielregeln. Anstatt den Lehrer zu bitten, ein detailliertes mathematisches Signal zurückzusenden, nutzt DrPO die Analogie eines Magnetfeldes.

Der Aufbau: Sie bitten den Künstler, 24 Bilder basierend auf demselben Prompt (wie „eine Katze auf einem Sofa“) zu malen.
Das Ranking: Sie zeigen diese 24 Bilder Ihrem Lehrer (dem Belohnungsmodell). Der Lehrer muss nicht erklären, war Warum sie gut oder schlecht sind; er rankt sie einfach. „Dieses hier ist das beste“ und „Dieses hier ist das schlechteste“.
Das Erstellen des Magneten:
- Die besten Bilder wirken wie Magnete, die die zukünftigen Gemälde des Künstlers zu sich heranziehen.
- Die schlechtesten Bilder wirken wie Abstoßer, die die zukünftigen Gemälde des Künstlers von sich wegdrücken.
Der Drift: Der Künstler muss nicht die Mathematik hinter dem Ranking kennen. Er spürt einfach einen sanften „Drift“ oder Wind im Feature-Raum (einer verborgenen Karte dessen, wie das Bild aussieht), der ihn zu den guten Magneten und weg von den schlechten Magneten drückt.

3. Das Sicherheitsnetz: Die „Eingefrorene Referenz“

Wenn man den Künstler einfach nur zu den Magneten driften lässt, könnte er sich verlieren oder anfangen, seltsame, verzerrte Bilder zu malen.

Die Lösung: DrPO behält eine „eingefrorene“ Kopie des ursprünglichen Künstlers (des Basismodells) in der Nähe.
Die Analogie: Stellen Sie sich vor, der Künstler läuft auf einem Seil. Die „Magnete“ ziehen ihn zum Ziel, aber die „eingefrorene Referenz“ fungt als Sicherheitsseil, das ihn sanft zurückzieht, wenn er beginnt, zu weit abzuweichen. Dies sorgt dafür, dass die Bilder natürlich und stabil aussehen.

4. Warum das eine große Sache ist

Geschwindigkeit: Da DrPO nur benötigt, dass der Lehrer die Bilder rankt (und nicht komplexe Mathematik an ihnen durchführt), funktioniert es mit jeder Art von Lehrer, selbst wenn diese riesig, geheim oder nur eine einfache Punktzahl liefernd sind.
Effizienz: Das Paper behauptet, dass diese Methode das Training bei der Verwendung komplexer Lehrer (wie HPSv3) um das 3,5-fache beschleunigt, weil sie den schweren Schritt der „Backpropagation“ (das Senden des mathematischen Signals) überspringt.
One-Step Inference: Das Beste daran? Der Künstler malt weiterhin in einem einzigen Schritt. Das Training wird intelligenter, aber der eigentliche Malprozess bleibt blitzschnell.

Zusammenfassung

Betrachten Sie DrPO als das Lehren eines Speed-Painters, indem man ihm eine „Hall of Fame“ (die besten Bilder) und eine „Hall of Shame“ (die schlechtesten Bilder) zeigt. Der Maler lernt, sich zur Hall of Fame zu bewegen und von der Hall of Shame wegzubewegen, geleitet von einem Sicherheitsseil, das verhindert, dass er vom Weg abkommt. Dies funktioniert selbst dann, wenn der Richter, der die Rankings vergibt, ein riesiger, komplexer Computer ist, mit dem man nicht leicht kommunizieren kann, und es hält den Maler unglaublich schnell.

Das Wichtigste: Die Autoren zeigen, dass diese Methode diesen schnellen Bildgeneratoren hilft, bessere, vom Menschen bevorzugte Bilder zu erzeugen, ohne den Generierungsprozess zu verlangsamen oder ein komplexes mathematisches Feedback vom Belohnungssystem zu benötigen.

Technisches Resümee: Drifting Preference Optimization für One-Step Generative Modelle

Problemstellung

One-Step Text-zu-Bild-Generatoren (z. B. SD-Turbo, SDXL-Turbo) sind aufgrund ihrer Fähigkeit, Bilder in einem einzigen Vorwärtspass zu generieren, äußerst attraktiv für den Einsatz in Anwendungen mit geringer Latenz und begrenzten Ressourcen. Die Ausrichtung dieser Modelle an menschlichen Präferenzen mittels Post-Training bleibt jedoch eine Herausforderung.

Standardmäßige Ausrichtungsmethoden, wie Reinforcement Learning from Human Feedback (RLHF) und Direct Preference Optimization (DPO), stützen sich typischerweise auf stochastische Policy-Wahrscheinlichkeiten, Dichteverhältnisse oder Denoising-Trajektorien – Strukturen, die in deterministischen One-Step-Generatoren nicht verfügbar oder unklar definiert sind. Während das direkte Backpropagation eines differenzierbaren Rewards durch das generierte Bild eine Alternative darstellt, erfordert dies, dass das Reward-Modell differenzierbar ist. Dieser Ansatz wird für große, auf Vision-Language-Modellen (VLM) basierende Rewards rechentechnisch prohibitiv und ist für Black-Box- oder diskrete Evaluatoren (z. B. regelbasierte Korrektheitsprüfungen) unmöglich. Folglich besteht ein Bedarf an einer Präferenz-Finetuning-Methode, die:

Mit deterministischen One-Step-Generatoren arbeitet.
Die Backpropagation durch das Reward-Modell vermeidet.
Große, Black-Box- oder nicht-differenzierbare Rewards unterstützt.
Die Fähigkeit zum Single-Forward-Pass-Inference bewahrt.

Methodik: Drifting Preference Optimization (DrPO)

Die Autoren schlagen DrPO vor, eine Online-Präferenz-Finetuning-Methode, die aus durch Reward-Rangfolgen sortierten Stichproben eine Richtungsänderung im Feature-Raum ableitet, ohne Reward-Gradienten zu benötigen. Die Methode ist inspiriert von „Drifting Models“, welche explizite Dichteschätzungen durch Driftfelder im Feature-Raum ersetzen.

Kernmechanismus

DrPO operiert durch die Konstruktion eines nicht-parametrischen Dipol-Präferenzfeldes und eines Referenz-Driftfeldes im latenten Feature-Raum.

Kandidaten-Sampling und Ranking:
Für einen gegebenen Prompt zieht der aktuelle Generator $g_\theta$ eine Charge von Kandidaten. Ein Ziel-Reward-Modell $R$ rankt diese Kandidaten. Basierend auf diesem Ranking bildet die Methode Paare aus positiven (hoch bewerteten) und negativen (niedrig bewerteten) Stichproben.
Dipol-Präferenzfeld ( $V_{pref}$ ):
Anstatt den Gradienten der Reward-Funktion zu verwenden, synthetisiert DrPO eine Update-Richtung mittels eines kerngewichteten Attraktions-Repulsions-Mechanismus.

Attraktion: Positive Stichproben ziehen die aktuelle Feature-Repräsentation in ihre Richtung.
Repulsion: Negative Stichproben drücken die Repräsentation von sich weg.
Dies wird als Dipolfeld formalisiert, bei dem die Update-Geschwindigkeit die Differenz zwischen dem Mean-Shift der positiven Stichproben und dem Mean-Shift der negativen Stichproben im Feature-Raum ist. Dieses Feld ist lokal; Punkte, die weit von den beobachteten Stichproben entfernt sind, erhalten vernachlässigbare Updates, was Extrapolationsfehler reduziert.

Referenz-Drift ( $V_{ref}$ ):
Um zu verhindern, dass der Generator zu weit von seiner ursprünglichen Verteilung abweicht (Mode Collapse oder Verlust der Treue/Fidelity), wird ein Referenz-Drift von einem eingefrorenen Basis-Generator ( $g_{ref}$ ) geschätzt. Dies fungiert als stabilisierende Kraft, ähnlich der KL-Regularisierung in Standard-RLHF, jedoch geschätzt über Sample-basierten Drift statt Likelihood-Verhältnissen.
Optimierungsziel:
Das gesamte Update-Feld ist die Summe aus dem Präferenzfeld und dem gewichteten Referenzfeld: $V_{DrPO} = V_{pref} + \lambda V_{ref}$ . Der Generator wird darauf trainiert, den Abstand zwischen seinem aktuellen Feature-Output und einem abgeschnittenen Ziel (detached target) zu minimieren:
$z^* = \text{sg}(z + \eta V_{DrPO}(z))$
wobei $z$ die Feature-Repräsentation des generierten Bildes ist, $\text{sg}$ den Stop-Gradient-Operator bezeichnet und $\eta$ eine Geschwindigkeits-Skala ist. Der Verlust ist ein einfacher mittlerer quadratischer Fehler (MSE) zwischen den aktuellen Features und dem abgeschnittenen Ziel.

Haupteigenschaften

Reward-Agnostik: Da das Reward-Modell nur zur Rangfolge der Stichproben und zur Bildung der positiven und negativen Mengen ( $A^+$ und $A^-$ ) verwendet wird, muss die Reward-Funktion selbst nicht differenziert werden. Dies ermöglicht die Nutzung von VLM-basierten Rewards (z. B. HPSv3) und diskreten Aufgaben-Evaluatoren (z. B. GenEval).
One-Step Inference: Das Training modifiziert die Gewichte des Generators, aber die Inference bleibt ein einziger Forward-Pass des aktualisierten Generators. Es ist keine Test-Time-Optimierung oder Suche erforderlich.
Offline-Erweiterung: Die Autoren schlagen eine naive Offline-Variante vor, bei der Präferenz-Paare aus einem festen Datensatz statt durch Online-Sampling gezogen werden, merken jedoch an, dass dies eine sorgfältige Handhabung der Off-Policy-Sparsity erfordert.

Wichtigste Beiträge

DrPO-Algorithmus: Eine neuartige Online-Präferenz-Finetuning-Methode für deterministische One-Step-Generatoren, die durch Rangfolge-Stichproben ein abgeschnittenes Drifting-Update erzeugt und so die Notwendigkeit der Reward-Backpropagation eliminiert.
Dipol-Präferenzfeld: Ein nicht-parametrischer Mechanismus, der Update-Richtungen im latenten Raum aus positiven und negativen Stichproben konstruiert und traditionelle Reward-Gradienten durch Sample-basierte Drifting-Updates ersetzt.
Empirische Validierung: Umfassende Evaluierung auf SD-Turbo und SDXL-Turbo über mehrere Reward-Modelle hinweg (PickScore, HPSv3, ImageReward, GenEval). DrPO zeigt eine überlegene Leistung gegenüber Reward-Gradienten-freien Baselines.
Effizienzgewinne: Demonstration, dass DrPO die Trainingsberechnungen signifikant reduziert, wenn große Reward-Modelle verwendet werden, indem es die Backpropagation durch das Reward-Modell vermeidet.

Experimentelle Ergebnisse

Die Autoren evaluierten DrPO auf SD-Turbo und SDXL-Turbo unter Verwendung von Benchmarks wie Pick-a-Pic v2, Parti-Prompts und GenEval.

Performance: Auf SDXL-Turbo erreichte DrPO die höchsten Zuwächse unter den Reward-Gradienten-freien One-Step-Baselines (DPO1-step, PSO, GRPO1-step) in Bezug auf PickScore, Aesthetic Score (AES) und ImageReward. Es näherte sich der Performance von Reward-Gradienten-basierten Methoden (wie DRaFT) an oder erreichte diese sogar, während es die Rechenkosten der Backpropagation durch den Reward vermied.
Menschliche/VLM-Präferenz: Paarweise Evaluierungen mittels Qwen3-VL zeigten, dass DrPO-generierte Bilder konsistent gegenüber Baseline-One-Step-Methoden und dem Basismodell bevorzugt wurden, was auf eine bessere Prompt-Treue und visuelle Kohärenz hindeutet.
Nicht-differenzierbare Rewards: DrPO nutzte erfolgreich GenEval-Scores (einen diskreten, nicht-differenzierbaren Metrik-Typ für kompositorische Constraints), um die Leistung bei Aufgaben wie Zählen, Farbplatzierung und Objektbindung zu verbessern, bei denen Gradienten-basierte Methoden versagen.
Effizienz: Beim Training mit dem großen HPSv3-Reward-Modell reduzierte DrPO die Update-Zeit um den Faktor 3,51× im Vergleich zu einer Baseline, die durch den Reward zurückpropagiert, unter angeglichenen effektiven Batch-Einstellungen.
Ablationen: Experimente bestätigten, dass eine Vergrößerung des Kandidaten-Pools die Stabilität verbessert und dass Latent-MAE-Features die Roh-Latent-Features für die Drift-Berechnung übertreffen. Die Methode erwies sich als robust gegenüber Kernel-Wahlen und Geschwindigkeits-Skalen.

Bedeutung und Ansprüche

Das Paper behauptet, dass DrPO eine praktische Lösung für die Ausrichtung von One-Step-Generativen Modellen an komplexen, teuren oder nicht-differenzierbaren Reward-Signalen bietet. Durch die Entkopplung der Reward-Evaluierung vom Optimierungs-Gradienten ermöglicht DrPO die Nutzung modernster VLM-basierter Reward-Modelle (wie HPSv3) für das Finetuning schneller Generatoren, ohne die prohibitiven Rechenkosten einer Differenzierung durch diese zu tragen.

Die Autoren positionieren DrPO als einen bedeutenden Schritt, um qualitativ hochwertige, latenzarme Bildgenerierung für interaktive Anwendungen zugänglich zu machen, bei denen sowohl Geschwindigkeit als auch die Ausrichtung an menschlichen Präferenzen entscheidend sind. Sie merken zudem an, dass während ihre Offline-Experimente vorläufig sind, der Ansatz der Sample-basierten Gradientensynthese eine vielversprechende Richtung für die Erweiterung der Präferenzoptimierung auf Offline-Settings darstellt, in denen Online-Sampling nicht möglich ist.

Die Arbeit beansprucht nicht, alle Alignment-Herausforderungen zu lösen; sie räumt ein, dass die Qualität des Präferenzfeldes von der Fähigkeit des Feature-Extraktors abhängt, die spezifischen optimierten Attribute zu kodieren, und dass die Methode die Limitationen des verwendeten zugrunde liegenden Reward-Modells erbt.