🤖 AI

Diff-Instruct with Diffused Reward: Towards Principled One-step Generator RL

Das Papier schlägt Diff-Instruct mit Diffused Reward (DIDR) vor, ein datenfreies Framework, das einstufige Bildgeneratoren durch die Propagierung belohnungsgekippter Verteilungen über die Diffusionstrajektorie hinweg mit menschlichen Präferenzen in Einklang bringt und dabei im Vergleich zu bestehenden Baselines und sogar mehrstufigen Lehrern überlegene Effizienz und Bildtreue erzielt.

Ursprüngliche Autoren: Junyi Wu, Weijian Luo, Haoyang Zheng, Runzhe Zhang, Guang Lin Haoyang Zheng Runzhe Zhang Guang Lin

Veröffentlicht 2026-05-26

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Junyi Wu, Weijian Luo, Haoyang Zheng, Runzhe Zhang, Guang Lin Haoyang Zheng Runzhe Zhang Guang Lin

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie unterrichten einen Schüler darin, ein Meisterwerk basierend auf einer einzigen Beschreibung zu malen, wie etwa „eine Katze, die auf einem Zaun sitzt".

In der Welt der KI-Kunst gibt es zwei Hauptmethoden, dies zu tun:

Der langsame, sorgfältige Lehrer: Geht viele kleine Schritte, verfeinert langsam eine unscharfe Skizze, bis sie zu einem scharfen, schönen Bild wird. Dies ist die traditionelle „Multi-Step"-Methode. Sie ist von hoher Qualität, aber langsam.
Der schnelle Schüler: Versucht, in einem einzigen gewaltigen Sprung direkt von einer leeren Leinwand zum fertigen Gemälde zu gelangen. Dies ist die „One-Step"-Methode. Sie ist unglaublich schnell (in Echtzeit!), aber das Ergebnis sieht oft etwas seltsam, unscharf aus oder entspricht nicht ganz dem, was der Benutzer wollte.

Diese Arbeit stellt eine neue Trainingsmethode namens Didr (Diff-Instruct with Diffused Reward) vor, um den „schnellen Schüler" zu korrigieren.

Das Problem: Die „End-of-Class"-Falle

Früher, als Forscher versuchten, den schnellen Schüler zu einem besseren Malen zu erziehen, verwendeten sie eine Technik, die dem Reinforcement Learning (RLHF) ähnelt. Sie ließen den Schüler malen, prüften das Endergebnis und sagten: „Gute Arbeit, das sieht schön aus!" oder „Schlechte Arbeit, das sieht seltsam aus."

Die Arbeit argumentiert, dass dieser Ansatz einen fatalen Fehler namens „Terminal Reward Domination" (Herrschaft der Endbelohnung) aufweist.

Die Analogie:
Stellen Sie sich einen Schüler vor, der eine Abschlussprüfung ablegt. Der Lehrer sagt: „Mir ist nur die finale Antwort auf der letzten Seite wichtig. Es interessiert mich nicht, wie Sie dorthin gelangt sind."

Das Ergebnis: Der Schüler erkennt, dass er betrügen kann. Anstatt die Mathematik zu lernen, könnte er einfach zufällige Zahlen hinmatschen, die zufällig wie die „richtige" Antwort für die Benotungsmaschine aussehen, selbst wenn die Logik Unsinn ist.
In KI-Terminologie: Die KI lernt, das „Rauschen" (das zufällige statische Rauschen im Bildgenerierungsprozess) auszunutzen. Sie findet ein seltsames, hochbelohntes Muster, das das Bewertungssystem täuscht, aber zu einem unscharfen, verzerrten Bild führt, das tatsächlich nicht wie eine Katze aussieht. Sie opfert die Fidelität (Realismus), nur um eine hohe Belohnungspunktzahl zu erhalten.

Die Lösung: Die „Diffused Reward" (Diffundierte Belohnung)

Die Autoren schlagen einen intelligenteren Weg vor, um zu unterrichten. Anstatt nur das fertige Gemälde zu benoten, bewerten sie den Schüler in jedem einzelnen Stadium des Malprozesses.

Die Analogie:
Stellen Sie sich vor, der Lehrer betritt den Klassenraum in jedem Stadium des Malens:

Stadium 1 (Unscharfe Skizze): „Okay, die Formen sind ungefähr richtig, aber die Farben sind etwas daneben. Lassen Sie uns sie in die ‚schöne' Richtung schieben."
Stadium 2 (Mehr Details): „Gut, die Augen bilden sich. Weiterhin in Richtung ‚Katze'-Aussehen drücken."
Stadium 3 (Finale Politur): „Perfekt. Das Endbild ist großartig."

Die Arbeit nennt dies „Diffused Reward". Sie nehmen die „Güte" (Belohnung) des Endbildes und „verteilen" (diffundieren) sie mathematisch rückwärts durch alle unscharfen, verrauschten Schritte. Dies stellt sicher, dass die KI in jedem Schritt korrekt geführt wird, nicht nur am ganz Ende.

Wie es funktioniert (Der „Proxy"-Trick)

Die Berechnung dieser „Führung in jedem Schritt" ist mathematisch sehr schwierig, da sie erfordert, den exakten Pfad zu kennen, den das Bild genommen hat, um dorthin zu gelangen.

Um dies zu lösen, erfanden die Autoren einen „Diffused Reward Proxy" (DRP).

Die Analogie: Stellen Sie sich vor, Sie wollen den besten Weg zu einem Ziel kennen, können aber die ganze Karte nicht sehen. Anstatt zu raten, schicken Sie 4 winzige Drohnen (kurze Denoising-Ketten) von Ihrem aktuellen Standort aus. Sie fliegen schnell ein paar Schritte vorwärts, um zu sehen, wie der „beste" Weg aussieht, fliegen dann zurück und sagen Ihnen: „Hey, wenn Sie diesen Weg gehen, erhalten Sie eine bessere Punktzahl."
Die KI nutzt diese „Drohnenberichte", um ihren Kurs sofort anzupassen, ohne jedes Mal ein vollständiges Bild generieren zu müssen.

Die Ergebnisse: Schnell und Gut

Die Arbeit testete diese neue Methode (Didr) an zwei verschiedenen KI-Modellen (SDXL und Z-Image).

Besser als die alten „schnellen" Methoden: Didr produzierte konsistent Bilder, die sowohl schöner (höhere menschliche Präferenzwerte) als auch realistischer (bessere Bildqualität) waren als frühere One-Step-Methoden.
Die „langsamen" Lehrer schlagen: In einer überraschenden Wendung konnte das neue One-Step-Modell, das mit Didr trainiert wurde, die Qualität der langsamen, 50-Schritt-„Lehrer"-Modelle in Bezug auf die menschliche Präferenz erreichen oder sogar übertreffen, und zwar in einem einzigen Schritt.

Zusammenfassung

Die Arbeit löst ein Problem, bei dem schnelle KI-Kunstgeneratoren „betrügen", indem sie sich nur auf die Endpunktzahl konzentrieren, was zu unscharfen oder seltsamen Bildern führt. Indem sie die KI lehren, sich in jedem einzelnen Schritt des Entstehungsprozesses um die „Belohnung" zu kümmern (unter Verwendung eines cleveren Abkürzungswegs namens Proxy), schufen sie einen Generator, der sowohl blitzschnell als auch von hoher Qualität ist und in der Lage ist, Bilder zu produzieren, die Menschen gegenüber viel langsameren, komplexeren Modellen bevorzugen.

Technische Zusammenfassung: Diff-Instruct mit diffundierter Belohnung (Didr)

Problemstellung

Jüngste Fortschritte bei einstufigen Text-zu-Bild-Generatoren (T2I) haben eine Echtzeit-Synthese ermöglicht, indem latentes Rauschen direkt in einem einzigen Vorwärtsschritt auf Bilder abgebildet wird. Die Ausrichtung dieser Generatoren auf menschliche Präferenzen mittels Reinforcement Learning (RL) stellt jedoch eine grundlegende strukturelle Herausforderung dar.

Frühere Methoden für einstufiges RLHF (z. B. Diff-Instruct*, Diff-Instruct++) kombinieren die Optimierung von Belohnungen im Bildraum mit der Anpassung der Verteilung im latenten Raum. Diese Ansätze wenden Präferenzsignale (Belohnungen) typischerweise ausschließlich am sauberen Bildendpunkt ( $x_0$ ) an, während sie über die gesamte verrauschte Diffusionstrajektorie hinweg eine Kullback-Leibler-Regularisierung (KL) gegen die Referenzverteilung auferlegen. Die Autoren identifizieren eine kritische strukturelle Diskrepanz in diesem Paradigma: Die Belohnung wirkt nur am Endzustand, während der Regularisierer sich über alle Rauschniveaus erstreckt.

Diese Diskrepanz führt zu einem Versagensmodus, der als Dominanz der Endbelohnung (terminal reward domination) bezeichnet wird. Da Vorwärtsrauschen Bilddetails natürlich maskiert, schwächt sich die KL-Regularisierungsstrafe gegen Modusdivergenz bei hohen Rauschniveaus erheblich ab. Folglich nutzen Optimierer diese Verwundbarkeit der Trajektorie aus, indem sie die Referenzverteilung aufgeben und in Regionen mit hoher Belohnung kollabieren, ohne ausreichende KL-Strafen zu erleiden. Dies führt zu verbesserten Belohnungswerten, jedoch oft auf Kosten der Bildtreue und der Verteilungsstabilität.

Methodik: Diff-Instruct mit diffundierter Belohnung (Didr)

Um diese Fehlausrichtung zu beheben, schlagen die Autoren Didr vor, ein datenfreies, auf Trajektorienebene arbeitendes Ausrichtungsframework, das aus der Minimierung der Integral-KL-Divergenz (IKL) abgeleitet ist. Der Kerngedanke besteht darin, die durch RLHF optimierte, belohnungsverschobene Verteilung sauberer Bilder systematisch über alle Rauschniveaus der Diffusionstrajektorie zu propagieren.

1. Das prinzipielle Trajektorienziel

Die Methode beginnt mit der Festlegung des korrekten Ausrichtungsziels für saubere Bilder unter KL-regularisiertem RLHF. Die optimale Verteilung sauberer Bilder $q^*(x_0|c)$ ist die belohnungsverschobene Dichte:
$q^*(x_0|c) \propto q_0(x_0|c) \exp(r(x_0, c)/\tau)$
wobei $q_0$ die Referenzverteilung, $r$ die Belohnungsfunktion und $\tau$ ein Temperaturparameter ist.

Anstatt Belohnungen nur bei $x_0$ anzuwenden, „hebt" Didr dieses optimale Ziel auf die gesamte Trajektorie an, indem es $q^*$ durch den Referenzvorwärtsprozess diffundiert. Dies ergibt eine Familie von belohnungsverschobenen Randverteilungen $\{q^*_t\}_{t \in [0, T]}$ , die auf jedem Rauschniveau definiert sind:
$q^*_t(x_t|c) = \int q_t(x_t|x_0) q^*(x_0|c) dx_0$
Die Autoren beweisen, dass die Minimierung der Integral-KL-Divergenz zwischen den Randverteilungen des Generators und diesen belohnungsverschobenen Randverteilungen denselben Minimierer teilt wie das Standardziel des KL-regularisierten RLHF. Dies stellt sicher, dass Belohnung und Regularisierung auf jedem Rauschniveau ausgeglichen sind, wodurch die Dominanz der Endbelohnung verhindert wird.

2. Der diffundierte Belohnungswert (DRS)

Durch Differentiation des IKL-Ziels leiten die Autoren die Ziel-Score-Funktion ab. Der optimale Score zerfällt in zwei Komponenten:
$s_{target} = s_{ref} + s_r$
wobei $s_{ref}$ die Referenz-Score-Funktion und $s_r$ der Diffundierte Belohnungswert (DRS) ist. Der DRS wirkt als belohnungsgetriebener Korrekturterm, der auf jedem Rauschniveau definiert ist:
$s_r(x_t, t, c) = \nabla_{x_t} \log \mathbb{E}_{x_0 \sim q(x_0|x_t, c)} \left[ \exp\left(\frac{r(x_0, c)}{\tau}\right) \right]$
Im Gegensatz zur Klassifikator-Steuerung (die eine Approximation erster Ordnung darstellt) behält der DRS die vollständige log-exponentielle Verschiebung bei und propagiert Präferenzinformationen nur dort, wo das saubere Bild aus der verrauschten Beobachtung identifizierbar ist.

3. Der diffundierte Belohnungsproxy (DRP)

Da der DRS eine nicht handhabbare posteriori-Erwartung $q(x_0|x_t, c)$ erfordert, führen die Autoren den Diffundierten Belohnungsproxy (DRP) ein, um die Methode praktikabel zu machen. Der DRP approximiert die posteriori-Erwartung unter Verwendung differenzierbarer Kurzschritt-Entrauschungsketten aus dem eingefrorenen Referenzmodell.

Mechanismus: Von einem verrauschten Zustand $x_t$ aus führt die Methode $K$ unabhängige $S$ -Schritt-Entrauschungsketten unter Verwendung des eingefrorenen Referenzmodells durch, um angenäherte saubere Proben $\{\hat{x}^{(k)}_0\}$ zu erzeugen.
Gradientenschätzung: Der DRS wird als softmax-gewichteter Durchschnitt von Pfad-belohnungsgradienten approximiert:
$\hat{s}_r(x_t, t, c) = \frac{1}{\tau} \sum_{k=1}^K \omega^{(k)} \nabla_{x_t} r(\hat{x}^{(k)}_0, c)$
wobei die Gewichte $\omega^{(k)}$ proportional zu $\exp(r(\hat{x}^{(k)}_0, c)/\tau)$ sind.
Effizienz: Dieser Ansatz ermöglicht es, Belohnungsgradienten stabil durch die Trajektorie zurückzuleiten, ohne Aktivierungen des Referenzmodells speichern zu müssen oder Bilddaten für das Training zu benötigen.

4. Trainingsframework

Der Trainingsprozess wechselt zwischen zwei Phasen:

Teaching Assistant (TA) Update: Ein TA-Score-Modell ( $s_\psi$ ) wird mittels Denoising Score Matching (DSM) trainiert, um die sich entwickelnden Randverteilungen des Generators zu verfolgen und so den impliziten Generator-Score zu ersetzen.
Generator Update: Der Generator ( $g_\theta$ ) wird unter Verwendung des Gradienten des IKL-Ziels aktualisiert, das den TA-Score mit der Summe aus dem durch CFG korrigierten Referenz-Score und der DRP-Schätzung vergleicht.

Hauptbeiträge

Identifikation der Dominanz der Endbelohnung: Das Papier identifiziert und analysiert formal einen strukturellen Versagensmodus in früheren einstufigen RLHF-Methoden, bei dem Optimierer Rauschniveaus ausnutzen, um in Regionen mit hoher Belohnung zu kollabieren und das beabsichtigte RLHF-Gleichgewicht zu verletzen.
Prinzipielle Ausrichtung auf Trajektorienebene: Die Autoren schlagen Didr vor, ein Framework, das ein mathematisch fundiertes Ziel auf Trajektorienebene ableitet, indem es die durch RLHF optimierte Dichte sauberer Bilder vorwärts propagiert. Dies stellt sicher, dass Belohnung und Regularisierung auf jedem Rauschniveau ausgeglichen sind.
Analytische Herleitung des DRS: Das Papier leitet den Diffundierten Belohnungswert analytisch her und zeigt, dass er das Trajektorienziel exakt in einen Referenz-Score plus eine belohnungsinduzierte Korrektur zerlegt.
Praktischer Schätzer (DRP): Die Autoren stellen den Diffundierten Belohnungsproxy vor, einen datenfreien Schätzer, der den DRS über differenzierbare Kurzschritt-Entrauschung berechnet und damit stabiles Training ohne Bilddaten ermöglicht.

Empirische Ergebnisse

Umfangreiche Experimente zeigen, dass Didr bestehende einstufige Baselines konsistent übertrifft:

Pareto-Dominanz: Auf dem SDXL-Backbone (1024×1024) dominiert die Standardvariante von Didr alle bestehenden einstufigen Ausrichtungs-Baselines in der PickScore–FID-Abwägung (Trade-off) und übertrifft gleichzeitig mehrstufige Modelle wie FLUX-dev und SDXL-DPO auf beiden Achsen.
Präferenzmetriken: Die erweiterte Trainingsvariante (Didr_longer) erreicht den höchsten PickScore (23,9) unter den bewerteten einstufigen Modellen und verbessert ImageReward um 8,9 % gegenüber der stärksten vorherigen Baseline (Diff-Instruct*). Sie führt ebenfalls bei HPSv2.1 und dem Ästhetik-Score.
Generalisierung: Didr überträgt sich erfolgreich auf den 6-Milliarden-Parameter-Z-Image-Backbone. In einem einzigen Generierungsschritt übertrifft es sein 50-Schritt-Lehrermodell bei Präferenzmetriken und demonstriert damit Skalierbarkeit über Architekturen hinweg.
Qualitative Verbesserungen: Visuelle Vergleiche zeigen, dass Didr schärfere feine Details und natürlichere Farben im Vergleich zu früheren einstufigen Methoden erzeugt und dabei die Über-Sättigung und malerischen Artefakte vermeidet, die oft bei belohnungsoptimierten Baselines zu sehen sind.

Bedeutung und Behauptungen

Das Papier behauptet, dass die prinzipielle Propagierung von Belohnungen auf Trajektorienebene eine effektive Ausrichtungsstrategie ist, die die inhärente Fehlausrichtung von Methoden mit Belohnungen nur am Endpunkt auflöst. Durch die rigorose Propagierung der durch RLHF optimierten Verteilung durch den Diffusionsprozess erreicht Didr den besten Trade-off zwischen Präferenzausrichtung und Bildtreue unter einstufigen Generatoren.

Die Autoren betonen, dass ihre Methode keine Bilddaten für das Training erfordert, sondern sich ausschließlich auf Text-Prompts und ein eingefrorenes Referenzmodell stützt. Sie positionieren Didr als eine Lösung, die es einstufigen Generatoren ermöglicht, die Präferenzausrichtung mehrstufiger Lehrer zu erreichen oder zu übertreffen, während gleichzeitig Echtzeit-Inferenzgeschwindigkeiten beibehalten werden. Die Arbeit legt nahe, dass die in früheren Methoden identifizierte strukturelle Diskrepanz eine fundamentale Einschränkung ist, die nur durch die Ausrichtung der gesamten Trajektorie und nicht nur des Endzustands behoben werden kann.