💻 computer science

The Reward Was in Your Data All Along: Correcting Flow Matching with Discriminator-Guided RL

Dieses Paper schlägt Discriminator-Guided RL (DRL) vor, eine Methode, die einen in einem vortrainierten Repräsentationsraum trainierten Diskriminator nutzt, um ein optimales Belohnungssignal zur Korrektur von Flow-Matching-Modellen bereitzustellen, wodurch die Bildtreue und semantische Kohärenz signifikant verbessert werden, ohne auf teure menschliche Präferenzdaten angewiesen zu sein.

Ursprüngliche Autoren: Nicolas Beltran-Velez, Felix Friedrich, Zhang Xiaofeng, Reyhane Askari-Hemmat, Xiaochuang Han, Adriana Romero-Soriano, Michal Drozdzal

Veröffentlicht 2026-06-19

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Nicolas Beltran-Velez, Felix Friedrich, Zhang Xiaofeng, Reyhane Askari-Hemmat, Xiaochuang Han, Adriana Romero-Soriano, Michal Drozdzal

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter-Künstler das Malen bei. Sie zeigen ihm eine Million Fotos von echten Landschaften, Tieren und Objekten. Der Roboter versucht zu lernen, indem er den „Fluss“ der Pixel in diesen Fotos nachahmt, wobei er versucht vorherzusagen, wie ein Bild in ein anderes übergeht. Dies ist die Standardmethode, mit der moderne KI-Bildgeneratoren trainiert werden.

Die Autoren dieser Arbeit bemerkten jedoch ein seltsames Problem: Selbst nachdem der Roboter Millionen von Fotos gesehen hatte, sahen seine Gemälde oft „falsch“ aus. Die Hände hatten vielleicht zu viele Finger, die Gesichter waren verschwommen oder die Objekte sahen geschmolzen aus. Dies waren Mängel, die eindeutig in den Trainingsfotos vorhanden waren, doch der Roboter versäumte es, sie perfekt zu lernen.

Um dies zu beheben, greifen Forscher normalerweise auf Reinforcement Learning (RL) zurück. Stellen Sie sich das wie das Einstellen eines menschlichen Kunstkritikers vor. Der Roboter malt ein Bild, der Kritiker sagt: „Dieses gefällt mir, aber jenes ist zu hell“, und der Roboter passt sich an. Das Problem ist, dass das Einstellen menschlicher Kritiker teuer und langsam ist und deren Meinungen subjektiv sind (sie mögen vielleicht helle Farben, nur weil sie gerade gut gelaunt sind, nicht unbedingt, weil das Bild realistisch ist).

Die Autoren stellen eine kühne Frage: Warum brauchen wir einen menschlichen Kritiker, um dem Roboter beizubringen, was „Realismus“ bedeutet, wenn der Roboter bereits Millionen von echten Fotos gesehen hat?

Sie argumentieren, dass die ursprüngliche Trainingsmethode des Roboters (genannt „Flow Matching“) so ist, als würde man versuchen, Autofahren zu lernen, indem man nur auf eine Landkarte schaut. Man kennt die Verkehrsregeln, aber man hat nie gespürt, wie das Auto driftet oder die Straße kurvt. Die Mathematik funktioniert auf dem Papier perfekt, aber in der realen Welt summieren sich winzige Fehler auf, und der Roboter landet schließlich am Straßenrand.

Die Lösung: Der „Diskriminator“-Coach

Die Autoren schlagen eine neue Methode namens Discriminator-Guided RL (DRL) vor. Anstatt einen Menschen einzustellen, geben sie dem Roboter einen „Coach“, der ein Experte darin ist, den Unterschied zwischen einem echten Foto und einem gefälschten zu erkennen, aber mit einem Twist: Dieser Coach schaut nicht direkt auf die Pixel. Er schaut auf die Bedeutung des Bildes.

So funktioniert es, unter Verwendung einer einfachen Analogie:

Die „Bedeutungs“-Brille: Stellen Sie sich vor, der Roboter und der Coach tragen beide spezielle Brillen (einen „vortrainierten Repräsentationsraum“, wie z. B. DINOv2). Diese Brillen sehen keine Farben oder Pixel; sie sehen Konzepte. Sie sehen „einen Hund“, „ein Auto“, „ein Gesicht“. Sie ignorieren winzige Details wie, ob ein Pixel etwas zu rot oder zu blau ist.
Die Aufgabe des Coaches: Der Coach betrachtet ein echtes Foto und ein vom Roboter generiertes Foto durch diese Brillen. Er fragt: „Sieht das wie ein echter Hund aus oder sieht das wie die Vermutung eines Roboters über einen Hund aus?“ Es ist ihm egal, ob der Hund „süß“ ist (menschliche Präferenz); ihm geht es nur darum: „Ist das ein echter Hund?“
Die Belohnung: Wenn das Foto des Roboters durch die Brille wie ein echter Hund aussieht, gibt der Coach ihm eine hohe Punktzahl. Wenn es seltsam aussieht, ist die Punktzahl niedrig.
Das Lernen: Der Roboter nutzt diese Punktzahl, um seinen Malstil anzupassen. Er lernt, seine Bilder so zu gestalten, dass sie der „Form“ echter Daten in der Welt der Konzepte entsprechen, nicht nur in der Welt der Pixel.

Warum das eine große Sache ist

Die Arbeit zeigt, dass diese Methode unglaublich gut funktioniert, selbst ohne dass jemals ein Mensch gesagt hat: „Das gefällt mir“.

Es behebt den „Drift“: Genau wie ein Schüler, der aus den Fehlern eines Lehrers lernt, anstatt nur ein Lehrbuch zu kopieren, lernt der Roboter, seine eigenen Fehler zu korrigieren, indem er sein Ergebnis mit der „idealen“ Verteilung echter Daten vergleicht.
Es ist billiger und schneller: Man muss keine Menschen bezahlen, um Millionen von Bildern zu bewerten. Der „Coach“ ist lediglich ein mathematisches Werkzeug, das auf den Daten selbst trainiert wurde.
Es macht Bilder schärfer: In ihren Experimenten waren die vom Roboter generierten Bilder nach diesem Training signifikant realistischer. Die Hände waren gerader, die Gesichter klarer und die Objekte sahen nicht mehr geschmolzen aus.
Es schafft eine bessere Grundlage: Wenn Sie später doch menschliche Vorlieben hinzufügen möchten (wie „lass den Hund glücklich aussehen“), macht dieser erste Schritt mit dem „DRL“-Roboter diesen zweiten Schritt viel einfacher und effektiver. Der Roboter hat die Grundlagen der Realität bereits gemeistert, sodass der menschliche Kritiker nur noch die Persönlichkeit anpassen muss.

Das Fazit

Das Paper behauptet, dass die „Belohnung“ für das Erstellen besserer Bilder die ganze Zeit in den Daten verborgen war. Die ursprüngliche Trainingsmethode war lediglich zu plump, um sie zu finden. Indem man einen „Coach“ verwendet, der die Struktur der Realität versteht (über die spezielle Brille) anstatt nur die Pixel, kann der Roboter lernen, ein viel besserer Künstler zu sein, ohne dass teures menschliches Feedback nötig ist, um ihm zu sagen, was „real“ ist.

Wichtigste Erkenntnis: Man braucht keinen Menschen, der einem sagt, wie eine echte Katze aussieht, wenn man dem Roboter ein Werkzeug gibt, das mathematisch zwischen einer echten und einer gefälschten Katze unterscheiden kann. Das Paper beweist, dass dies die Kunst des Roboters signifikant verbessert.

Technisches Resümee: Diskriminator-gestützte RL für Flow Matching

Problemstellung

Flow-basierte und Score-Matching-Modelle sind aufgrund ihrer simulationsfreien, regressionsbasierten Trainingsziele zum dominierenden Paradigma der generativen Modellierung geworden. Diese Modelle werden jedoch typischerweise in einer mehrstufigen Pipeline trainiert: Zuerst wird ein Basismodell mittels Flow- oder Score-Matching (FSM) auf eine Datenverteilung $q$ angepasst; zweitens wird Reinforcement Learning (RL) angewendet, um das Modell in Richtung wünschenswerter Regionen zu lenken, die durch eine Belohnung $r(x)$ definiert sind.

Das Paper identifiziert einen strukturellen Mismatch in diesem Paradigma. Während FSM-Verlustfunktionen den $\ell_2$ -Regressionsfehler auf Geschwindigkeits- oder Score-Felder unter den Marginalverteilungen während des Trainings minimieren, gelingt es ihnen oft nicht, intrinsische Eigenschaften der Datenverteilung – wie visuelle Realität, kohärente Objektstrukturen oder physikalisch korrekte Bewegungen – wiederherzustellen, die theoretisch in den Daten vorhanden sind. Folglich verlassen sich Praktiker auf präferenzbasiertes RL, um diese Eigenschaften zu rekonstruieren. Dieser Ansatz ist aus zwei Gründen problematisch:

Strukturelles Versagen: Es ist rätselhaft, warum Modelle diese realweltlichen Eigenschaften nicht direkt aus Daten über Matching-Verlustfunktionen lernen können, sondern RL benötigen, um sie wiederherzustellen.
Kosten und Konfundierung: Das Training von Belohnungsfunktionen erfordert in der Regel teure menschliche Präferenzdaten, was die objektive Realität der Daten mit subjektiven Vorlieben der Annotatoren konfundiert.

Die Autoren argumentieren, dass das Versagen von Matching-Zielen, diese Eigenschaften zu erfassen, auf einen „Train-Test-Mismatch“ (bei dem Fehler entlang der Rollout-Verteilung des Modells statt entlang der Trainings-Marginalverteilungen akkumulieren) und einen „Geometrie-Mismatch“ (bei dem kleine Fehler im Geschwindigkeitsraum zu großen Fehlern in der Stichprobenqualität bzw. im Belohnungsraum führen können) zurückzuführen ist.

Methodik: Diskriminator-gestützte RL (DRL)

Das Paper schlägt Diskriminator-gestützte RL (DRL) vor, eine Methode zur Korrektur von Flow-Matching-Modellen, ohne auf menschliche Präferenzdaten angewiesen zu sein. Die zentrale Erkenntung ist, dass die optimale Belohnung zur Ausrichtung eines Basismodells $p_{base}$ auf eine Zielverteilung $q$ das Log-Dichte-Verhältnis $\log(q(x)/p_{base}(x))$ ist. Da dieses Verhältnis unpraktikabel ist, schätzt DRL es mithilfe eines Diskriminators.

Die DRL-Pipeline besteht aus zwei Phasen:

Phase 1: Belohnungsschätzung im Repräsentationsraum

Anstatt einen Diskriminator direkt im Pixelraum zu trainieren (was statistisch schwierig und semantisch unzuverlässig ist), trainiert DRL einen Diskriminator in einem vortrainierten selbstüberwachten Lern-Repräsentationsraum (SSL).

Ein eingefrorener Encoder $\phi$ (z. B. DINOv2) bildet Bilder auf einen Merkmalsraum $Z$ ab.
Ein Diskriminator $D$ wird trainiert, um zwischen echten Datensamples $x \sim q$ und Basismodell-Samples $x_{fake} \sim p_{base}$ unter Verwendung ihrer kodierten Repräsentationen $\phi(x)$ zu unterscheiden.
Die Belohnungsfunktion ist definiert als der Logit des Diskriminators: $\hat{r}(x) = \log(D(\phi(x)) / (1 - D(\phi(x))))$ .
Theoretische Rechtfertung: Durch die Beschränkung der Belohnung auf den SSL-Raum löst DRL ein beschränktes Optimierungsproblem: Es findet die Verteilung $p$ , die $p_{base}$ am nächsten kommt (in der KL-Divergenz), sodass der Pushforward von $p$ durch $\phi$ dem Pushforward von $q$ durch $\phi$ entspricht. Dies stellt sicher, dass Korrekturen entlang semantisch bedeutsamer Achsen vorgenommen werden, die für den Encoder sichtbar sind.

Phase 2: KL-regularisiertes RL via Adjoint Matching

Die geschätzte Belohnung $\hat{r}$ wird verwendet, um das Basismodell mittels KL-regularisiertem RL feinabzustimmen.

Das Ziel ist es, die erwartete Belohnung zu maximieren und gleichzeitig die KL-Divergenz zwischen den Trajektorienverteilungen des feinabgestimmten Modells und des Basismodells zu minimieren.
Die Autoren nutzen Adjoint Matching, einen hochmodernen Algorithmus für Flow-Modelle, der das Trajektorien-Level-Ziel durch Gradientenpropagation durch den Sampling-Prozess optimiert.
Um ein stabiles Training mit der gedächtnislosen SDE zu gewährleisten, die für ein unvoreingenommenes Endpoint-Tilting erforderlich ist, führen die Autoren einen Local Linear Integrator ein. Dieser Integrator handhabt die numerische Steifigkeit nahe $t=0$ (wo Drift- und Diffusionskoeffizienten divergieren) effektiver als Standard-Euler-Maruyama-Diskretisierungen mit Offsets.

Zentrale Beiträge

Theoretische Analyse der Einschränkungen von Matching: Das Paper liefert eine formale Analyse, die zeigt, dass Flow-/Score-Matching-Verlustfunktionen keine Kontrolle über Belohnungslücken (Eigenschaften von Interesse) garantieren können, bedingt durch Train-Test-Verteilungsverschiebungen und die Fehlausrichtung zwischen der Geometrie des Geschwindigkeitsraums und der Geometrie des Stichprobenraums.
Diskriminator-gestützte RL (DRL): Ein neuartiges Framework, das einen in einem eingefrorenen SSL-Repräsentationsraum trainierten Diskriminator nutzt, um ein Belohnungssignal zu generieren. Dies ermöglicht es dem Modell, Dateneigenschaften ohne menschliche Präferenzlabels wiederherzustellen.
Local Linear Integrator: Ein neuer numerischer Integrator für die gedächtnislose SDE, die im RL-Training verwendet wird, welcher ein vorzeitiges Anwachsen der Norm verhindert und sowohl die Stichprobenqualität als auch die Trainingsstabilität verbessert.
Empirische Validierung: Demonstration, dass DRL die Verteilungsanpassung und Bildqualität über verschiedene Architekturen (SiT, JiT, REPA, RAE) und Feature-Räume (DINOv2, DINOv3, SigLIP, Inception) hinweg signifikant verbessert.

Ergebnisse

Die Autoren evaluierten DRL auf vier ImageNet-vortrainierten Flow-Modellen. Die wichtigsten Erkenntnisse sind:

Verteilungsanpassung: DRL reduziert die Fréchet-Distanz (FD) erheblich. Beispielsweise sank die ohne Guidance gemessene FD bei SiT im DINOv3-Raum von 88,2 auf 19,3. Über alle Modelle und Feature-Räume hinweg verbesserte DRL die Anpassung konsistent, ohne CFG (Classifier-Free Guidance) zu verwenden.
Bildqualität ohne Präferenzdaten: DRL verbesserte die Scores auf gehaltenen menschlichen Präferenz-Reward-Modellen (ImageReward, HPSv2, PickScore, Aesthetics), obwohl es nie auf diesen trainiert wurde. Dies deutet darauf hin, dass DRL erfolgreich die „Realitäts“-Eigenschaften wiederherstellt, die Standard-Matching-Verlustfunktionen übersehen.
Verbesserte Grundlage für Präferenzanpassung: Wenn DRL als Ausgangspunkt für nachfolgendes präferenzbasiertes RL (PRL) verwendet wird, liefert es eine überlegene Pareto-Front zwischen Belohnung und Bildtreue. DRL absorbiert die strukturellen Korrekturen, die aus den Daten extrahierbar sind, sodass sich PRL auf echte subjektive Präferenzen konzentrieren kann, anstatt niedrigelevelige Artefakte (z. B. Übersättigung, übermäßige Helligkeit) zu beheben.
Distillations-Gap: Experimente zeigten, dass ein Student-Modell, das mittels Standard-Flow-Matching auf Samples eines DRL-Lehrer-Modells trainiert wurde, die Leistung des Lehrers nicht replizieren konnte, selbst nach 50 Millionen Samples. Dies bestätigt, dass das RL-Ziel selbst, und nicht nur die Samples, notwendig ist, um diese Eigenschaften wiederherzustellen.

Bedeutung und Behauptungen

Das Paper behauptet, dass RL-Post-Training für Flow-basierte Modelle nicht bloß als Werkzeug zur Optimierung externer Präferenzen betrachtet werden sollte, sondern als ein komplementärer Mechanismus zur Wiederherstellung der Struktur in den Trainingsdaten, die durch Standard-Matching-basierte Zielsetzungen unvollständig erfasst wird.

Durch die Verwendung eines Diskriminators in einem vortrainierten Repräsentationsraum bietet DRL ein Belohnungssignal, das:

Mit Dateneigenschaften abgestimmt ist: Es zielt direkt auf die Datenverteilung ab, anstatt auf subjektive menschliche Präferenzen.
Geometrisch fundiert ist: Es umgeht die Hindernisse der Geschwindigkeitsraum-Geometrie, indem es direkt auf der Belohnungslandschaft optimiert.
Effizient ist: Es erfordert deutlich weniger Rechenleistung als ein Pretraining und vermeidet die Kosten der Sammlung von Präferenzdaten.

Die Autoren kommen zu dem Schluss, dass Matching-Ziele und RL keine Methoden mit widersprüchlichen Zielen sind, sondern vielmehr zwei komplementäre Werkzeuge, um den Nutzen von Trainingsdaten zu maximieren. Die Arbeit legt nahe, dass die „Belohnung“ für qualitativ hochwertige Generierung oft „schon immer in den Daten enthalten war“, aber einen On-Policy, belohnungsgesteuerten Mechanismus erfordert, um vollständig realisiert zu werden.