💻 computer science

Divergence-Suppressing Couplings for Rectified Flow

Dieser Artikel schlägt eine Offline-Korrekturmethode für Rectified Flow vor, die die divergente Komponente des gelernten Geschwindigkeitsfeldes unterdrückt, um verzerrte Trajektorien zu begradigen und dadurch die Generierungsqualität sowohl auf synthetischen als auch auf Bild-Benchmarks zu verbessern, ohne die Inferenzkosten zu erhöhen.

Ursprüngliche Autoren: Yimeng Min, Carla P. Gomes

Veröffentlicht 2026-05-19

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yimeng Min, Carla P. Gomes

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, ein perfektes Bild zu zeichnen, wie ein Schachbrettmuster oder ein Gesicht, beginnend mit einer leeren Leinwand aus zufälligem Rauschen.

Das Problem: Der „wackelige" Pfad
Der Artikel diskutiert eine Technik namens Rectified Flow (gerader Fluss). Betrachten Sie dies als ein GPS-Navigationssystem für den Roboter. Das Ziel ist es, den geradesten, direktesten Weg vom „Rauschen" (Start) zum „Bild" (Ziel) zu finden.

In der Standardversion dieser Technologie lernt der Roboter eine Karte. Doch manchmal ist die Karte etwas unordentlich. Die Straßen auf der Karte winden sich, drehen sich und kreuzen sich wie verhedderte Kopfhörerkabel. Wenn der Roboter versucht, diese gewundenen Straßen zu folgen, gerät er in Verwirrung. Er könnte einen Umweg nehmen, sein Ziel verfehlen oder in die falsche Nachbarschaft geraten (wie etwa ein weißes Quadrat zu zeichnen, wo ein schwarzes sein sollte).

Die Autoren entdeckten, dass diese „Verdrehungen" durch etwas namens Divergenz verursacht werden. Einfach ausgedrückt: Stellen Sie sich den Pfad des Roboters als einen Fluss vor.

Divergenz ist wie ein Abschnitt des Flusses, der sich plötzlich verbreitert (expandiert) oder verengt (kontrahiert).
Wenn sich der Fluss verbreitert, breitet sich das Wasser aus, und der Roboter geht im zusätzlichen Raum verloren.
Wenn er sich verengt, wird das Wasser zusammengedrückt, und der Roboter wird in eine Ecke gedrängt, in der er nicht sein sollte.
Diese Expansionen und Kontraktionen lassen den Pfad des Roboters biegen und verzerren, wodurch das endgültige Bild unscharf oder falsch wird.

Die Lösung: Der „Divergenz-Unterdrückende" Filter
Der Artikel stellt eine neue Methode namens DS-RectFlow vor.

Stellen Sie sich den Trainingsprozess des Roboters als einen Schüler vor, der Zeichnen lernt.

Alter Weg: Der Schüler übt, indem er die unordentlichen, gewundenen Straßen auf der Karte folgt. Er lernt zwar zu zeichnen, macht aber immer wieder dieselben Fehler, weil die Karte selbst fehlerhaft ist.
Neuer Weg (DS-RectFlow): Bevor der Schüler übt, betrachtet ein Lehrer (der neue Algorithmus) die Karte. Der Lehrer erkennt die Stellen, an denen sich der Fluss zu stark verbreitert oder verengt. Der Lehrer schiebt dann den Startpunkt des Schülers sanft zur Seite, auf einen glatteren, geraderen Abschnitt des Flusses.

Entscheidend ist, dass der Lehrer die Karte selbst nicht verändert. Die Karte (das KI-Modell) bleibt exakt gleich. Der Lehrer ändert lediglich, wo der Schüler seine Reise für jede Übungseinheit beginnt. Indem er auf einem geraderen Pfad beginnt, lernt der Schüler eine viel sauberere, direktere Route.

Der magische Trick: „Kostenlose" Geschwindigkeit
Normalerweise müssen Sie einem Roboter einen leistungsstärkeren Motor (mehr Rechenleistung) geben oder ihn bei jedem Schritt intensiver denken lassen, wenn Sie wollen, dass er sich schneller oder genauer bewegt.

Dieser Artikel behauptet einen „magischen Trick":

Das „Schieben" (Prüfen auf Verdrehungen und Anpassen des Starts) findet einmalig während der Trainingsphase statt, während der Roboter lernt.
Sobald der Roboter trainiert ist, vergisst er das Schieben.
Wenn Sie den Roboter tatsächlich bitten, ein Bild zu zeichnen (Inferenz), läuft er mit exakt derselben Geschwindigkeit wie die alte, unordentliche Version. Er muss keine zusätzliche Mathematik betreiben oder zusätzliche Schritte unternehmen.

Die Ergebnisse
Die Autoren testeten dies an einfachen 2D-Formen (wie einem Schachbrettmuster) und realen Bildern (wie Gesichtern aus CelebA und Autos aus CIFAR-10).

Bessere Qualität: Die generierten Bilder waren viel schärfer und genauer.
Weniger Schritte: Der Roboter konnte hochwertige Bilder in nur einem Schritt (wie einem einzigen Sprung) erzeugen, anstatt 20 kleine Schritte zu benötigen.
Keine zusätzlichen Kosten: Da die „Korrektur" nur während des Trainings angewendet wird, ist das Endprodukt genauso schnell zu verwenden wie das Original, aber deutlich besser.

Auf den Punkt gebracht
Der Artikel sagt: „Der Grund, warum aktuelle KI-Bildgeneratoren manchmal langsam oder unscharf sind, liegt daran, dass ihre inneren ‚Straßen' zu verwunden sind. Wir haben einen Weg gefunden, diese Straßen während das KI lernt zu glätten, sodass es, sobald es das Lernen abgeschlossen hat, gerade und schnell fahren kann, ohne zusätzlichen Treibstoff zu benötigen."

Technische Zusammenfassung: Divergenzunterdrückende Kopplungen für Rectified Flow

Problemstellung

Rectified Flow (RectFlow) zielt darauf ab, die generative Modellierung zu beschleunigen, indem Geschwindigkeitsfelder mit geraden Trajektorien erlernt werden, was die Erzeugung hochwertiger Stichproben mit wenigen oder sogar einem einzigen numerischen Integrationsschritt (NFE) ermöglicht. Die Methode beruht auf einem iterativen „Reflow"-Verfahren: Ein Basismodell, das mit einer unabhängigen Kopplung trainiert wurde, generiert neue Quell-Ziel-Paare, die dann verwendet werden, um ein Modell mit einem geraderen Geschwindigkeitsfeld neu zu trainieren.

Das Papier identifiziert jedoch einen fundamentalen Engpass: Kopplungsverzerrung. In der Praxis verlaufen die vom Basismodell erzeugten Trajektorien oft gebogen und verschlungen. Diese Verzerrung steht häufig in Verbindung mit Bereichen nichtverschwindender Divergenz im erlernten Geschwindigkeitsfeld. In diesen Bereichen führen lokale Expansion oder Kontraktion dazu, dass sich Trajektorien voneinander entfernen oder zusammenziehen und Partikel von ihren idealen Endpunkten ablenken. Folglich erbt das neu trainierte Modell diese Fehler, und weitere Runden der Rectifikation bringen abnehmende Erträge, da das Modell effektiv einen bereits gebogenen Transport „reflowt". Die Qualität des Vorwärtsintegrators, der zur Erzeugung der Kopplungspaare verwendet wird, begrenzt die Wirksamkeit von RectFlow, nicht der Trainingsverlust oder die Modellkapazität.

Methodik: DS-RectFlow

Die Autoren schlagen DS-RectFlow (Divergence-Suppressing Rectified Flow) vor, eine Offline-Korrekturmethode, die entwickelt wurde, um während des Reflow-Prozesses sauberere Kopplungspaare zu erzeugen, ohne das Trainingsziel, die Modellarchitektur oder das Inferenzverfahren zu verändern.

Kernmechanismus

Die Methode basiert auf der Beobachtung, dass die Biegung von Trajektorien (Kopplungsverzerrung) durch die kompressible Komponente des Geschwindigkeitsfeldes angetrieben wird. Mittels der Helmholtz-Zerlegung wird das Geschwindigkeitsfeld $v$ in einen divergenzfreien Transportteil $u$ und einen Dipolteil $\nabla \phi$ aufgeteilt, der die gesamte Kompressibilität des Feldes trägt. Das Papier argumentiert, dass die Unterdrückung der Divergenzgröße $|\nabla \cdot v|$ die Trajektorien gerade hält.

Der Divergenzunterdrückende Integrator

Während der Offline-Erzeugung von Kopplungspaaren (dem „Reflow"-Schritt) ersetzt DS-RectFlow den Standard-Euler-Integrator durch einen divergen-zunterdrückenden Euler-Integrator:

Zustandskorrektur: In jedem Integrationsschritt sucht der Algorithmus, anstatt direkt vom aktuellen Zustand $x_t$ voranzuschreiten, nach einem nahegelegenen Zustand $x^*_t$ , bei dem die geschätzte Divergenz $|\hat{\nabla} \cdot v_\theta(x^*_t, t)|$ minimiert wird.
Hutchinson-Schätzung: Um die hohen Kosten der exakten Divergenzberechnung in hohen Dimensionen zu vermeiden, verwendet die Methode den Spur-Schätzer von Hutchinson, um $\nabla \cdot v$ zu approximieren. Es werden $m$ Gaußsche Störungen um den aktuellen Zustand erzeugt, und der Kandidat wird ausgewählt, der die geschätzte Divergenzgröße minimiert.
Integration: Der Euler-Schritt wird dann von diesem korrigierten Zustand $x^*_t$ unter Verwendung des ursprünglichen, unveränderten Geschwindigkeitsfeldes berechnet: $x_{t+\Delta t} = x^*_t + v_\theta(x^*_t, t) \cdot \Delta t$ .

Implementierungsdetails

Nur Offline: Die Korrektur wird nur während der Generierung des Kopplungsdatensatzes für das Nachtrainieren angewendet.
Inferenz: Das final trainierte Modell wird mit einfacher Euler-Integration ohne zusätzlichen Rechenaufwand eingesetzt. Die divergenzunterdrückende Logik ist zur Inferenzzeit nicht vorhanden.
Budgetkontrolle: Die Korrektur wird nur bis zu einem Zeitpunkt $t_{stop}$ (typischerweise 0,5) angewendet und wird durch einen Suchradius-Parameter $\delta$ gesteuert.

Hauptbeiträge

Diagnose der RectFlow-Beschränkungen: Das Papier identifiziert, dass die Qualität der vom Basismodell erzeugten Kopplung, insbesondere das Vorhandensein nichtverschwindender Divergenz, die zu Kompression/Expansion von Trajektorien führt, der primäre Engpass ist, der RectFlow daran hindert, sein theoretisches Potenzial der Ein-Schritt-Generierung zu erreichen.
Offline-Korrekturstrategie: Es wird eine neuartige Offline-Korrektur eingeführt, die die divergente Komponente des Geschwindigkeitsfeldes während der Generierung der Kopplung abschwächt. Im Gegensatz zu Inferenzzeit-Verfeinerungen (z. B. Solver höherer Ordnung oder Guidance) verlagert diese Methode die Korrekturkosten vollständig in die Phase der Trainingsdatengenerierung.
Kein Inferenz-Overhead: Die Methode liefert ein Modell, das während des Einsatzes identische Wanduhrkosten wie Standard-RectFlow aufweist, da der Inferenzpfad ein einfacher Euler-Schritt bleibt.
Wiederherstellung von Kumulationseffekten: Durch die Bereitstellung saubererer Kopplungspaare stellt DS-RectFlow den „kumulativen" Vorteil der Rectifikation wieder her, bei dem jede Reflow-Runde die Geradheit des Feldes signifikant verbessert, ein Phänomen, das bei Standard-RectFlow aufgrund akkumulierter Verzerrung oft verloren geht.

Experimentelle Ergebnisse

Die Autoren bewerten DS-RectFlow an 2D-synthetischen Benchmarks und Aufgaben zur Bildgenerierung (CIFAR-10, CelebA-64).

2D-Benchmarks (Schachbrett & GMM):
- Beim Schachbrett-Benchmark reduziert DS-RectFlow den Sliced Wasserstein Distance (SWD) im Vergleich zu Vanilla RectFlow signifikant. Bei $NFE=1$ erreicht es einen SWD von 0,102 (vs. 0,165 für Vanilla) und entspricht effektiv der Leistung eines Flow-Matching-Baselines mit 20 Schritten, jedoch in einem einzigen Schritt.
- Beim GMM-Kreuzungs-Benchmark zeigt DS-RectFlow zunächst höhere Fehler bei niedrigem NFE (da es komplexe Zuordnungsentscheidungen für Modi genauer erfasst), konvergiert aber schnell zu überlegener Leistung. Bis zur zweiten Reflow-Runde ( $k=2$ ) erreicht es eine 3-fache Verbesserung des SWD bei $NFE=1$ im Vergleich zu Vanilla RectFlow.
- Visualisierungen bestätigen, dass DS-RectFlow schärfere, besser getrennte Modi mit weniger „ausgelaufenen" Stichproben in verbotene Bereiche erzeugt.
Bildgenerierung (CIFAR-10 & CelebA-64):
- CIFAR-10: DS-RectFlow erzielt konsistent niedrigere Fréchet Inception Distance (FID) über alle NFE-Budgets hinweg. Mit einem Euler-20-Offline-Solver reduziert die Methode den FID von 17,41 auf 12,03 bei $NFE=1$ (eine relative Verbesserung von 31 %). Bemerkenswerterweise übertrifft das DS-RectFlow-Modell mit $NFE=1$ das Vanilla-Modell bei allen NFE-Schritten im Sweep.
- CelebA-64: Ähnliche Trends werden beobachtet. Bei $NFE=2$ erreicht DS-RectFlow einen FID von 4,90 und übertrifft die beste Leistung des Vanilla-Modells über alle NFEs hinweg (die bei 5,64 bei $NFE=20$ liegt).
- Die Ergebnisse zeigen, dass die Offline-Korrektur direkt in ein Modell übergeht, das zur hochwertigen Ein-Schritt-Generierung fähig ist.

Bedeutung und Behauptungen

Das Papier behauptet, dass die Qualität der Kopplung, nicht die Trainingskapazität oder das Inferenzbudget, der Hauptengpass von RectFlow ist. Durch die Behebung der durch Divergenz verursachten Verzerrung offline ermöglicht DS-RectFlow die kumulativen Verbesserungen, die die Rectifikation verspricht, aber in der Praxis selten liefert.

Die Autoren betonen, dass dieser Ansatz einen praktischen Vorteil bietet: Er liefert die Vorteile eines divergenzkorrigierten Integrators (geradere Trajektorien, bessere Modalausrichtung) und bewahrt gleichzeitig das Inferenzprofil mit Null-Latenz von Standard-RectFlow. Die Korrektur ist ein einmaliger Kostenfaktor, der während der Datengenerierung anfällt und über den gesamten Trainingslauf amortisiert wird. Das Papier legt nahe, dass dieser Mechanismus auf andere flussbasierte Methoden anwendbar sein könnte, wie z. B. stochastische Interpolanten und Optimal-Transport-Flow-Matching, überall dort, wo divergente Driftkomponenten die Stichprobenqualität verschlechtern.