Stellen Sie sich vor, Sie bringen einem Roboter bei, ein Bild zu zeichnen, indem Sie langsam an einem Knopf drehen, der eine Wolke aus statischem Rauschen in ein klares Bild verwandelt. So funktionieren moderne „Diffusionsmodelle“. Sie lernen, indem sie ein Foto betrachten, statisches Rauschen hinzufügen und dann versuchen, dieses Rauschen Schritt für Schritt zu entfernen, um das ursprüngliche Bild zurückzugewinnen.

Hier ist das Problem: Während des Trainings (der Lernphase) schummelt der Roboter ein wenig. Jedes Mal, wenn er versucht, den nächsten Schritt zu erraten, wird ihm die perfekte Version des verrauschten Bildes vom vorherigen Schritt gezeigt. Es ist, als würde ein Schüler einen Test machen, bei dem der Lehrer vor dem Schreiben der eigenen Antwort kurz die richtige Lösung für die vorherige Frage flüstert.

Aber während des Testens (wenn der Roboter tatsächlich ein neues Bild zeichnet), hört der Lehrer auf zu flüstern. Der Roboter muss seinen eigenen vorherigen Tipp nutzen, um den nächsten Schritt zu bestimmen. Wenn er frühzeitig einen winzigen Fehler macht, wird dieser Fehler weitergetragen, wird größer und schließlich sieht das Bild seltsam oder verschwommen aus. Dies wird als „Exposure Bias“ bezeichnet – der Robot ist während des Lernens an perfekte Daten gewöhnt, muss aber in der Praxis mit unperfekten Daten arbeiten.

Die Entdeckung des „Slow Flow“ (langsamen Flusses)

Die Autoren dieser Arbeit bemerkten etwas Seltsames, als sie beobachteten, wie der Roboter zeichnete. Sie fanden heraus, dass, wenn der Roboter zu einem bestimmten Zeitpunkt (nennen wir ihn „Zeit T“) ein verrauschtes Bild erzeugte, die perfekte Version dieses Rauschens eigentlich zu einem früheren Zeitpunkt im Prozess gehörte, einem Zeitpunkt mit mehr Rauschen.

Stellen Sie sich das so vor: Stellen Sie sich vor, Sie laufen ein Rennen. Nach 10 Sekunden blicken Sie zurück und stellen fest, dass die „perfekte“ Version Ihrer Position eigentlich beim 8-Sekunden-Markenpunkt lag. Sie sind effektiv „langsamer“ als die Grundwahrheit (Ground Truth). Der Pfad, den der Roboter erzeugt, hinkt dem perfekten Pfad hinterher und steckt in einem „verlangsamten“ Zustand mit mehr Rauschen fest, als es eigentlich sein sollte.

Die MixFlow-Lösung

Anstatt zu versuchen, den Laufstil des Roboters erst nach dem Rennen zu korrigieren (was andere Methoden versuchten), entschieden sich die Autoren dazu, das Lernen des Rennens zu verändern. Sie führten eine neue Trainingsmethode namens MixFlow ein.

Beim Standardtraining betrachtet der Roboter nur das perfekte Rauschen des exakten Augenblicks, in dem er sich gerade befinden soll. In MixFlow wird der Roboter darauf trainiert, eine „Mischung“ aus perfekten Rauschzuständen zu betrachten. Er betrachtet das perfekte Rauschen für den aktuellen Moment, aber auch die perfekten Rauschzustände jener „verlangsamten“ Momente mit mehr Rauschen.

Die Analogie:
Stellen Sie sich vor, Sie lernen Fahrrad zu fahren.

• Standardtraining: Sie üben nur auf einer perfekt flachen, glatten Straße. Wenn Sie dann in der echten Welt mit Schlaglöchern und Wind zu tun haben, stürzen Sie, weil Sie nicht auf die Verzögerung vorbereitet waren.
• MixFlow-Training: Sie üben auf der glatten Straße, aber Sie üben auch auf einer etwas holperigeren, „langsameren“ Version der Straße, die die Verzögerung nachahmt, die Sie später spüren werden. So lernen Sie, mit dem Gefühl der Verlangsamung umzugehen, während Sie sich noch in der Sicherheit des Trainings befinden.

Durch das Training auf dieser „verlangsamten Interpolationsmischung“ lernt der Roboter, mit der Tatsache umzugehen, dass seine eigenen Vermutungen etwas „langsamer“ und verrauschter sein werden als die perfekte Grundwahrheit. Er gerät nicht mehr in Panik, wenn er sich auf seine eigenen vorherigen Tipps verlassen muss.

Was sie ausschlossen

Die Autoren waren sehr sorgfältig darin, zu testen, was nicht funktioniert. Sie probierten eine Methode namens „Input Perturbation“ aus, bei der zufälliges Rauschen zu den Trainingsdaten hinzugefügt wird, um Fehler zu simulieren. Sie fanden heraus, dass man, wenn man einfach nur zufälliges Rauschen ohne Verständnis für das „Slow Flow“-Muster hinzufügt, den Roboter versehentlich mit „schnelleren“ (weniger verrauschten) Daten unterrichtet, die nicht zur Realität passen, oder mit „langsameren“ Daten, die zu weit entfernt sind. Ihre Experimente zeigten, dass das bloße Hinzufügen von Rauschen oft die Dinge verschlechtert, während ihre spezifische „verlangsamte“ Mischung der entscheidende Schlüssel ist.

Sie verglichen ihre Methode auch mit dem Versuch, das Problem während des Zeichenprozesses (Inferenz) durch das Anpassen der Schritte zu beheben. Sie fanden heraus, dass diese Anpassungen zwar ein wenig helfen, aber so sind, als würde man versuchen, ein Auto zu steuern, das bereits aus der Spur driftet; es ist besser, den Motor (das Training) im Vorfeld zu reparieren.

Die Ergebnisse: Wie sicher sind wir uns?

Die Autoren haben nicht nur geraten; sie haben massive Experimente mit echten Bilddatensätzen durchgeführt.

• Der Beweis: Sie testeten ihre MixFlow-Methode auf mehreren erstklassigen Bildgeneratoren (wie SiT, REPA und RAE) unter Verwendung des ImageNet-Datensatzes, der 1,2 Millionen Bilder aus 1.000 verschiedenen Objektkategorien enthält.
• Die Zahlen: Bei den 256 × 256 Pixel großen Bildern erreichte ihr MixFlow-Modell einen Wert von 1,43 (ohne Guidance) und 1,10 (mit Guidance). Bei den größeren 512 × 512 Pixel Bildern erreichte es 1,55 (ohne Guidance) und 1,10 (mit Guidance).
  • Hinweis: In diesem Bereich ist ein niedrigerer „FID“-Wert besser. Diese Zahlen sind unglaublich niedrig, was bedeutet, dass die generierten Bilder kaum von echten Fotos zu unterscheiden sind.
• Text-zu-Bild: Sie testeten es auch auf einem Text-zu-Bild-Modell (SD 3.5). Als sie angewiesen wurden, komplexe Szenen zu zeichnen, wie zum Beispiel „fünf herzhafte Pizzen“ oder „einen Vogel links von einer Uhr“, befolgte die MixFlow-Version die Anweisungen viel besser als die Standardversion und gab die Anzahl und die Positionen korrekt wieder.

Das Paper legt nahe, dass dieser Ansatz ein bedeutender Schritt nach vorne ist, da er die Ursache der Fehlerakkumulation direkt angeht. Es ist kein magischer Trick; es ist eine intelligentere Art des Übens. Indem sie den Roboter auf „verlangsamten“ Versionen der Wahrheit üben lassen, wird er viel robuster, wenn er Bilder eigenständig generieren muss.

Kurz gesagt: Das Paper zeigt, dass Diffusion-Modelle, indem sie ihre „Trainingsdiät“ um „verlangsamte“ Daten erweitern, aufhören können, über ihre eigenen Füße zu stolpern, und statn ein viel glatteres Rennen laufen können.