🤖 machine learning

Generative Modeling via Drifting

Dieses Paper führt „Drifting Models“ ein, ein neues generatives Modellierungsparadigma, das die Pushforward-Verteilung während des Trainings über ein Driftfeld entwickelt, um ein Gleichgewicht zu erreichen, was eine einschrittige Bildgenerierung auf dem Stand der Technik für ImageNet bei einer Auflösung von 256x256 ermöglicht.

Ursprüngliche Autoren: Mingyang Deng, He Li, Tianhong Li, Yilun Du, Kaiming He

Veröffentlicht 2026-02-09

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Mingyang Deng, He Li, Tianhong Li, Yilun Du, Kaiming He

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, ein perfektes Bild einer Katze zu zeichnen.

Die alten Wege, dies zu tun (wie bei Diffusionsmodellen), würden bedeuten, dass der Roboter mit einer leeren Leinwand voller statischem Rauschen beginnt. Er würde einen winzigen Schritt machen, ein wenig von dem Rauschen säubern, einen weiteren Schritt machen, ein wenig mehr säubern, und diesen Prozess hunderte Male wiederholen, bis schließlich eine Katze erscheint. Es ist wie das Schnitzen einer Statue, indem man aus einem riesigen Steinblock Stück für Stück Material abträgt.

Dieses Paper schlägt einen neuen Weg vor, der „Drifting Models“ genannt wird.

Anstatt den Stein Schritt für Schritt abzustechen, stellt sich vor, der Roboter besitzt einen magischen „Wind“, der das Rauschen in einer einzigen, fließenden Bewegung direkt in die Form einer Katze bläst.

Hier ist die Erklärung des Papers, auf einfache Konzepte heruntergebrochen:

1. Das Ziel: Eine Wolke in Form bringen

Stellen Sie sich das Rauschen, mit dem der Roboter beginnt, wie eine Staubwolke vor der Luft vor. Das Ziel ist es, diese Wolke so zu drücken, dass sie sich in der exakten Form einer Katze niederlässt.

Der alte Weg: Sie drücken die Wolke ein winziges Stück, halten inne, prüfen die Form, drücken ein weiteres winziges Stück, halten inne, prüfen erneut. Das machen Sie immer und immer wieder.
Der neue Weg (Drifting): Sie finden die perfekte Windrichtung und Geschwindigkeit, um die Wolke in einem einzigen Atemzug von „Staub“ zu einer „Katze“ zu drücken.

2. Das Geheimrezept: Das „Drifting Field“

Wie weiß der Roboter, in welche Richtung er drücken muss? Das Paper führt das Konzept eines „Drifting Field“ ein.

Stellen Sie sich vor, Sie sind in einem Raum mit zwei Gruppen von Menschen:

Gruppe A (Die echten Katzen): Dies sind echte Fotos von Katzen.
Gruppe B (Die Zeichnungen des Roboters): Dies sind die unordentlichen, verschwommenen Zeichnungen, die der Roboter gerade erstellt.

Das „Drifting Field“ ist wie eine unsichtbare Kraft, die der Zeichnung des Roboters sagt, wie sie sich bewegen soll:

Anziehung (Attraction): Die Zeichnung spürt ein sanftes Ziehen hin zu den echten Katzen (Gruppe A).
Abstoßung (Repulsion): Die Zeichnung spürt einen Druck weg von ihren eigenen schlechten, verschwommenen Versionen (Gruppe B).

Der Roboter berechnet dieses Ziehen und Drücken für jede einzelne Zeichnung. Wenn die Zeichnung weit von einer echten Katze entfernt ist, ist der Zug stark. Wenn die Zeichnung bereits gut ist, ist der Zug schwach.

3. Das „Gleichgewicht“ (Der Sweet Spot)

Die Magie geschieht, wenn die Zeichnungen des Roboters so gut werden, dass sie exakt wie die echten Katzen aussehen.

An diesem Punkt heben sich der „Zug“ von den echten Katzen und der „Druck“ von den schlechten Zeichnungen perfekt auf.
Der „Wind“ hört auf zu wehen, weil die Zeichnung bereits am richtigen Ort ist.
Das Paper nennt dies Equilibrium (Gleichgewicht). Wenn der Wind aufhört, hat der Roboter die perfekte Karte gelernt, um Rauschen in eine Katze zu verwandeln.

4. Training vs. Inference (Lernen vs. Tun)

Dies ist der clevere Teil des Papers:

Training (Lernen): Der Roboter lernt, indem er diesen „Wind“ immer und immer wieder simuliert. Er beobachtet, wie seine Zeichnungen zu den echten Katzen driften, bringt die Mathematik in Ordnung und aktualisiert sein Gehirn. Dies ist ein iterativer Prozess (es dauert Zeit zu lernen).
Inference (Tun): Sob es der Roboter einmal gelernt hat, die perfekte Windkarte, muss er nicht mehr in kleinen Schritten vorgehen. Er wendet die Karte einfach einmal an. Er nimmt einen Stoß Rauschen, wendet das „Drifting Field“ ein einziges Mal an, und puf – eine perfekte Katze erscheint.

5. Warum das wichtig ist

Das Paper behauptet, dass diese Methode ein Game-Changer ist, weil sie:

Geschwindigkeit: Bilder in nur einem Schritt generiert (genannt 1-NFE). Sie müssen nicht warten, um 50 oder 100 Schritte zu erhalten, um ein Ergebnis zu bekommen.
Qualität: Trotz dieses einen Schrittes sind die Bilder unglaublich hochwertig. In einem Standardtest (ImageNet) erreichten sie einen Wert (FID) von **1,54, was besser ist als fast jede andere Single-Step-Methode und die langsamen Multi-Step-Methoden in den Schatten stellt.
Vielseitigkeit: Sie funktioniert nicht nur für Bilder, sondern auch zur Steuerung von Robotern (wie etwa ein Roboterarm, der Objekte aufhebt), was beweist, dass es eine allgemeine Art der Datengenerierung ist.

Zusammenfassende Analogie

Alte Methode (Diffusion): Wie ein Spaziergang durch einen dunklen Wald, um einen Schatz zu finden. Man macht einen Schritt, prüft seine Karte, macht den nächsten Schritt, prüft wieder. Es dauert lange.
Drifting Model: Wie ein GPS zu haben, das die gesamte Route sofort berechnet. Man steigt ins Auto, drückt auf „Los“ und kommt in einer einzigen, fließenden Fahrt direkt beim Schatz an.

Das Paper sagt im Wesentlichen: „Wir haben einen Weg gefunden, diese perfekte GPS-Route (das Drifting Field) während des Trainings zu berechnen, sodass wir zum Zeitpunkt der Anwendung einfach in einem Rutsch direkt dorthin fahren können.“

Technisches Resümee: Generative Modellierung durch Drifting

Problemstellung

Generative Modellierung ist im Kern die Aufgabe, eine Abbildung $f$ zu lernen, sodass die Pushforward-Verteilung einer Prior-Verteilung $p_{prior}$ (z. B. Gaußsches Rauschen) mit der Datenverteilung $p_{data}$ übereinstimmt, bezeichnet als $f\#p_{prior} \approx p_{data}$ . Während gängige Paradigmen wie Diffusionsmodelle und Flow Matching dies durch iterative Verfeinerung von Stichproben während der Inferenzzeit erreichen (indem sie die komplexe Pushforward-Abbildung in eine Kette von durchführbaren Transformationen zerlegen), erfordert dieser Ansatz mehrere neuronale Netz-Evaluierungen (NFE) pro Stichprobe, was zu hohen Rechenkosten führt.

Bestehende Versuche, Einschritt-Generatoren zu erstellen, stützen sich oft auf die Destillation vortrainierter Multi-Schritt-Modelle oder auf die Approximation der Trajektorien von stochastischen Differentialgleichungen (SDEs) oder gewöhnlichen Differentialgleichungen (ODEs) während des Trainings. Die Autoren schlagen ein neues Paradigma vor, das den iterativen Prozess grundlegend von der Inferenzzeit auf die Trainingszeit verlagert, wodurch eine qualitativ hochwertige Generierung mit einer einzigen neuronalen Funktionsauswertung (1-NFE) ermöglicht wird, ohne sich auf SDE/ODE-Formulierungen verlassen zu müssen.

Methodik: Drifting-Modelle

Der Kernbeitrag ist das Drifting-Modell, welches generative Modellierung als die Evolution der Pushforward-Verteilung während des Trainingsprozesses selbst formuliert.

1. Evolution während der Trainingszeit

Anstatt das Training lediglich als Aktualisierung von Gewichten zur Minimierung eines statischen Verlusts zu betrachten, sehen die Autoren die Sequenz von Modellen $\{f_i\}$ , die durch iterative Optimierung (z. B. SGD) erzeugt werden, als eine Sequenz von Pushforward-Verteilungen $\{q_i\}$ . In jeder Iteration wird eine Stichprobe $x_i = f_i(\epsilon)$ aufgrund von Parameteraktualisierungen implizit zu $x_{i+1} = f_{i+1}(\epsilon)$ „gedriftet“. Das Ziel ist es, einen Mechanismus zu definieren, bei dem dieser Drift die Verteilung $q$ natürlich in Richtung $p_{data}$ führt.

2. Das Drifting-Feld

Um diese Evolution zu steuern, führen die Autoren ein Drifting-Feld $V_{p,q}(x)$ ein, eine Funktion, die einen Verschiebungsvektor $\Delta x$ für eine Stichprobe $x$ basierend auf der aktuellen generierten Verteilung $q$ und der Ziel-Datenverteilung $p$ berechnet.

Gleichgewichtsbedingung: Das Feld ist so konzipiert, dass $V_{p,q}(x) = 0$ gilt, wenn und nur wenn $p = q$ . Wenn die Verteilungen übereinstimmen, hören die Stichproben auf zu driften und erreichen ein Gleichgewicht.
Antisymmetrie: Das Feld erfüllt die Eigenschaft $V_{p,q}(x) = -V_{q,p}(x)$ . Diese Eigenschaft stellt sicher, dass sich die Driftrichtung umkehrt, wenn die Verteilungen vertauscht werden, was garantiert, dass $V=0$ , wenn $p=q$ .

3. Instanziierung mittels Attraktion und Repulsion

Das spezifische Drifting-Feld, das in der Arbeit verwendet wird, ist vom Mean-Shift-Algorithmus inspiriert und wird unter Verwendung positiver Stichproben aus $p$ und negativer Stichproben aus $q$ konstruiert:
$V_{p,q}(x) = V^+_p(x) - V^-_q(x)$
Wobei:

$V^+_p(x)$ eine attraktive Kraft ist, die $x$ in Richtung der Datenverteilung $p$ zieht.
$V^-_q(x)$ eine repulsive Kraft ist, die $x$ von der generierten Verteilung $q$ wegdrückt.
Diese Kräfte werden unter Verwendung einer Kernel-Funktion $k(x, y)$ (speziell eines exponentiellen Kernels basierend auf der $\ell_2$ -Distanz) berechnet und über Softmax-Operationen normalisiert, um Stabilität zu gewährleisten.

4. Trainingsziel

Das Trainingsziel leitet sich aus der Fixpunkt-Beziehung im Gleichgewicht ab: $f(\epsilon) = f(\epsilon) + V_{p,q}(f(\epsilon))$ . Die Verlustfunktion minimiert den Abstand zwischen der aktuellen Vorhersage und einem „eingefrorenen Ziel“ (der Vorhersage plus dem Drift):
$L = \mathbb{E}_{\epsilon} \left[ \| f_\theta(\epsilon) - \text{stopgrad}(f_\theta(\epsilon) + V_{p,q}(f_\theta(\epsilon))) \|^2 \right]$
Diese Formulierung ermöglicht es dem Optimierer, die Verteilung zu entwickeln, indem er Stichproben zu ihren gedrifteten Versionen bewegt. Entscheidend ist, dass der Gradient nicht durch die Verteilung $q$ selbst zurückpropagiert wird, wodurch die Komplexität der Differenzierung durch Verteilungen vermieden wird.

5. Merkmalsraum und Guidance

Merkmalsraum: Um hochdimensionale Daten zu handhaben, wird der Drifting-Loss in einem Merkmalsraum unter Verwendung eines vortrainierten selbstüberwachten Encoders (z. B. ResNet-Stil MAE) berechnet. Dies stellt sicher, dass semantisch ähnliche Stichproben nah beieinander bleiben, was reichhaltigere Gradientensignale liefert.
Classifier-Free Guidance (CFG):: Die Methode unterstützt CFG nativ, indem unbedingte Datensamples in die negative Stichprobenverteilung während des Trainings gemischt werden, was eine kontrollierbare Generierung während der Inferenz ohne Retraining ermöglicht.

Wichtige Beiträge

Neues Paradigma: Einführung von „Drifting Models“, einem Framework, bei dem sich die Pushforward-Verteilung während der Trainingszeit entwickelt, was die Notwendigkeit einer iterativen Inferenz eliminiert.
Drifting-Feld: Vorschlag eines neuartigen Verlustmechanismus basierend auf einem Drifting-Feld, der ein Gleichgewicht erreicht, wenn die generierte und die Datenverteilung übereinstimmen, gesteuert durch Attraktion zu den Daten und Repulsion von der aktuellen Generierung.
State-of-the-Art Einschritt-Generierung: Nachweis, dass ein einzelschrittiges Netzwerk eine Leistung erzielen kann, die mit Multi-Schritt-Diffusions- und Flow-basierten Modellen konkurriert oder diese sogar übertrifft.
Robustheit gegenüber Mode Collapse: Experimente mit Spielzeugmodellen deuten darauf hin, dass die Methode robust gegenüber Mode Collapse ist; wenn die generierte Verteilung zu einem Modus kollabiert, treibt die Attraktion von anderen Modi in der Datenverteilung den Drift weiterhin an und drängt die Verteilung zur Entwicklung.

Experimentelle Ergebnisse

Die Autoren evaluieren Drifting-Modelle auf ImageNet 256×256 sowohl im latenten als auch im Pixel-Raum.

Latenter Raum: Unter Verwendung eines Standard-SD-VAE-Tokenizers erreicht das Modell einen 1-NFE FID von 1,54 (mit einem größeren L/2-Modell). Dies übertrifft alle bisherigen Einschritt-Methoden (z. B. iMeanFlow, AdvFlow) und ist konkurrenzfähig mit Multi-Schritt-Diffusionsmodellen (z. B. SiT-XL/2 mit 250 Schritten erreicht 2,06 FID).
Pixel-Raum: Ohne latenten Tokenizer erreicht das Modell einen 1-NFE FID von 1,61, was bisherige Einschritt-Methoden im Pixel-Raum (z. B. StyleGAN-XL mit 2,30 FID) deutlich übertrifft und mit Multi-Schritt-Pixel-Raum-Modellen konkurriert.
Robotik-Steuerung: Im Diffusion-Policy-Setting erreicht das Einschritt-Drifting-Modell die Leistung von Multi-Schritt-Diffusions-Policies (100 NFE) bei verschiedenen Robotermanipulationsaufgaben oder übertrifft diese sogar.

Bedeutung und Ansprüche

Das Paper behauptet, neue Möglichkeiten für eine hochwertige, effiziente generative Modellierung zu eröffnen. Durch die Umformulierung des iterativen neuronalen Netzwerktrainings als Mechanismus der Verteilungsevolution fordert die Arbeit die Notwendigkeit von SDE/ODE-Formulierungen für generative Aufgaben heraus.

Die Autoren betonen, dass ihre Methode:

Natürlich Einschritt-Inferenz (1-NFE) zulässt, was die Rechenkosten beim Einsatz erheblich reduziert.
Nicht auf der Destillation von vortrainierten Multi-Schritt-Modellen basiert, sondern von Grund auf trainiert wird.
Eine konzeptionell unterschiedliche Alternative zu Diffusion und Flow Matching bietet, indem sie sich auf die Update-Regel ( $x_{i+1} = x_i + \Delta x_i$ ) während des Trainings konzentriert, statt auf die Inferenz.

Die Autoren bleiben bescheiden hinsichtlich theoretischer Garantien und merken an, dass zwar $p=q \implies V=0$ bewiesen ist, die Umkehrung ( $V \to 0 \implies p \to q$ ) empirisch und unter spezifischen Nicht-Degenerationsannahmen gilt, aber nicht für beliebige Vektorfelder garantiert ist. Sie betrachten ihre Arbeit als Ausgangspunkt für die Untersuchung anderer Realisierungen von Mechanismen der Verteilungsevolution.