🤖 machine learning

Generative Modeling with Flux Matching

Dieser Beitrag stellt Flux Matching vor, ein neuartiges Paradigma für generative Modellierung, das score-basierte Modelle verallgemeinert, indem es die Anforderung konservativer Vektorfelder lockert und dadurch größere Flexibilität bei der Einbeziehung induktiver Verzerrungen ermöglicht sowie Anwendungen wie schnellere Stichprobenziehung und interpretierbare Dynamiken ermöglicht.

Ursprüngliche Autoren: Peter Pao-Huang, Xiaojie Qiu, Stefano Ermon

Veröffentlicht 2026-05-11

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Peter Pao-Huang, Xiaojie Qiu, Stefano Ermon

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, wie er durch einen überfüllten Raum zu einem bestimmten Ziel läuft. In der Welt der KI-generativen Modelle ist das „Ziel" ein realistisches Bild (wie ein Gesicht oder ein Auto), und der „Roboter" ist eine mathematische Maschine, die schrittweise von zufälligem Rauschen zu diesem Bild wandert.

Lange Zeit war der Standardweg, diesem Roboter beizubringen, Score Matching zu verwenden. Denken Sie daran, als würden Sie dem Roboter eine einzige, perfekte Karte geben: einen „Gradienten" oder eine Steigung, die immer direkt bergauf zum wahrscheinlichsten Datenpunkt zeigt. Wenn der Roboter diese Steigung folgt, erreicht er schließlich das Ziel. Das funktioniert hervorragend, ist aber starr. Der Roboter muss diesen einen spezifischen Pfad befolgen. Wenn der Pfad verschlungen oder langsam ist, muss der Roboter ihn nehmen, sonst verirrt er sich.

Flux Matching ist eine neue Art, dem Roboter beizubringen. Anstatt zu verlangen, dass der Roboter einer bestimmten Karte folgt, sagt es: „Es ist mir egal, welchen Weg du nimmst, solange du am Ziel ankommst und die Bevölkerungsdichte dort, wo du ankommt, richtig aussieht."

Hier ist eine Aufschlüsselung, wie das funktioniert, unter Verwendung einfacher Analogien:

1. Der Fluss und das Boot (Die Kernidee)

Stellen Sie sich einen Fluss vor, der auf einen ruhigen See (das Ziel) zufließt.

Score Matching ist wie die Aussage: „Das Boot muss genau der Mitte des Stroms folgen." Es zwingt das Boot, einer einzigen spezifischen Linie zu folgen.
Flux Matching erkennt, dass es tatsächlich viele verschiedene Wege gibt, auf denen das Wasser fließen kann, die alle zum selben ruhigen See führen. Sie könnten einen schnellen Strom, eine wirbelnde Strudel oder eine sanfte Drift haben. Solange die Menge des Wassers, die in den See fließt, der Menge entspricht, die herausfließt (der „Flux"), bleibt der See ruhig.

Flux Matching lehrt die KI, irgendeinen dieser gültigen Strömungen zu lernen, nicht nur den einen „perfekten" Hang. Das gibt der KI eine enorme Freiheit.

2. Warum der KI Freiheit geben? (Die Vorteile)

Da Flux Matching der KI erlaubt, aus vielen gültigen Pfaden zu wählen, können Forscher den Pfad nun „abstimmen", um coole Dinge zu tun, die die alte Methode nicht konnte:

Schnellere Reise (Schnelleres Sampling): Manchmal ist der „perfekte" Hang sehr verschlungen und langsam. Mit Flux Matching kann die KI einen „Abkürzungs"-Strom lernen, der den Roboter in weniger Schritten zum Ziel bringt. Es ist wie die Entdeckung einer Autobahn statt einer verschlungenen Landstraße.
Interpretierbare Karten (RNA-Geschwindigkeit): In der Biologie wollen Wissenschaftler nicht nur wissen, wie eine Zelle aussieht, sondern wohin sie sich entwickelt (z. B. wird sie zu einer Blutzelle?). Die alte Methode lieferte nur eine statische Karte. Flux Matching kann ein Vektorfeld lernen, das wie ein biologischer Fluss aussieht und die Richtung der Veränderung zeigt (wie eine Windkarte, die anzeigt, aus welcher Richtung der Wind weht), wodurch der „Denkprozess" der KI für Menschen leichter verständlich wird.
Respektieren von Regeln (Gelenkte Abhängigkeiten): Stellen Sie sich vor, Sie schreiben eine Geschichte, bei der das Ende vom Anfang abhängt, der Anfang aber nicht vom Ende abhängen sollte. Die alte Methode (Score Matching) erzwingt eine „symmetrische" Beziehung (wie ein Spiegel), was diese Regel bricht. Flux Matching erlaubt der KI, eine „Einbahnstraße" in ihre Architektur zu bauen, wodurch sichergestellt wird, dass die Geschichte logisch vom Anfang bis zum Ende fließt, ohne die Gesetze der Physik oder Kausalität zu verletzen.

3. Wie lernt es? (Der „Flux"-Trick)

Sie könnten fragen: „Wenn es unendlich viele Pfade gibt, wie weiß die KI dann, welchen sie wählen soll?"

Die Arbeit führt einen neuen mathematischen Trick namens Flux Matching ein. Anstatt zu prüfen, ob sich der Roboter an jedem einzelnen Punkt auf der exakt richtigen Linie befindet (was schwierig und einschränkend ist), prüft es den Verkehrsfluss.

Es fragt: „Ist die Menge des ‚Stoffs', der in diesen Bereich hineinfließt, gleich der Menge, die herausfließt?"
Wenn die Antwort „Ja" lautet, macht die KI einen guten Job, selbst wenn sie einen seltsamen, nicht-standardisierten Pfad nimmt.
Dies erzeugt einen „Nullraum" unendlich vieler korrekter Antworten. Die KI kann dann die Antwort wählen, die am schnellsten, am verständlichsten ist oder bestimmten Regeln folgt, während sie dennoch garantiert, das korrekte endgültige Bild zu erzeugen.

4. Was haben sie tatsächlich bewiesen?

Die Autoren testeten diese neue Methode und stellten fest:

Es funktioniert bei Bildern: Sie generierten erfolgreich hochwertige Bilder von Gesichtern (CelebA) und kleinen Objekten (CIFAR-10) und bewiesen, dass es auf komplexe Daten skalierbar ist.
Es beschleunigt die Dinge: Durch die Optimierung auf „schnelles Mischen" (schnelle Bewegung zum Ziel) konnten sie Bilder mit weniger Schritten als Standardmethoden generieren.
Es hilft der Biologie: Sie nutzten es, um die RNA-Geschwindigkeit (wie sich Zellen im Laufe der Zeit verändern) zu modellieren und erhielten bessere, konsistentere Ergebnisse als bestehende biologische Werkzeuge.
Es respektiert die Struktur: Sie zeigten, dass die KI durch Hinzufügen einer „kausalen Maske" (eine Regel, die besagt: „Die Zukunft kann die Vergangenheit nicht beeinflussen") gerichtete Beziehungen lernen konnte, die die alte Methode physikalisch nicht lernen konnte.

Der Haken

Die Arbeit ist ehrlich bezüglich der Nachteile. Da Flux Matching diese „Verkehrsflüsse" simulieren und die Mathematik komplexer prüfen muss als die alte Methode, ist es derzeit während der Trainingsphase langsamer und verbraucht mehr Computerspeicher (etwa das 2- bis 4-fache). Sobald es jedoch trainiert ist, generiert das Modell Bilder genauso schnell wie die alten.

Zusammenfassend: Flux Matching ändert das Ziel von „Folge der einen perfekten Linie" zu „Folge jedem gültigen Fluss, der uns dorthin bringt". Dies verwandelt den Pfad selbst in eine Designentscheidung und ermöglicht es der KI, schneller, interpretierbarer und besser darin zu sein, komplexe Regeln zu befolgen.

Technische Zusammenfassung: Generative Modellierung mit Fluss-Matching

Problemstellung

Der aktuelle Stand der Technik bei der generativen Modellierung, insbesondere in hochdimensionalen Bereichen wie Bildsynthese, Protein-Design und Robotik, stützt sich stark auf score-basierte Modelle. Diese Modelle lernen die Stein-Score-Funktion, $\nabla \log p_{\text{data}}(x)$ , typischerweise mittels Score Matching. Sobald diese gelernt ist, wird der Score verwendet, um Diffusionsprozesse (z. B. Langevin-Dynamik) anzutreiben, um aus der Zielverteilung $p_{\text{data}}$ zu sampeln.

Der Score-Funktion ist jedoch nicht das einzige Vektorfeld, das in der Lage ist, $p_{\text{data}}$ zu erzeugen. Gemäß der Fokker-Planck-Gleichung (FPE) wird jedes Vektorfeld $f_\theta$ , das die Bedingung $\nabla \cdot (p_{\text{data}} f_\theta) = \nabla \cdot (p_{\text{data}} \nabla \log p_{\text{data}})$ erfüllt, $p_{\text{data}}$ als stationäre Verteilung haben. Dies impliziert, dass eine unendliche Familie von generativen Vektorfeldern (nicht-konservative Felder) existiert, die dieselbe Zielverteilung erzeugen können, aber unterschiedliche Dynamiken hervorrufen (z. B. unterschiedliche Mischraten, Zirkulationsmuster oder gerichtete Abhängigkeiten).

Bestehende Score-Matching-Ziele zwingen das Modell, in diesem Raum zu einem einzigen Punkt zu konvergieren ( $\nabla \log p_{\text{data}}$ ), und bestrafen jede Abweichung, selbst wenn diese Abweichung die Zielverteilung erhält. Dies schränkt die Fähigkeit ein, nützliche induktive Verzerrungen, strukturelle Priors oder dynamische Eigenschaften (wie schnellere Mischung oder kausale Abhängigkeiten) direkt in das generative Feld zu kodieren.

Methodik: Fluss-Matching

Die Autoren schlagen Fluss-Matching vor, ein neues Paradigma, das Score Matching verallgemeinert, indem es jedes Vektorfeld innerhalb der Familie von Feldern lernt, die die Zielverteilung erzeugen, anstatt das Modell zu zwingen, den Score punktweise zu matchen.

Kernziel

Anstatt die Fisher-Divergenz zwischen dem Modell $f_\theta$ und dem Score $\nabla \log p_{\text{data}}$ zu minimieren, minimiert Fluss-Matching die Divergenz des Wahrscheinlichkeitsflusses. Die Bedingung dafür, dass ein Feld generativ ist, lautet:
$\nabla \cdot (p_{\text{data}} f_\theta) = \nabla \cdot (p_{\text{data}} \nabla \log p_{\text{data}})$
Diese Bedingung ist schwächer als eine punktweise Gleichheit und erlaubt einen „Nullraum" unendlich vieler gültiger Vektorfelder.

Theoretische Herleitung

Um diese Bedingung zu optimieren, definieren die Autoren eine Projizierte Fisher-Divergenz:
$\tilde{J}(\theta) := \mathbb{E}_{x \sim p_{\text{data}}} \left[ \| \Pi_{\text{flux}} f_\theta(x) - \nabla \log p_{\text{data}}(x) \|^2 \right]$
wobei $\Pi_{\text{flux}}$ ein Vektorfeld auf den Raum der Gradientenfelder projiziert, die dieselbe Flussdivergenz teilen. Während $\tilde{J}(\theta)$ theoretisch fundiert ist, ist es in hohen Dimensionen nicht handhabbar.

Die Autoren leiten einen handhabbaren Fluss-Matching-Verlust ( $L_{\text{flux}}$ ) her durch:

Definition des Residualfelds $u_\theta = f_\theta - \nabla \log p_{\text{data}}$ und des Langevin-Stein-Operators $r_\theta = \nabla \cdot u_\theta + u_\theta \cdot \nabla \log p_{\text{data}}$ .
Verwendung von Diffusionssimulationen $d x_t = \nabla \log p_{\text{data}}(x_t) dt + \sqrt{2} dW_t$ , um $r_\theta$ über die Datenverteilung zu propagieren.
Anwendung der partiellen Integration und eines Stop-Gradient-Tricks, um das Ziel in eine Form umzuwandeln, die eine Rückwärtspropagierung durch teure Pfadableitungen vermeidet.

Der finale Verlust lautet:
$L_{\text{flux}}(\theta) := -\mathbb{E}_{t \sim q, x_0 \sim p_{\text{data}}, x_t | x_0} \left[ \frac{1}{q(t)} u_\theta(x_0)^\top \text{sg}\left( \frac{\partial x_t}{\partial x_0}^\top \nabla_{x_t} r_\theta(x_t) \right) \right]$
wobei $\text{sg}$ den Stop-Gradient-Operator bezeichnet. Die Autoren beweisen, dass $\nabla_\theta \tilde{J}(\theta) = 2 \nabla_\theta L_{\text{flux}}(\theta)$ .

Noise-Annealing und praktische Umsetzung

Die Methode lässt sich auf noise-annealed Settings (ähnlich wie bei Diffusionsmodellen) erweitern, indem eine Kontinuum von Feldern für Rauschpegel $\sigma$ gelernt wird.

Score-Approximation: Da $\nabla \log p_{\text{data}}$ unbekannt ist, verwenden die Autoren eine nicht-parametrische Kernel-Density-Schätzung (KDE) auf Mini-Batches, um den Score zu schätzen.
Varianzreduktion: Um den Pfadterm $\frac{\partial x_t}{\partial x_0}^\top \nabla_{x_t} r_\theta(x_t)$ zu schätzen, setzen die Autoren einen Cross-Chain-Schätzer ein, der alle Proben in einem Mini-Batch unter Gewichtung durch Gaußsche Übergangswahrscheinlichkeiten nutzt, anstatt sich auf eine einzelne Kette zu verlassen.

Auswahl spezifischer Felder

Fluss-Matching lernt eine Familie von Feldern. Um ein spezifisches Feld mit gewünschten Eigenschaften auszuwählen, schlagen die Autoren zwei Strategien vor:

Anwendungsspezifischer Verlust: Hinzufügen von Hilfsverlusten (z. B. für Mischgeschwindigkeit oder strukturelle Einschränkungen) zum Fluss-Matching-Ziel.
Modell-Parametrisierung: Architektonische Einschränkungen (z. B. kausale Attention-Masken), die spezifische Strukturen direkt in $f_\theta$ erzwingen.

Hauptbeiträge

Fluss-Matching-Paradigma: Einführung eines Rahmens für die generative Modellierung, der Vektorfelder jenseits des Scores lernt, indem die Divergenz des Wahrscheinlichkeitsflusses gematcht wird.
Effiziente Verlustherleitung: Herleitung eines skalierbaren Fluss-Matching-Verlusts, der die Geometrie der Fisher-Divergenz bewahrt, während nicht-konservative Vektorfelder erlaubt werden.
Noise-Annealed-Erweiterung: Erweiterung der Methode auf noise-annealed Verteilungen, was die Anwendung auf komplexe, hochdimensionale Bilddatensätze ermöglicht.
Nachgewiesene Flexibilität: Empirische Belege zeigen, dass Fluss-Matching Anwendungen ermöglicht, die unter standardmäßigem Score Matching unmöglich sind, einschließlich:
- Schnellere Mischung: Lernen von Vektorfeldern, die die Sampling-Konvergenz beschleunigen.
- Interpretierbarkeit: Anpassung strukturierter, biologisch sinnvoller Modelle (z. B. RNA-Velocity) ohne Black-Box-neuronale Approximationen.
- Strukturierte Dynamik: Einbetten gerichteter Abhängigkeiten (z. B. zeitliche Autoregression) direkt in das generative Feld.

Ergebnisse

Die Arbeit bewertet Fluss-Matching in fünf Szenarien:

Kontrollierbare Felder (Toy-Daten): Auf einer 2D-Gaußschen Mischung weist Fluss-Matching Feldern, die die Zielverteilung erhalten, aber unterschiedliche Dynamiken aufweisen (z. B. Rotation, Zirkulation), einen Verlust von null zu, während Score Matching diese Abweichungen bestraft.
Interpretierbare Felder (RNA-Velocity): Auf Einzelzell-Genomik angewendet, passt Fluss-Matching die Parameter des scVelo-dynamischen Modells mittels Gradientenabstieg an. Es übertrifft die standardmäßige EM-basierte scVelo-Anpassung in der Konsistenz und Korrektheit über Grenzen hinweg auf fünf Datensätzen und zeigt, dass die Gewinne aus dem Optimierungsverfahren und nicht aus erhöhter Modell-Expressivität stammen.
Unbeschränkte Generierung (Bilder): Auf CIFAR-10 und CelebA dient Fluss-Matching als eigenständiges Ziel. Obwohl es konkurrenzfähige FID-Scores erreicht, ist es derzeit 3–4 $\times$ langsamer und verbraucht 2–3 $\times$ mehr Speicher während des Trainings im Vergleich zu Denoising Score Matching (DSM). Es skaliert jedoch auf hochdimensionale Verteilungen.
Schnelle Mischung: Durch Optimierung eines Misch-Proxy lernt Fluss-Matching Felder, die mit deutlich weniger Sampling-Schritten als Vanilla-Fluss-Matching oder DSM vernünftige FID-Scores erreichen.
Einbetten von Struktur: In einem Trajektorien-Generierungsaufgabe (nichtlineare Federn) integriert Fluss-Matching erfolgreich eine kausale Attention-Maske, um zeitliche Autoregression zu erzwingen. Im Gegensatz dazu verschlechtert die Anwendung derselben Maske auf DSM die Leistung, da die symmetrische Jacobi-Matrix der Score-Funktion mit gerichteten Abhängigkeiten kollidiert.

Bedeutung und Behauptungen

Die Autoren behaupten, dass Fluss-Matching eine „neue Dimension" in der generativen Modellierung eröffnet, indem es das Vektorfeld selbst als Designentscheidung und nicht als festes Ziel behandelt.

Über das Sampling hinaus: Der primäre Wert liegt nicht unbedingt darin, DSM für die Standard-Bildgenerierung zu ersetzen (wo DSM stark optimiert ist), sondern Dynamiken mit nützlichen Eigenschaften zu ermöglichen.
Flexibilität: Es ermöglicht Praktikern, induktive Verzerrungen, strukturelle Priors und mechanistische Einschränkungen direkt in den Generationsprozess zu imponieren.
Anwendungen: Die Arbeit hebt spezifische Anwendungsfälle hervor, die durch diese Flexibilität freigeschaltet werden: schnelleres Sampling durch nicht-reversible Dynamiken, interpretierbare wissenschaftliche Modelle (wie RNA-Velocity) und generative Modelle mit vorgeschriebenen kausalen oder zeitlichen Strukturen.

Die Arbeit schließt, dass Fluss-Matching zwar derzeit höhere Rechenkosten verursacht, aber seine Fähigkeit, nicht-konservative, strukturierte generative Felder zu lernen, ein leistungsfähiges Werkzeug für Anwendungen bietet, bei denen die Dynamik der Generierung ebenso wichtig ist wie die Verteilung des Outputs.