🤖 machine learning

Flow Matching with Arbitrary Auxiliary Paths

Dieser Beitrag stellt AuxPath-FM vor, ein generalisiertes Flow-Matching-Framework, das eine Hilfsvariable aus einer beliebigen Verteilung in den Wahrscheinlichkeitspfad integriert und dadurch vielfältige geometrische Eigenschaften sowie spezialisierte Aufgaben wie die label-gesteuerte Generierung ermöglicht, während die theoretische Konsistenz gewahrt bleibt.

Ursprüngliche Autoren: Xin Peng, Ang Gao

Veröffentlicht 2026-05-08

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Xin Peng, Ang Gao

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, ein Bild einer Katze zu zeichnen. In der Welt der modernen KI geschieht dies häufig mithilfe eines Verfahrens namens Flow Matching. Denken Sie daran wie an einen Fluss, der von einem schlammigen, chaotischen Sumpf (zufälliges Rauschen) in einen klaren, schönen See (ein perfektes Bild einer Katze) fließt. Die Aufgabe der KI besteht darin, die genaue Richtung und Geschwindigkeit des Wasserstroms zu lernen, damit sie einen Wassertropfen perfekt vom Sumpf zum See führen kann.

Normalerweise, wenn Sie möchten, dass der Roboter eine bestimmte Art von Katze zeichnet (wie eine Siam- oder eine Perserkatze), sagen Sie dem Gehirn des Roboters (dem neuronalen Netzwerk), was Sie wollen. Aber der Weg, den das Wasser nimmt – der Fluss selbst – bleibt derselbe. Es ist, als würde man dem Fahrer eines Autos sagen: „Fahren Sie zum Strand", aber das Auto steckt immer noch auf einer Straße fest, die nur in die Berge führt. Sie müssen sich vollständig darauf verlassen, dass der Fahrer eine Kehrtwende macht.

Die neue Idee: „AuxPath-FM"
Diese Arbeit stellt ein neues Framework namens AuxPath-FM vor. Anstatt dem Fahrer nur mitzuteilen, wohin er soll, verändert diese Methode die Straße selbst, indem sie einen speziellen „Nebenweg" hinzufügt, der genau dorthin führt, wo Sie hinwollen.

So funktioniert es, unter Verwendung einfacher Analogien:

1. Die drei Zutaten der Reise

Auf die alte Weise war die Reise vom Rauschen zum Bild eine gerade Linie zwischen zwei Punkten:

Punkt A: Zufälliges Rauschen (der Sumpf).
Punkt B: Das endgültige Bild (der See).

Bei AuxPath-FM fügen sie eine dritte Zutat hinzu: eine „Hilfsvariable" (nennen wir sie $\eta$ oder „der Helfer").

Die Reise ist nun eine Mischung aus Punkt A, Punkt B und diesem Helfer.
Der Weg sieht so aus: Aktuelle Position = (Teil des Bildes) + (Teil des Rauschens) + (Teil des Helfers).

2. Der Helfer kann alles sein

Bei früheren Methoden war dieser „Helfer" immer nur Gaußsches Rauschen (denken Sie daran als statisches Rauschen auf einem alten Fernsehbildschirm – zufällig und unstrukturiert).

Die Innovation der Arbeit: Diese neue Methode sagt: „Warum den Helfer auf statisches Rauschen beschränken? Der Helfer kann alles sein!"
Der Helfer könnte sein:
- Uniform: Wie eine perfekt flache, gleichmäßige Verteilung (wie das gleichmäßige Verteilen von Butter auf Toast).
- Laplace: Wie eine scharfe Spitze in der Mitte (wie ein Berggipfel).
- Rademacher: Wie ein Münzwurf (Kopf oder Zahl, nichts dazwischen).
- Labels: Dies ist der große Punkt. Der Helfer kann ein semantisches Label sein. Wenn Sie ein „rotes Auto" wollen, ist der Helfer ein spezifisches Signal, das „ROTES AUTO" sagt.

3. Warum das eine große Sache ist

Die Arbeit behauptet, dass durch die Veränderung der Form der Straße (des Wahrscheinlichkeitspfads) mit diesen verschiedenen Helfern unterschiedliche „geometrische Eigenschaften" entstehen.

Analogie: Stellen Sie sich vor, Sie gehen von Ihrem Haus zu einem Park.
- Alte Methode: Sie gehen eine gerade Linie, müssen sich aber auf Ihr GPS (das KI-Gehirn) verlassen, um Ihnen zu sagen, wann Sie rechts abbiegen müssen.
- Neue Methode (AuxPath-FM): Sie bauen einen speziellen Gehweg, der sich physisch zum Park hin krümmt. Der Weg selbst führt Sie.
Da der Weg mit dem Signal „Rotes Auto" eingebaut ist, rät die KI nicht nur, dass das Auto rot ist; die gesamte Reise ist von Anfang an darauf ausgerichtet, ein rotes Auto zu erzeugen.

4. Der „magische" Abkürzungsweg (Classifier-Free Guidance)

Einer der coolsten Tricks in der Arbeit ist, wie sie „Guidance" (die Verbesserung der Übereinstimmung des Bildes mit Ihrer Beschreibung) handhaben.

Die alte Methode: Um ein Bild besser mit einem Prompt abzustimmen, muss die KI den Prompt normalerweise zweimal betrachten: einmal, um zu sehen, was Sie wollen, und einmal, um zu sehen, was Sie nicht wollen, und berechnet dann die Differenz. Es ist, als würde man zweimal einen Kartencheck machen, um sicherzustellen, dass man nicht den falschen Weg geht. Das dauert doppelt so lange.
Die neue Methode: Da der „Helfer" (das Label) in die Straße selbst eingebaut ist, muss die KI den Karten nur einmal betrachten. Sie justiert einfach das „Lenkrad" (das Helfersignal) leicht, um das Auto schärfer zum Ziel zu lenken.
Ergebnis: Sie erhalten bessere, genauere Bilder in der Hälfte der Zeit.

5. Was sie getestet haben

Die Autoren haben nicht nur über Theorie gesprochen; sie haben dies getestet an:

MNIST: Einfache handschriftliche Zahlen (0–9).
CIFAR-10: Kleine, farbenfrohe Bilder von Tieren und Objekten.
ImageNet: Eine riesige Sammlung hochauflösender Fotos.

Sie stellten fest, dass sie durch die Verwendung dieser verschiedenen „Helfer" (wie den Münzwurf oder das Label-Signal) Bilder erzeugen konnten, die nicht nur von hoher Qualität waren, sondern auch viel besser mit den spezifischen Labels (wie „Hund" oder „Flugzeug") übereinstimmten als zuvor. Sie zeigten sogar, dass man eine KI, die darauf trainiert war, alles zu zeichnen (unconditional), in eine KI verwandeln kann, die spezifische Dinge zeichnet (conditional), indem man einfach diesen „Helfer" zur Straße hinzufügt, ohne den gesamten Motor neu bauen zu müssen.

Zusammenfassung

AuxPath-FM ist wie das Upgrade eines GPS-Systems. Anstatt dem Fahrer nur Anweisungen zu geben, werden die Straßen so neu gestaltet, dass der Weg selbst natürlich zum richtigen Ziel führt. Es ermöglicht der KI, alle Arten verschiedener „Signale" (nicht nur zufälliges Rauschen) zu nutzen, um den Erstellungsprozess zu steuern, wodurch er schneller, flexibler und besser darin wird, spezifische Anweisungen zu befolgen.

Technische Zusammenfassung: Flow Matching mit beliebigen Hilfs-Pfaden (AuxPath-FM)

Problemstellung

Kontinuierliche generative Modelle, einschließlich scorebasierter Diffusionsmodelle und Flow-Matching-Frameworks (FM), haben sich als leistungsfähige Werkzeuge zur Modellierung komplexer Datenverteilungen etabliert. Beim konditionierten generativen Modellieren ist die Einbeziehung von Zusatzinformationen (z. B. Klassenlabels) für eine kontrollierbare Synthese unerlässlich. Bestehende Ansätze führen solche Informationen jedoch typischerweise ausschließlich über die Konditionierung neuronaler Netze ein und lassen die zugrunde liegenden Wahrscheinlichkeitspfade unverändert. Obwohl neuere theoretische Arbeiten darauf hindeuten, dass Flow Matching sich an intrinsische Mannigfaltigkeitsstrukturen anpasst, bleibt der Einfluss der stochastischen Komponente des Pfades auf die Steuerung auf Trajektorienebene noch wenig erforscht.

Darüber hinaus verlassen sich frühere pfadbasierte Formulierungen, wie stochastische Interpolanten und Schrödinger-Brücken-Methoden, im Allgemeinen auf Gaußsches Rauschen oder Brownsche Dynamik für die stochastische Interpolation. Diese Einschränkung limitiert die Flexibilität bei der Gestaltung von Wahrscheinlichkeitspfaden für strukturierte Führung. Obwohl neuere Arbeiten nicht-Gaußsche Störungen oder diskrete Zustandsraumflüsse untersucht haben, bleiben diese Methoden oft auf spezifische Datentypen spezialisiert oder versagen darin, kontinuierliche und diskrete Priorisierungen unter einem einzigen, allgemeinen Rahmen zu vereinen. Es besteht ein Bedarf an einer prinzipiellen Methode, die es erlaubt, die generative Trajektorie direkt durch diverse Hilfsignale zu formen, anstatt sich ausschließlich auf eine Modulation auf Netzwerkebene zu verlassen.

Methodik: AuxPath-FM

Die Autoren stellen Flow Matching mit beliebigen Hilfs-Pfaden (AuxPath-FM) vor, ein Framework, das konditioniertes Flow Matching generalisiert, indem eine Hilfszufallsvariable $\eta$ , gezogen aus einer beliebigen Verteilung, direkt in den Wahrscheinlichkeitspfad integriert wird.

1. Beliebige Hilfs-Wahrscheinlichkeitspfade

Im Gegensatz zu Standard-Interpolationsschemata, die Hilfsbegriffe auf Gaußsches Rauschen beschränken, konstruiert AuxPath-FM Trajektorien der Form:
$X_t = a(t)X_1 + b(t)X_0 + c(t)\eta$
wobei:

$X_0 \sim p_0$ (Basisverteilung) und $X_1 \sim p_1$ (Ziel-Datenverteilung).
$\eta \sim p_\eta$ eine Hilfsvariable ist, die aus einer beliebigen Verteilung gezogen wird (z. B. Gauß, Gleichverteilung, Laplace, Rademacher oder diskrete Verteilungen).
$a(t), b(t), c(t)$ zeitabhängige skalare Funktionen sind, die Randbedingungen erfüllen ( $a(0)=0, b(0)=1, c(0)=0$ und $a(1)=1, b(1)=0, c(1)=0$ ), um sicherzustellen, dass der Pfad Proben von $p_0$ nach $p_1$ transportiert.

2. Theoretische Konsistenz

Die Arbeit zeigt, dass diese Konstruktion die Kontinuitätsgleichung erhält. Satz 1 demonstriert, dass, wenn konditionierte Vektorfelder $u_t(x | x_0, \eta)$ die Kontinuitätsgleichung erfüllen, das marginale Vektorfeld $u_t(x)$ , das durch Aggregation konditionierter Felder erhalten wird, den marginalen Wahrscheinlichkeitspfad $p_t(x)$ erzeugt. Dies liefert eine prinzipielle Begründung für das Design komplexer Pfade über Hilfsvariablen.

3. Trainingsziel und Äquivalenz

Die direkte Optimierung des marginalen Flow-Matching-Ziels ist aufgrund von Integralen über $(X_0, \eta)$ unlösbar. Stattdessen optimieren die Autoren ein konditioniertes Ziel, das auf lösbaren Pfaden definiert ist:
$L_{\text{AuxPath}} = \mathbb{E}_{t, X_0, X_1, \eta} \left[ \| v_\theta(X_t, t) - \dot{X}_t \|^2 \right]$
wobei $\dot{X}_t = \dot{a}(t)X_1 + \dot{b}(t)X_0 + \dot{c}(t)\eta$ . Satz 2 beweist, dass dieses konditionierte Ziel äquivalent zum marginalen Flow-Matching-Ziel bis auf eine Konstante ist, die unabhängig von den Netzwerkparametern $\theta$ ist. Somit liefert die Optimierung des konditionierten Verlusts dieselbe optimale Lösung wie das unlösbare marginale Ziel.

4. Semantische Hilfsvariablen und Führung

Um konditionierte Generierung zu ermöglichen, definiert das Framework $\eta = F_\phi(Y)$ , wobei $Y$ ein Klassenlabel ist und $F_\phi$ ein leichtgewichtiges neuronales Netz ist, das durch Prototypenlernen trainiert wird, um den klassenweisen Schwerpunkt zu approximieren ( $F_\phi(Y) \approx \mathbb{E}[X_1 | Y]$ ).

Diese Formulierung ermöglicht eine Trajektorien-Level Classifier-Free Guidance (CFG). Die konditionierten und unbedingten Geschwindigkeitsfelder werden ausgedrückt als:
$v(x, t, y) = v_\theta(x, t) + \dot{c}(t)F_\phi(y)$
$v(x, t, \emptyset) = v_\theta(x, t) + \dot{c}(t)F_\phi(\emptyset)$
Die Anwendung der Standard-CFG ergibt einen Führungsterm, der als globaler Drift wirkt. Entscheidend ist, dass dieser Ansatz die Führung vom Backbone-Modell entkoppelt: Im Gegensatz zur konventionellen CFG, die zwei Auswertungen des Backbones $v_\theta$ erfordert, benötigt AuxPath-FM nur eine Auswertung von $v_\theta$ und wendet die Führung über das leichtgewichtige Modul $F_\phi$ an.

Hauptbeiträge

Generalisierung von Wahrscheinlichkeitspfaden: Die Arbeit generalisiert Flow Matching, indem sie erlaubt, dass die Hilfskomponente des Wahrscheinlichkeitspfads jeder beliebigen Verteilung folgt, und geht damit über die Beschränkung auf Gaußsches Rauschen hinaus, wie sie bei stochastischen Interpolanten und Schrödinger-Brücken-Methoden zu finden ist.
Theoretische Fundierung: Sie liefert einen rigorosen theoretischen Beweis, dass der marginale Fluss mit der Kontinuitätsgleichung konsistent bleibt und dass das konditionierte Trainingsziel äquivalent zum marginalen Ziel ist.
Steuerung auf Trajektorienebene: Das Framework ermöglicht die direkte Kodierung strukturierter semantischer Informationen (z. B. Klassenlabels) in die generative Trajektorie selbst, anstatt sich ausschließlich auf Netzwerkkonditionierung zu verlassen.
Effiziente Classifier-Free Guidance: Die Autoren schlagen eine Formulierung der CFG auf Trajektorienebene vor, die die Inferenzkosten um etwa die Hälfte reduziert, da sie die doppelte Auswertung des Backbone-Netzwerks vermeidet.
Vereinheitlichte Perspektive: Die Methode vereint verschiedene Interpolationsschemata (einschließlich diskreter und schwerer Verteilungen mit schweren Rändern) unter einem einzigen Framework und bietet eine flexible Perspektive für strukturierte kontinuierliche generative Modellierung.

Experimentelle Ergebnisse

Die Autoren evaluierten AuxPath-FM auf den Datensätzen MNIST, CIFAR-10 und ImageNet-1k.

Leistung der konditionierten Generierung: Auf MNIST und CIFAR-10 verbesserte die Kombination von Standard-Flow-Matching (CFM) mit Pfadführung durch Hilfsvariablen (unter Verwendung erlernter semantischer Prototypen) im Vergleich zu einer Baseline-CFM oder alleiniger Hilfsführung konsistent die semantische Genauigkeit (Klassifizierungsgenauigkeit) und die generative Qualität (FID, sFID).
Robustheit gegenüber Verteilungswahl: Experimente auf dem Ring-64-Datensatz und ImageNet-1k zeigten, dass das Framework eine stabile generative Leistung über diverse Hilfsverteilungen hinweg aufrechterhält (Gauß, Gleichverteilung, Laplace, Rademacher). Label-gesteuerte Hilfsvariablen erzielten die beste Leistung, was auf eine verbesserte kontrollierbare multi-modale Generierung hindeutet.
Effekte der Führungsstärke: Die Erhöhung der Führungsstärke $w$ in der CFG auf Trajektorienebene verbesserte die semantische Ausrichtung bei gleichzeitiger Beibehaltung einer wettbewerbsfähigen generativen Qualität.
Effizienz: Die Formulierung der CFG auf Trajektorienebene reduzierte die Inferenzkosten (gemessen in GFLOPs) um etwa 50 % im Vergleich zur Standard-CFG, während die Wirksamkeit der Führung erhalten blieb.
Modellanpassung: Das Framework konvertierte erfolgreich vortrainierte unbedingte Flow-Modelle in konditionierte Generatoren mit minimalen zusätzlichen Kosten und ohne architektonische Änderungen.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass AuxPath-FM eine prinzipielle und allgemeine Grundlage für das Design von Wahrscheinlichkeitspfaden bietet. Indem sie der Hilfsvariablen erlaubt, beliebigen Verteilungen zu folgen, bietet das Framework sowohl theoretische Allgemeingültigkeit als auch praktische Flexibilität.

Die Autoren betonen, dass ihre Methode das Paradigma der konditionierten Generierung von einer reinen Modulation auf Netzwerkebene hin zu einem Design auf Trajektorienebene verschiebt. Dies ermöglicht die direkte Einbettung von Führungssignalen in die generative Dynamik. Die Bedeutung dieser Arbeit liegt in ihrer Fähigkeit:

Bestehende Interpolationsschemata als Spezialfälle zu vereinen.
Diverse geometrische Eigenschaften für generative Flüsse durch verschiedene Priorisierungen zu ermöglichen.
Einen rechnerisch effizienten Mechanismus für Classifier-Free Guidance bereitzustellen.
Eine einfache, aber effektive Methode zum Upgrade bestehender unbedingter Modelle zu konditionierten Modellen anzubieten.

Die Arbeit schließt, dass dieser Ansatz eine vereinheitlichte Perspektive für strukturierte kontinuierliche generative Modellierung bietet, die durch umfangreiche Experimente validiert wird, die zeigen, dass semantisch-hilfsbasierte CFG eine überlegene generative Qualität beibehält und gleichzeitig die rechnerische Effizienz erheblich steigert.