🤖 machine learning

Follow the Mean: Reference-Guided Flow Matching

Dieser Beitrag stellt „Follow the Mean" vor, ein durch Referenzen geleitetes Flow-Matching-Framework, das eine steuerbare Bildgenerierung ermöglicht, indem vortrainierte Modelle durch endpunktbasierte Mittelwertverschiebungen auf Beispielen angepasst werden und sowohl trainingsfreie als auch semi-parametrische Methoden bietet, um Ausgaben ohne Feinabstimmung oder Suche zur Laufzeit zu steuern.

Ursprüngliche Autoren: Pedro M. P. Curvo, Maksim Zhdanov, Floor Eijkelboom, Jan-Willem van de Meent

Veröffentlicht 2026-05-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Pedro M. P. Curvo, Maksim Zhdanov, Floor Eijkelboom, Jan-Willem van de Meent

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr talentierten Künstler, der Jahre damit verbracht hat, aus einer riesigen Bibliothek von Fotos zu lernen. Dieser Künstler ist so gut, dass er alles malen kann, was Sie beschreiben, wie zum Beispiel „ein Elefant im Dschungel". Sobald der Künstler jedoch trainiert ist, ist er „eingefroren". Sie können ihm nicht leicht neue Tricks beibringen, ohne dass er seine alten Fähigkeiten vergisst oder Monate mit neuem Training verbringt.

Normalerweise müssen Sie, wenn Sie möchten, dass dieser Künstler einen rosa Elefanten statt eines grauen malt, entweder:

Ihn neu trainieren: Zeigen Sie ihm Tausende von rosa Elefanten und hoffen Sie, dass er lernt (teuer und langsam).
Einen Supervisor hinzufügen: Stellen Sie einen Kritiker ein, der den Künstler jedes Mal anschreit, wenn er Grau malt, und ihn zwingt, es erneut zu versuchen (langsam und rechenintensiv).
Entwürfe durchsuchen: Malen Sie 100 Versionen und wählen Sie die beste aus (verschwendend).

Diese Arbeit stellt einen viel einfacheren Weg vor: Referenzgeführtes Flow-Matching.

Die Kernidee: „Folge der Masse"

Die Autoren entdeckten einen cleveren Abkürzungsweg. Anstatt das Gehirn des Künstlers (die Modellgewichte) zu verändern, ändern Sie einfach, wen der Künstler betrachtet, während er malt.

Stellen Sie sich den Malprozess wie ein Boot vor, das einen Fluss (den „Flow") navigiert. Das Boot möchte ein bestimmtes Ziel erreichen (das endgültige Bild).

Standard-Malen: Das Boot folgt einer Karte, die auf dem Training des Künstlers basiert. Wenn Sie nach einem Elefanten fragen, führt die Karte zu einem grauen Elefanten.
Der neue Trick: Die Autoren stellten fest, dass sich das Ziel des Bootes verschiebt, wenn Sie ihm kurz vor dem Start einen Referenzsatz von Fotos zeigen (z. B. 20 Bilder von rosa Elefanten). Der „Strömung" des Flusses ändert ihre Richtung, um zu den rosa Elefanten zu steuern.

Sie müssen dem Künstler nichts Neues beibringen. Sie geben ihm einfach einen neuen Stapel Referenzfotos, und die Mathematik des Flusses zieht das endgültige Bild natürlich in Richtung des Stils, der Farbe oder der Form dieser Fotos.

Zwei Möglichkeiten, dies umzusetzen

Die Arbeit schlägt zwei Versionen dieses „Referenzleitfadens" vor:

1. Der „Sofort-Leitfaden" (Referenz-Mittelwert-Steuerung)

Dies ist die „training-freie" Version.

Funktionsweise: Sie nehmen ein eingefrorenes, vortrainiertes Modell (wie das in der Arbeit erwähnte FLUX.2-Modell). Wenn Sie ein Bild generieren möchten, geben Sie ihm Ihren Prompt und einen kleinen Vorrat an Referenzbildern (z. B. 20 rosa Elefanten).
Die Magie: Das Modell betrachtet nicht nur den Text; es berechnet einen „Mittelwert" (einen Durchschnitt) dessen, wohin die Referenzfotos zeigen. Es schiebt dann den Malprozess sanft in Richtung dieses Durchschnitts.
Ergebnis: Sie erhalten einen rosa Elefanten, ein Van-Gogh-artiges Haus oder eine bestimmte Handgeste, alles ohne Änderung einer einzigen Zeile des Modellcodes oder ohne Neutraining. Es ist, als würde man dem Künstler direkt vor dem Malen eine neue Moodboard vorlegen.

2. Der „Smarte Assistent" (Semi-parametrische Steuerung)

Diese Version ist für Modelle gedacht, die von Anfang an darauf ausgelegt sind, aus Referenzen zu lernen.

Funktionsweise: Stellen Sie sich vor, der Künstler hat einen „smarten Assistenten" neben sich stehen. Dieser Assistent betrachtet die Referenzfotos und sagt: „Hey, der Durchschnitt dieser Fotos ist eine Katze mit einem flauschigen Schwanz."
Die Verfeinerung: Der Künstler malt dann basierend auf diesem Durchschnitt, fügt aber sein eigenes „Residuum" (seinen eigenen kreativen Stil) hinzu, um seltsame Details zu korrigieren.
Ergebnis: Dies ermöglicht dem Modell, effizient zu lernen, wie man Referenzen nutzt. Es kann zwischen der Generierung von Katzen oder Hunden wechseln, indem es einfach den Referenzvorrat austauscht, ohne das gesamte System neu trainieren zu müssen. Es behält die hohe Qualität des ursprünglichen Modells bei, fügt jedoch die Fähigkeit hinzu, sich sofort anzupassen.

Warum dies wichtig ist (laut der Arbeit)

Die Arbeit behauptet, dieser Ansatz sei überlegen, weil:

Es schnell ist: Sie müssen nicht stundenlang auf ein Neutraining warten oder komplexe Suchen durchführen. Sie tauschen einfach die Referenzbilder aus.
Es flexibel ist: Sie können Farbe, Stil, Objektidentität und sogar komplexe Strukturen (wie die Form einer Hand oder eines Schlüssellochs) kontrollieren, indem Sie dem Modell einfach Beispiele zeigen.
Es einfach ist: Es basiert auf einem mathematischen Prinzip: Wenn Sie das „Ziel" (den Endpunkt-Mittelwert) des Flusses verschieben, ändert sich die gesamte Reise.

Eine Analogie aus der realen Welt

Stellen Sie sich vor, Sie fahren ein Auto mit einem sehr strengen GPS (dem KI-Modell).

Alter Weg: Um Ihr Ziel zu ändern, müssen Sie das gesamte Navigationssystem des Autos neu programmieren (Fine-Tuning) oder einen Passagier bitten, ständig „Links abbiegen!" zu schreien (Steuerung/Klassifikatoren).
Die Methode dieser Arbeit: Sie legen einfach einen Stapel Fotos Ihres gewünschten Ziels auf das Armaturenbrett. Das Navigationssystem des Autos ist intelligent genug, diese Fotos zu betrachten, zu erkennen: „Ah, sie wollen dorthin fahren", und das Auto automatisch umzuleiten. Sie haben das Auto nicht verändert; Sie haben nur den Referenzpunkt geändert.

Was die Arbeit bewies

Die Autoren testeten dies an:

Farben: Graue Elefanten in Rosa verwandeln.
Stilen: Fotos in Skizzen oder Van-Gogh-Gemälde verwandeln.
Strukturen: Die Form einer Hand oder eines Schlüssellochs korrigieren.
Komposition: Sicherstellen, dass zwei Objekte in den richtigen Positionen relativ zueinander erscheinen.

In jedem Fall konnten sie, indem sie einfach den „Referenzsatz" (den Stapel Fotos) austauschten, das eingefrorene KI-Modell so lenken, dass es genau das produzierte, was sie wollten. Dies beweist, dass Daten (die Referenzfotos) das Modell besser steuern können als die Änderung des Modells selbst.

Technische Zusammenfassung: Der Mittelwert folgen: Referenzgeführtes Flow Matching

Problemstellung

Die Kontrolle der Ausgaben vortrainierter generativer Modelle (z. B. das Erzwingen spezifischer Attribute, Stile oder Strukturen) bleibt eine erhebliche Herausforderung. Bestehende Ansätze lassen sich typischerweise in drei Kategorien einteilen, die jeweils eigene Einschränkungen aufweisen:

Feinabstimmung und Adapter: Erfordern die Modifikation der Modellparameter für jedes neue Ziel, was rechenintensiv und für dynamische Änderungen unflexibel ist.
Führungsmethoden: Lassen den Generator eingefroren, verlassen sich jedoch auf zusätzliche Klassifikatoren, Belohnungsmodelle oder Belohnungssignale, was zusätzlichen Rechenaufwand und die Abhängigkeit von externen Netzwerken mit sich bringt.
Suchbasierte Methoden: Vermeiden zwar das Nachtrainieren, verursachen jedoch hohe Inferenzkosten durch wiederholtes Sampling, Filtern oder pro-Prompt-Optimierung.

Keiner dieser Ansätze vermeidet gleichzeitig zusätzliches Training, zusätzliche Netzwerke und die Suche zur Laufzeit, während gleichzeitig eine hochwertige Generierung gewährleistet bleibt. Dieser Artikel schlägt eine alternative Formulierung vor: Referenzgeführte Flüsse, die die Generierung steuern, indem das Modell durch Datenbeispiele angepasst wird, anstatt durch Parameterupdates oder externe Belohnungssignale.

Methodik

Die zentrale Erkenntnis des Artikels besteht darin, dass im Flow Matching (FM) das Geschwindigkeitsfeld $u_t(x)$ ausschließlich vom bedingten Endpunkt-Mittelwert $\mu_t(x) = \mathbb{E}[x_1 | x_t = x]$ bestimmt wird. Für einen linearen Interpolanten ist die Geschwindigkeit gegeben durch:
$u_t(x) = \frac{\mu_t(x) - x}{1 - t}$
Folglich verschiebt eine Verschiebung des Endpunkt-Mittelwerts die gesamte Flussbahn. Die Autoren schlagen vor, dass dieser Mittelwert durch Konditionierung auf einen Referenzsatz $R$ von Bildern verschoben werden kann, wodurch das Modell effektiv in Richtung der durch $R$ induzierten Verteilung gelenkt wird, ohne die Modellgewichte zu verändern.

Der Artikel setzt dieses Prinzip in zwei Formen um:

1. Referenzmittelwert-Führung (RMG)

RMG ist eine trainingsfreie Methode zur Steuerung eingefrorener vortrainierter Modelle.

Mechanismus: Es wird eine geschlossene Korrektur des Geschwindigkeitsfeldes basierend auf der Differenz zwischen dem Endpunkt-Mittelwert des Referenzsatzes ( $\hat{\mu}^\rho_t$ ) und dem Endpunkt-Mittelwert des vortrainierten Modells ( $\mu^\theta_t$ ) berechnet.
Formel: Die geführte Geschwindigkeit ist definiert als:
$u^\pi_t(x) \approx u^\theta_t(x) + \beta_t \frac{\hat{\mu}^\rho_t(x) - \mu^\theta_t(x)}{1 - t}$
wobei $\beta_t$ ein Führungsplan ist und $\hat{\mu}^\rho_t(x)$ der empirische gewichtete Durchschnitt des Referenzsatzes ist (berechnet über eine Softmax-Funktion über die Referenzbilder).
Eigenschaften: Es werden keine Gradientenberechnungen, keine zusätzlichen Netzwerke und keine zusätzlichen Modellbewertungen über das Basismodell hinaus benötigt. Der Referenzsatz kann zur Laufzeit ausgetauscht werden, um Farbe, Identität, Stil oder Struktur zu ändern.

2. Semi-parametrische Führung (SPG)

SPG ist eine lernbare Architektur, die das Konzept der Referenzmittelwert-Führung amortisiert.

Architektur: Das Modell $\mu^\theta_t(x_t, R)$ konditioniert während des Trainings explizit auf einen Referenzsatz $R$ . Es verwendet einen Cross-Attention-Mechanismus, um einen „Anker" $\bar{x}$ (analog zum geschlossenen Mittelwert) zu berechnen, und einen gelernten Residual-Refiner $f^\theta$ , um störende Korrelationen (z. B. gemeinsame Hintergründe) zu korrigieren, die der Anker unbeabsichtigt kopieren könnte.
Training: Das Modell wird mit einem „Leave-One-Out"-Ziel trainiert, um zu verhindern, dass der Anker auf seinen eigenen Endpunkt achtet, kombiniert mit einem Residualverlust, um dem Refiner beizubringen, Details jenseits des Ankers zu erfassen.
Eigenschaften: SPG entspricht der unbedingten Generierungsqualität standardmäßiger Modelle (z. B. DiT-B/4), ermöglicht jedoch die Steuerung zur Laufzeit durch Austausch des Referenzsatzes.

Hauptbeiträge

Mittelwertverschiebung als Führung: Die Autoren definieren Führung als geometrische Interpolation zwischen dem Wahrscheinlichkeitspfad des Trainingssatzes und dem eines Referenzsatzes. Sie beweisen, dass der resultierende Führungsterm nur von der Differenz zwischen den Endpunkt-Mittelwerten der beiden Verteilungen abhängt.
Referenzmittelwert-Führung (RMG): Eine trainingsfreie Methode, die die Geschwindigkeitsverschiebung in geschlossener Form unter Verwendung einer Referenzbank berechnet. Sie ermöglicht die Kontrolle über eingefrorene Modelle (demonstriert an FLUX.2-klein) ohne Gradienten, Klassifikatoren oder Belohnungsmodelle.
Semi-parametrische Führung (SPG): Eine steuerbare Architektur, die lernt, den Referenzmittelwert-Anker und eine Residualkorrektur zu approximieren. Sie erhält die unbedingte Generierungsqualität bei gleichzeitiger Ermöglichung des Austauschs des Referenzsatzes zur Laufzeit und unterdrückt effektiv störende Korrelationen wie gemeinsame Hintergründe.

Ergebnisse

Der Artikel validiert den Ansatz durch mechanistische Analyse und umfangreiche Experimente:

Mechanistische Validierung: Auf der Zwei-Mond-Verteilung und MNIST demonstrieren die Autoren, dass eine Änderung der Zusammensetzung des Referenzsatzes das Flussfeld und den finalen Attraktor direkt verschiebt und die kausale Rolle des posterioren Mittelwerts isoliert.
Trainingsfreie Steuerung (RMG): Angewendet auf ein eingefrorenes FLUX.2-klein (4B)-Modell, lenkt RMG die Generierung erfolgreich für Farbe (rosa/blaue Elefanten), Identität (Giraffen/Zebra), Stil (Van Gogh/Skizzen) und Struktur (Schlüsselloch-Formen, Handhaltungen).
- GenEval-Benchmark: RMG übertrifft suchbasierte (Best-of-4, SMC) und gradientenbasierte (ReNO) Baseline-Methoden bei kompositorischen Text-zu-Bild-Aufgaben (z. B. Position, Generierung von zwei Objekten), während es eine einzige Sampling-Trajektorie verwendet und keine zusätzlichen Modelle benötigt. Es erzielt einen Durchschnittswert von 91,17 im Vergleich zu 80,10 der Baseline, mit deutlich kürzerer Inferenzzeit und ohne Aufrufe externer Modelle.
Semi-parametrische Führung (SPG): Auf AFHQv2 trainiert, entspricht SPG der unbedingten Qualität einer DiT-B/4-Baseline (FID 23,26 vs. 23,11).
- Steuerung: Der Austausch des Referenzsatzes (z. B. nur Katzen vs. nur Hunde) verschiebt die Ausgabeverteilung systematisch. Die generierten Klassenanteile folgen eng der Zusammensetzung des Referenzsatzes.
- Unterdrückung von Artefakten: Im Gegensatz zu RMG, das störende Korrelationen übertragen kann (z. B. einen weißen Hintergrund aus allen Referenzbildern), erhält der Residual-Refiner von SPG die Objektsteuerung erfolgreich aufrecht und unterdrückt solche Artefakte.

Bedeutung und Behauptungen

Der Artikel argumentiert, dass generative Modelle durch Daten und nicht durch Parameterupdates angepasst werden können. Indem die Autoren die Steuerung als Problem der Verschiebung von Endpunkt-Mittelwerten formulieren, bieten sie eine einfache, prinzipielle Alternative zu Feinabstimmung, zusätzlicher Führung oder Suche.

Für eingefrorene Modelle: RMG zeigt, dass ein vortrainiertes Modell effektiv gelenkt werden kann, indem der Referenzsatz geändert wird, dem es implizit folgt, und bietet so ein Paradigma „Führung durch Beispiele, nicht durch Belohnungen".
Für lernbare Modelle: SPG zeigt, dass dieser Mechanismus in eine lernbare Architektur amortisiert werden kann, die eine hohe Generierungsqualität beibehält und gleichzeitig flexible Steuerung zur Laufzeit ermöglicht.
Breitere Richtung: Die Arbeit weist einen Weg zu generativen Modellen, die sich dynamisch durch Datenreferenzen anpassen, wodurch die Notwendigkeit für Nachtraining oder komplezes Reward-Engineering für steuerbare Generierung verringert wird.

Die Autoren erkennen Einschränkungen an und stellen fest, dass RMG die Qualität seines Referenzsatzes erbt (rauschhafte Referenzen führen zu Artefakten) und dass die Berechnung von Mittelwerten über große Sätze kostspielig sein kann, obwohl Unterabtastung Abhilfe schafft. Sie betonen die Notwendigkeit einer verantwortungsvollen Kuratierung von Referenzsätzen, um Missbrauch zu verhindern.