🤖 machine learning

Follow the Mean: Reference-Guided Flow Matching

Dit artikel introduceert "Follow the Mean", een door referenties geleid flow-matching-kader dat gecontroleerde beeldgeneratie mogelijk maakt door voorgeprogrammeerde modellen aan te passen via op voorbeelden gebaseerde verschuivingen van het eindpuntgemiddelde, en dat zowel trainingsvrije als semi-parametrische methoden biedt om outputs te sturen zonder fine-tuning of zoektochten tijdens de testfase.

Oorspronkelijke auteurs: Pedro M. P. Curvo, Maksim Zhdanov, Floor Eijkelboom, Jan-Willem van de Meent

Gepubliceerd 2026-05-12

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Pedro M. P. Curvo, Maksim Zhdanov, Floor Eijkelboom, Jan-Willem van de Meent

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer getalenteerde kunstenaar hebt die jarenlang heeft geleerd te schilderen aan de hand van een enorme bibliotheek met foto's. Deze kunstenaar is zo goed dat hij alles kan schilderen wat je beschrijft, zoals "een olifant in een jungle". Echter, zodra de kunstenaar is getraind, is hij "bevroren". Je kunt hem niet gemakkelijk nieuwe trucs leren zonder dat hij zijn oude vaardigheden vergeet of zonder maandenlang hem opnieuw te trainen.

Meestal, als je wilt dat deze kunstenaar een roze olifant schildert in plaats van een grijze, moet je het volgende doen:

Hem opnieuw trainen: Laat hem duizenden roze olifanten zien en hoop dat hij het leert (duur en traag).
Een toezichthouder toevoegen: Huur een criticus in die de kunstenaar elke keer uitmaakt als hij grijs schildert, waardoor hij gedwongen wordt het opnieuw te proberen (traag en rekenkundig zwaar).
Door schetsen zoeken: Schilder 100 versies en kies de beste uit (verspillend).

Dit paper introduceert een veel eenvoudigere manier: Referentie-geleide Flow Matching.

De Kernidee: "Volg de Menigte"

De auteurs ontdekten een slimme afkorting. In plaats van het brein van de kunstenaar te veranderen (de modelgewichten), verander je gewoon naar wie de kunstenaar kijkt terwijl hij schildert.

Stel je het schilderproces voor als een boot die een rivier navigeert (de "flow"). De boot wil een specifieke bestemming bereiken (het uiteindelijke beeld).

Standaard Schilderen: De boot volgt een kaart gebaseerd op de training van de kunstenaar. Als je om een olifant vraagt, leidt de kaart naar een grijze olifant.
De Nieuwe Truc: De auteurs realiseerden zich dat als je de boot direct voor het begin een referentieset met foto's laat zien (bijvoorbeeld 20 foto's van roze olifanten), de bestemming van de boot verschuift. De "stroom" van de riviet verandert van richting om naar de roze olifanten te sturen.

Je hoeft de kunstenaar niets nieuws te leren. Je geeft hem gewoon een nieuwe stapel referentiefoto's, en de wiskunde van de riviet trekt het uiteindelijke beeld op natuurlijke wijze naar de stijl, kleur of vorm van die foto's.

Twee Manieren om Dit Te Doen

Het paper stelt twee versies van deze "Referentiegids" voor:

1. De "Instant Gids" (Referentie-Gemiddelde Geleiding)

Dit is de "trainingsvrije" versie.

Hoe het werkt: Je neemt een bevroren, voorgetraind model (zoals het FLUX.2-model dat in het paper wordt genoemd). Wanneer je een afbeelding wilt genereren, voer je je prompt en een kleine bank met referentieafbeeldingen in (bijvoorbeeld 20 roze olifanten).
De Magie: Het model kijkt niet alleen naar de tekst; het berekent een "gemiddelde" (een gemiddelde) van waar de referentiefoto's naartoe wijzen. Het duwt het schilderproces dan zachtjes in de richting van dat gemiddelde.
Resultaat: Je krijgt een roze olifant, een huis in Van Gogh-stijl of een specifiek handgebaar, allemaal zonder één regel van de code van het model te veranderen of het opnieuw te trainen. Het is alsof je de kunstenaar net voor het begin een nieuwe moodboard geeft.

2. De "Slimme Assistent" (Semi-Parametrische Geleiding)

Deze versie is voor modellen die vanaf het begin zijn gebouwd om te leren van referenties.

Hoe het werkt: Stel je voor dat de kunstenaar een "slimme assistent" naast zich heeft staan. Deze assistent kijkt naar de referentiefoto's en zegt: "Hé, het gemiddelde van deze foto's is een kat met een pluizige staart."
De Verfijning: De kunstenaar schildert vervolgens op basis van dat gemiddelde, maar voegt zijn eigen "residu" (zijn eigen creatieve flair) toe om eventuele rare details te corrigeren.
Resultaat: Hierdoor kan het model efficiënt leren om referenties te gebruiken. Het kan overschakelen tussen het genereren van katten of honden door simpelweg de referentiebank te verwisselen, zonder dat het hele systeem opnieuw getraind hoeft te worden. Het behoudt de hoge kwaliteit van het originele model, maar voegt de mogelijkheid toe om direct aan te passen.

Waarom Dit Belangrijk Is (Volgens Het Paper)

Het paper beweert dat deze aanpak superieur is omdat:

Het Snel Is: Je hoeft niet te wachten op uren van hertraining of complexe zoekopdrachten uit te voeren. Je wisselt gewoon de referentieafbeeldingen uit.
Het Flexibel Is: Je kunt kleur, stijl, objectidentiteit en zelfs complexe structuren (zoals de vorm van een hand of een sleutelgat) controleren door gewoon voorbeelden aan het model te tonen.
Het Eenvoudig Is: Het vertrouwt op een wiskundig principe: als je de "bestemming" (het eindpunt-gemiddelde) van de flow verschuift, verandert de hele reis.

Een Wereldse Analogie

Stel je voor dat je een auto bestuurt met een zeer strikte GPS (het AI-model).

Oude Manier: Om je bestemming te veranderen, moet je het volledige navigatiesysteem van de auto opnieuw programmeren (Fine-tuning) of een passagier vragen om constant te roepen "Sla linksaf!" (Geleiding/Classifiers).
De Manier Van Dit Paper: Je plaatst gewoon een stapel foto's van je gewenste bestemming op het dashboard. Het navigatiesysteem van de auto is slim genoeg om naar die foto's te kijken, te beseffen "Oh, ze willen daar naartoe", en de auto automatisch een andere route te laten nemen. Je hebt de auto niet veranderd; je hebt alleen het referentiepunt veranderd.

Wat Het Paper Bewees

De auteurs testten dit op:

Kleuren: Grijze olifanten roze maken.
Stijlen: Foto's omzetten in schetsen of Van Gogh-schilderijen.
Structuren: De vorm van een hand of een sleutelgat corrigeren.
Compositie: Zorgen dat twee objecten op de juiste plekken verschijnen ten opzichte van elkaar.

In elk geval konden ze, door simpelweg de "Referentieset" (de stapel foto's) te verwisselen, het bevroren AI-model sturen om precies te produceren wat ze wilden. Dit bewijst dat data (de referentiefoto's) het model beter kan controleren dan het model zelf te veranderen.

Technische Samenvatting: Volg het Gemiddelde: Referentie-Gestuurde Flow Matching

Probleemstelling

Het controleren van de output van vooraf getrainde generatieve modellen (bijvoorbeeld het afdwingen van specifieke attributen, stijlen of structuren) blijft een aanzienlijke uitdaging. Bestaande benaderingen vallen doorgaans in drie categorieën, elk met eigen beperkingen:

Finetuning en Adapters: Vereisen het aanpassen van modelparameters voor elke nieuwe doelstelling, wat rekenkundig duur en onflexibel is voor dynamische wijzigingen.
Gids-methoden: Laten de generator bevroren, maar vertrouwen op hulpklassificatoren, beloningsmodellen of beloningssignalen, wat extra rekenkundige overhead introduceert en afhankelijkheid creëert van externe netwerken.
Zoekgebaseerde methoden: Vermijden herbewerking, maar leiden tot hoge inferentiekosten door herhaaldelijk bemonsteren, filteren of optimalisatie per prompt.

Geen van deze benaderingen vermijdt tegelijkertijd extra training, hulpnetwerken en zoektochten tijdens de testfase, terwijl het toch hoogwaardige generatie behoudt. Dit paper stelt een alternatieve formulering voor: Referentie-Gestuurde Flows, die generatie controleert door het model aan te passen via data-voorbeelden in plaats van parameterupdates of externe beloningssignalen.

Methodologie

De kerninzicht van het paper is dat in Flow Matching (FM) het snelheidsveld $u_t(x)$ uitsluitend wordt bepaald door het voorwaardelijke eindpuntgemiddelde $\mu_t(x) = \mathbb{E}[x_1 | x_t = x]$ . Voor een lineaire interpolant wordt de snelheid gegeven door:
$u_t(x) = \frac{\mu_t(x) - x}{1 - t}$
Consequenterwijs verschuift het verschuiven van het eindpuntgemiddelde de volledige flow-trajectorie. De auteurs stellen dat dit gemiddelde kan worden verschoven door te conditioneren op een referentieset $R$ van afbeeldingen, waardoor het model effectief wordt gestuurd naar de door $R$ geïnduceerde verdeling zonder de modelgewichten te wijzigen.

Het paper instantieert dit principe in twee vormen:

1. Referentie-Gemiddelde Gids (RMG)

RMG is een training-vrije methode voor het controleren van bevroren vooraf getrainde modellen.

Mechanisme: Het berekent een gesloten-vorm correctie voor het snelheidsveld op basis van het verschil tussen het eindpuntgemiddelde van de referentieset ( $\hat{\mu}^\rho_t$ ) en het eindpuntgemiddelde van het vooraf getrainde model ( $\mu^\theta_t$ ).
Formule: De geleide snelheid wordt gedefinieerd als:
$u^\pi_t(x) \approx u^\theta_t(x) + \beta_t \frac{\hat{\mu}^\rho_t(x) - \mu^\theta_t(x)}{1 - t}$
waarbij $\beta_t$ een gids-schema is en $\hat{\mu}^\rho_t(x)$ het empirisch gewogen gemiddelde van de referentieset is (berekend via een softmax over de referentie-afbeeldingen).
Eigenschappen: Het vereist geen gradientenberekening, geen hulpnetwerken en geen extra modelbeoordelingen buiten het basismodel. De referentieset kan tijdens de inferentie worden gewisseld om kleur, identiteit, stijl of structuur te veranderen.

2. Semi-Parametrische Gids (SPG)

SPG is een leerbare architectuur die het concept van referentie-gemiddelde gids amortiseert.

Architectuur: Het model $\mu^\theta_t(x_t, R)$ conditioneert expliciet tijdens de training op een referentieset $R$ . Het gebruikt een cross-attention mechanisme om een "anker" $\bar{x}$ te berekenen (analoog aan het gesloten-vorm gemiddelde) en een geleerde residu-verfijner $f^\theta$ om correcties toe te passen voor ongewenste correlaties (bijvoorbeeld gedeelde achtergronden) die het anker per ongeluk zou kunnen kopiëren.
Training: Het model wordt getraind met een leave-one-out doelstelling om te voorkomen dat het anker naar zijn eigen eindpunt attendeert, gecombineerd met een residu-verlies om de verfijner te leren details te vangen die verder gaan dan het anker.
Eigenschappen: SPG komt overeen met de onvoorwaardelijke generatiekwaliteit van standaardmodellen (bijvoorbeeld DiT-B/4) terwijl het controle tijdens de inferentie mogelijk maakt via vervanging van de referentieset.

Belangrijkste Bijdragen

Gemiddeldeverschuiving als Gids: De auteurs definiëren gids als een geometrische interpolatie tussen het waarschijnlijkheidspad van de trainingsset en dat van een referentieset. Ze bewijzen dat de resulterende gids-term alleen afhangt van het verschil tussen de eindpuntgemiddelden van de twee verdelingen.
Referentie-Gemiddelde Gids (RMG): Een training-vrije methode die de snelheidsverschuiving in gesloten vorm berekent met behulp van een referentiebank. Het stelt controle mogelijk over bevroren modellen (gedemonstreerd op FLUX.2-klein) zonder gradienten, klassificatoren of beloningsmodellen.
Semi-Parametrische Gids (SPG): Een controleerbare architectuur die leert het referentie-gemiddelde anker en een residucorrectie te benaderen. Het behoudt de onvoorwaardelijke generatiekwaliteit terwijl het toestaat dat de referentieset tijdens de inferentie wordt gewisseld, waardoor ongewenste correlaties zoals gedeelde achtergronden effectief worden onderdrukt.

Resultaten

Het paper valideert de aanpak via mechanistische analyse en uitgebreide experimenten:

Mechanistische Validatie: Op de twee-maanden verdeling en MNIST tonen de auteurs aan dat het veranderen van de samenstelling van de referentieset direct het flowveld en de uiteindelijke attractor verschuift, waardoor de causale rol van het posterior-gemiddelde wordt geïsoleerd.
Training-vrije Controle (RMG): Toegepast op een bevroren FLUX.2-klein (4B) model, stuurt RMG de generatie succesvol voor kleur (roze/blauwe olifanten), identiteit (giraffen/zebras), stijl (Van Gogh/schetsen) en structuur (sleutelgat-vormen, handposities).
- GenEval Benchmark: RMG presteert beter dan zoekgebaseerde (Best-of-4, SMC) en gradienten-gebaseerde (ReNO) baselines op compositie-taken van tekst-naar-beeld (bijvoorbeeld positie, generatie van twee objecten) terwijl het gebruik maakt van een enkele bemonsteringstrajectorie en geen hulpmodellen. Het bereikt een gemiddelde score van 91,17 vergeleken met de baseline's 80,10, met aanzienlijk lagere inferentietijd en geen externe modeloproepen.
Semi-Parametrische Gids (SPG): Getraind op AFHQv2, komt SPG overeen met de onvoorwaardelijke kwaliteit van een DiT-B/4 baseline (FID 23,26 vs. 23,11).
- Controle: Het wisselen van de referentieset (bijvoorbeeld alleen katten vs. alleen honden) verschuift systematisch de outputverdeling. De gegenereerde klassenproporties volgen nauwkeurig de samenstelling van de referentieset.
- Onderdrukking van Artefacten: In tegenstelling tot RMG, dat ongewenste correlaties kan overdragen (bijvoorbeeld een witte achtergrond van alle referentie-afbeeldingen), behoudt de residu-verfijner van SPG succesvol object-niveau gids terwijl het dergelijke artefacten onderdrukt.

Betekenis en Beweringen

Het paper stelt dat generatieve modellen kunnen worden aangepast via data in plaats van parameterupdates. Door controle te kaderen als een probleem van het verschuiven van eindpuntgemiddelden, bieden de auteurs een eenvoudige, principiële alternatief voor finetuning, hulp-gids of zoektochten.

Voor Bevroren Modellen: RMG demonstreert dat een vooraf getraind model effectief kan worden gestuurd door de referentieset te veranderen die het impliciet volgt, wat een paradigma biedt van "gids met voorbeelden, niet met beloningen".
Voor Leerbare Modellen: SPG toont aan dat dit mechanisme kan worden geamortiseerd in een leerbare architectuur die hoge generatiekwaliteit behoudt terwijl het flexibele controle tijdens de inferentie mogelijk maakt.
Breder Richting: Het werk suggereert een weg naar generatieve modellen die dynamisch aanpassen via data-referenties, waardoor de behoefte aan herbewerking of complexe belonings-engineering voor controleerbare generatie wordt verminderd.

De auteurs erkennen beperkingen, met name dat RMG de kwaliteit van zijn referentieset erft (ruisachtige referenties introduceren artefacten) en dat het berekenen van gemiddelden over grote sets kostbaar kan zijn, hoewel subsampling remedies biedt. Ze benadrukken de noodzaak van verantwoord cureren van referentiesets om misbruik te voorkomen.