🤖 AI

Training-Free Refinement of Flow Matching with Divergence-based Sampling

Dit paper introduceert de Flow Divergence Sampler (FDS), een trainingsvrij raamwerk dat de divergentie van het snelheidsveld gebruikt om tussenliggende toestanden te verfijnen en zo de generatiekwaliteit van flow-matching-modellen verbetert zonder extra training.

Oorspronkelijke auteurs: Yeonwoo Cha, Jaehoon Yoo, Semin Kim, Yunseo Park, Jinhyeon Kwon, Seunghoon Hong

Gepubliceerd 2026-04-07

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Yeonwoo Cha, Jaehoon Yoo, Semin Kim, Yunseo Park, Jinhyeon Kwon, Seunghoon Hong

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een kunstenaar bent die een schilderij moet maken, maar je hebt geen penseel, alleen een magische kompasnaald. Deze kompasnaald (het AI-model) vertelt je telkens een klein beetje in welke richting je moet bewegen om van een wazige vlek (ruis) naar een prachtig schilderij (een foto) te komen.

Dit proces heet Flow Matching. Het werkt meestal heel goed, maar er is een klein probleem: soms wijzen de kompasnaalden in tegengestelde richtingen.

Het Probleem: De "Verwarde Kompasnaald"

Stel je voor dat je in een bos loopt en je vraagt aan tien mensen waar de uitgang is.

Vijf mensen wijzen naar links.
Vijf mensen wijzen naar rechts.

Als je het gemiddelde neemt (wat de AI doet), wijst de kompasnaald precies naar het midden, dwars door een moeras of een afgrond. Je loopt dan niet naar links of rechts, maar direct de verkeerde kant op. In de AI-wereld noemen ze dit een "lage dichtheid": je landt op een plek waar geen echte foto's bestaan, wat resulteert in wazige, rare of lelijke afbeeldingen.

De meeste mensen denken: "Oké, we moeten de kompasnaalden opnieuw trainen zodat ze beter samenwerken." Maar dat kost jaren en enorme rekenkracht.

De Oplossing: De "Flow Divergence Sampler" (FDS)

De auteurs van dit paper zeggen: "Wacht even. We hoeven de kompasnaald niet te veranderen. We hoeven alleen maar waar je staat, een klein beetje bij te stellen voordat je de volgende stap zet."

Ze noemen hun methode FDS. Hier is hoe het werkt, in drie simpele stappen:

Check de verwarring: Voordat de AI de volgende stap zet, kijkt hij even rond. Hij meet een soort "verwarringsgraad" (in het paper divergentie genoemd). Is de kompasnaald hier erg verward? (Wijzen de mensen in het bos allemaal in verschillende richtingen?)
De kleine stap opzij: Als de verwarring te hoog is, doet de AI iets slim. In plaats van de volgende grote stap te zetten, maakt hij een paar kleine, willekeurige stapjes opzij (zoals een beetje dansen).
Kies de beste plek: Hij kijkt: "Als ik hier een stapje links zet, is de kompasnaald dan rustiger? En als ik rechts zet, is hij dan rustiger?" Hij kiest de plek waar de kompasnaald het duidelijkst wijst (waar de verwarring laag is) en zet daar pas de volgende grote stap.

Waarom is dit zo cool?

Het is gratis (geen training): Je hoeft het AI-model niet opnieuw te leren. Het werkt direct op bestaande, krachtige modellen. Het is als het toevoegen van een slimme navigatie-app aan een bestaande auto, zonder de motor te vervangen.
Het werkt als een "Plug-and-Play": Je kunt het overal op zetten, of je nu een simpele Euler-methode of een complexe Heun-methode gebruikt.
Het bespaart tijd: Je hoeft niet duizenden extra stappen te maken om een betere foto te krijgen. Met FDS krijg je in minder stappen een scherpere foto.

Een Analogie uit het Dagelijkse Leven

Stel je voor dat je door een mistig landschap loopt en je moet naar een dorpje.

Zonder FDS: Je loopt blindelings in de richting die de meeste mensen op dat moment zeggen. Als de menigte verdeeld is, loop je recht de rivier in.
Met FDS: Voordat je een grote stap zet, loop je even een paar meter op en neer. Je merkt dat als je een beetje naar links gaat, de mist opklaart en de weg duidelijker wordt. Dan loop je daarheen. Je bent niet de weg kwijtgeraakt, je hebt gewoon een betere route gekozen voordat je te ver ging.

Het Resultaat

De auteurs hebben getoond dat deze methode werkt voor alles: van het maken van prachtige foto's van dieren en mensen, tot het verbeteren van wazige oude foto's (zoals het verwijderen van onscherpte).

Kortom: FDS is een slimme truc die AI-modellen helpt om niet in de "verwarde zone" te belanden, waardoor ze sneller en scherper prachtige beelden kunnen maken, zonder dat we ze opnieuw hoeven te trainen.

Titel: Training-Free Refinement of Flow Matching with Divergence-based Sampling

Auteurs: Yeonwoo Cha, Jaehoon Yoo, Semin Kim, Yunseo Park, Jinhyeon Kwon, Seunghoon Hong (KAIST)

1. Het Probleem: Conflictende Snelheidsvectoren in Flow Matching

Flow Matching (FM) is een krachtige generatieve paradigma dat een doeldistributie leert door een marginaal snelheidsveld te modelleren. Dit veld wordt gedefinieerd als het gemiddelde van de snelheidsvectoren per steekproef die een eenvoudige prior (bijv. ruis) verbinden met de doedgegevens.

Het artikel identificeert een fundamenteel beperking in deze aanpak:

Locale Multi-modaliteit: Op bepaalde tussenliggende toestanden (intermediate states) kunnen de individuele snelheidsvectoren van verschillende steekproefparen in tegenovergestelde richtingen wijzen (conflicterende richtingen).
Misleiding door het Gemiddelde: Omdat FM slechts één gemiddelde (marginaal) snelheidsveld leert, wijst dit gemiddelde bij conflicten vaak naar gebieden met lage dichtheid tussen de echte modi, in plaats van naar een geldige modus.
Gevolg: Generatieve trajecten die door deze conflicterende gebieden reizen, worden afgeleid naar gebieden met lage waarschijnlijkheid, wat resulteert in wazige, vervormde of verlaagde kwaliteit van de gegenereerde afbeeldingen.
Huidige Oplossingen: Bestaande methoden om dit op te lossen (zoals HRF of VRFM) vereisen een herdefiniëring van het trainingsdoel en het modelleren van de volledige multi-modale verdeling. Dit vereist kostbare training van scratch en maakt het onmogelijk om gebruik te maken van reeds getrainde, krachtige "off-the-shelf" modellen.

2. Methodologie: Flow Divergence Sampler (FDS)

De auteurs stellen een training-vrije (training-free) oplossing voor die tijdens de inferentie (sampling) wordt toegepast. In plaats van het model of het snelheidsveld te wijzigen, wordt de trajectorie zelf verfijnd.

Kernidee:
Voordat een volgende stap in de numerieke solver wordt genomen, wordt de huidige tussenliggende toestand $x_t$ bijgewerkt naar een nabijgelegen punt $\tilde{x}_t$ waar het snelheidsveld minder dubbelzinnig (minder conflicterend) is.

De Divergentie als Surrogaat:
De grootste uitdaging is dat de mate van conflict (de discrepantie tussen de marginale en individuele snelheden) normaal gesproken niet direct waarneembaar is tijdens inferentie omdat de grondwaarheid (ground truth) ontbreekt.

Theoretische Doorbraak (Stelling 1): De auteurs bewijzen wiskundig dat de gemiddelde kwadratische discrepantie tussen de marginale en individuele snelheden een gesloten vorm heeft die direct gerelateerd is aan de divergentie van het marginale snelheidsveld ( $\nabla \cdot u_t(x_t)$ ).
Surrogaat: Een lage divergentie impliceert een lage discrepantie en dus een betrouwbaarder snelheidsveld. Omdat de divergentie van het reeds getrainde model $u_\theta$ direct berekend kan worden, fungeert dit als een data-vrij surrogaat voor lokale onzekerheid.

Het FDS-algoritme:

Perturbatie: Op een gegeven tijdstip $t$ worden $M$ kandidaat-toestanden gegenereerd door kleine willekeurige verstoringen toe te passen op de huidige toestand $x_t$ .
Selectie: Voor elke kandidaat wordt de divergentie van het snelheidsveld berekend.
Verfijning: De kandidaat met de laagste divergentie wordt geselecteerd als de nieuwe toestand $\tilde{x}_t$ .
Integratie: De standaard solver (bijv. Euler of Heun) gaat verder vanaf dit verfijnde punt $\tilde{x}_t$ .

Dit proces is "plug-and-play" en kan worden gecombineerd met bestaande solvers en geleidingsmechanismen (zoals CFG).

3. Belangrijkste Bijdragen

Theoretische Koppeling: Het aantonen dat de onwaarneembare discrepantie tussen marginale en individuele snelheden exact kan worden gekarakteriseerd door de divergentie van het marginale snelheidsveld. Dit biedt een praktische, datavrije proxy voor inferentie.
FDS Framework: De introductie van de Flow Divergence Sampler, een training-vrije methode die trajecten actief stuurt weg van gebieden met hoge divergentie (hoge onzekerheid) zonder het onderliggende model opnieuw te trainen.
Brede Toepasbaarheid: Het bewijzen dat FDS consistente verbeteringen levert over diverse backbones (EDM, JiT, SiT), solvers (Euler, Heun) en taken, waaronder class-conditional generatie, tekst-naar-afbeelding en inverse problemen.

4. Resultaten

De auteurs evalueren FDS op verschillende benchmarks en vergeleken het met "compute-matched" baselines (waarbij extra rekentijd wordt gebruikt voor meer solver-steps in plaats van FDS).

Kwaliteitsverbetering: FDS verbetert consistent de FID (Fréchet Inception Distance) en IS (Inception Score) op CIFAR-10 en ImageNet (256x256).
- Voorbeeld: Op ImageNet met de Heun-solver verbeterde FDS de FID van 2.713 naar 2.496, terwijl het verhogen van het aantal stappen (NFE) in een compute-matched setting zelfs leidde tot stagnatie of minder verbetering.
Visuele Kwaliteit: FDS produceert scherpere afbeeldingen met betere details (bijv. duidelijkere textuur op hamburgers of oogleden) in vergelijking met standaard FM.
Text-to-Image: Op SD3-Medium (DrawBench dataset) toonde FDS verbeteringen in menselijke voorkeurscores (ImageReward, HPSv2) en esthetische scores, met name bij het weergeven van fijne details.
Inverse Problemen: Bij taken zoals deblurring en super-resolution behield FDS meer details en produceerde realistischere resultaten dan baselines.
Efficiëntie: De methode is zeer efficiënt. Het gebruik van slechts één iteratie ( $N=1$ ) en één kandidaat ( $M=1$ ) is vaak al voldoende voor significante verbeteringen, wat de rekentijd beperkt.
Vergelijking met Trainingsmethoden: FDS presteert beter dan geavanceerde trainingsmethoden (zoals HRF) die specifiek zijn ontworpen om trajectkruisingen op te lossen, terwijl FDS geen extra training vereist en bestaande modellen behoudt.

5. Betekenis en Impact

Dit werk biedt een nieuwe perspectief op het verbeteren van generatieve modellen:

Shift van Temporaal naar Ruimtelijk: Bestaande verbeteringen richten zich vaak op het verkleinen van temporale discretisatiefouten (door meer stappen of hogere orde solvers). FDS introduceert ruimtelijke correcties door de toestand te verplaatsen naar een betrouwbaarder gebied in de ruimte.
Praktische Toepasbaarheid: Omdat het training-vrij en plug-and-play is, kunnen onderzoekers en ingenieurs direct profiteren van de kracht van de meest geavanceerde, reeds getrainde Flow Matching-modellen zonder de kosten en complexiteit van hertraining.
Fundamenteel Inzicht: Het artikel legt een brug tussen de theoretische eigenschappen van het snelheidsveld (divergentie) en de praktische kwaliteit van de generatie, wat een nieuwe richting opent voor toekomstig onderzoek in betrouwbare generatie.

Kortom, FDS lost het probleem van "verkeerde richtingen" in Flow Matching op door slimme, lokale navigatie tijdens het generatieproces, wat leidt tot hogere kwaliteit en robuustheid zonder extra trainingskosten.