🤖 machine learning

COT-FM: Cluster-wise Optimal Transport Flow Matching

COT-FM is een plug-and-play framework dat de generatiekwaliteit en samplesnelheid van Flow Matching verbetert door doelstalen te clusteren en zo kromme trajecten om te zetten in rechtlijnigere vectorvelden zonder de modelarchitectuur te wijzigen.

Oorspronkelijke auteurs: Chiensheng Chiang, Kuan-Hsun Tu, Jia-Wei Liao, Cheng-Fu Chou, Tsung-Wei Ke

Gepubliceerd 2026-03-17

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Chiensheng Chiang, Kuan-Hsun Tu, Jia-Wei Liao, Cheng-Fu Chou, Tsung-Wei Ke

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een heel groot, rommelig magazijn (de doelverdeling) moet opruimen en alles netjes in een rechte rij moet zetten, zodat je het later snel weer kunt vinden. Je hebt een vrachtwagen (het AI-model) die de spullen van de rommelige vloer naar de rechte rij moet vervoeren.

In de traditionele methoden (zoals Flow Matching) is het probleem dat de vrachtwagen vaak een heel kronkelend pad moet rijden. Waarom? Omdat de vrachtwagen soms een spierballen-gebruiker is die willekeurig een doos pakt en die ergens neerzet, zonder te kijken of dat logisch is. Als je dit duizenden keren doet, krijg je een wirwar van wegen. Om van A naar B te komen, moet de vrachtwagen dan steeds harder sturen, wat veel tijd kost en soms leidt tot ongelukken (slechte kwaliteit).

COT-FM is de nieuwe, slimme aanpak die dit probleem oplost. Hier is hoe het werkt, vertaald naar alledaagse termen:

1. Het probleem: De "Willekeurige Vrachtwagen"

Stel je voor dat je een vrachtwagen hebt die 1000 verschillende soorten vracht moet verplaatsen. Als je de vrachtwagen zomaar laat kiezen welke doos hij waarheen brengt (een willekeurige koppeling), gaat hij vaak dwars door elkaar heen rijden.

Het gevolg: De route is een wirwar van bochten. De vrachtwagen moet veel tijd besteden aan het sturen in plaats van het rijden. Als je de route in kleine stukjes moet rijden (omdat de vrachtwagen niet perfect is), raakt hij de weg kwijt en belandt hij in de verkeerde straat.

2. De oplossing van COT-FM: De "Groepsleiders"

De auteurs van COT-FM zeggen: "Wacht even, laten we niet alles door elkaar gooien. Laten we de vracht eerst in groepjes verdelen."

Stap 1: Groeperen (Clustering)
In plaats van alle 1000 dozen als één grote hoop te behandelen, maken we 50 kleine groepjes. Bijvoorbeeld: alle "rode dozen" bij elkaar, alle "blauwe dozen" bij elkaar. In de AI-wereld betekent dit dat we de data (bijv. foto's van katten) groeperen op basis van hun gelijkenis.
Stap 2: De "Terugwaartse Route" vinden
Voor elk groepje vragen we: "Vanuit welke specifieke plek in de startwereld (de bron) komt dit groepje eigenlijk?"
Normaal gesproken denken we dat alles uit één grote, wazige startplek komt. COT-FM gebruikt een slimme truc: het kijkt naar de foto's, rijdt ze in gedachten terug naar de startplek, en zegt: "Ah, deze groep rode katten komt eigenlijk uit een heel specifiek klein hoekje van de startwereld."
Dit is als het vinden van de perfecte startlocatie voor elke groep.
Stap 3: Rechtuit rijden (Optimal Transport)
Nu hebben we voor elk groepje een eigen startplek en een eigen eindplek. Omdat de start en het doel nu perfect op elkaar zijn afgestemd voor dat specifieke groepje, hoeft de vrachtwagen niet meer te slingeren. Hij kan een rechte lijn rijden.
- Het resultaat: De route is recht, snel en precies. Geen bochten, geen ongelukken.

Waarom is dit zo geweldig?

Snelheid: Omdat de route recht is, hoeft de vrachtwagen niet te hoeven "sturen" of te wachten. Hij kan in één keer (of in heel weinig stappen) van A naar B. In de AI-taal betekent dit dat je minder rekenkracht nodig hebt om een perfecte foto of robotbeweging te maken.
Kwaliteit: Omdat de vrachtwagen niet meer dwars door elkaar rijdt, belandt hij precies waar hij moet zijn. De foto's worden scherper en de robotbewegingen zijn vloeiender.
Plug-and-Play: Je hoeft de vrachtwagen zelf niet te vervangen of te verbouwen. Je past alleen de routeplanning aan. Je kunt deze methode op bijna elk bestaand AI-model plakken en het direct beter laten werken.

Een concreet voorbeeld uit het papier

Stel je wilt een robot leren een mok in een magnetron te zetten.

Oude methode: De robot probeert het een paar keer, maar omdat hij niet precies weet hoe hij moet bewegen, botst hij soms tegen de deur of laat hij de mok vallen. Hij moet veel kleine correcties maken (veel stappen).
COT-FM: De robot kijkt eerst naar de situatie (bijv. "de mok staat links") en weet precies welke "startbeweging" daarvoor hoort. Hij rijdt dan in één rechte, vloeiende beweging de mok in de magnetron. Het resultaat is dat de robot het in één keer goed doet, terwijl andere methoden 4 keer nodig hebben.

Kortom: COT-FM is als het hebben van een slimme navigatie die de verkeerde, kronkelige wegen weghaalt en voor elke bestemming de perfecte, rechte snelweg legt. Hierdoor kom je sneller en veiliger aan je bestemming.

Titel: COT-FM: Cluster-wise Optimal Transport Flow Matching

Auteurs: Chiensheng Chiang, Kuan-Hsun Tu, Jia-Wei Liao, Cheng-Fu Chou, Tsung-Wei Ke (National Taiwan University & Two Moon)

1. Het Probleem

Flow Matching (FM) is een krachtig generatief kader dat een deterministisch vectorveld leert om een eenvoudige bronverdeling (bijv. een Gaussische verdeling) te transformeren naar een complexe doelverdeling (data). Hoewel FM flexibel en schaalbaar is, lijden bestaande implementaties aan twee belangrijke beperkingen die de kwaliteit en snelheid van de generatie beïnvloeden:

Gebogen Trajecten: De meeste FM-modellen gebruiken willekeurige koppelingsstrategieën (random coupling) of benaderingen op basis van mini-batches (batch-wise optimal transport) om het vectorveld te trainen. Dit resulteert in gebogen trajecten in plaats van rechte lijnen. Gebogen paden verhogen de discretisatiefout tijdens het integreren van de ODE (Ordinary Differential Equation), wat leidt tot meer stapjes nodig voor generatie en lagere sample-kwaliteit.
Locatieproblemen: Bestaande methoden om rechte paden te forceren, zoals Rectified Flow, vereisen iteratief hertrainen op gegenereerde samples, wat kan leiden tot "model collapse" (de kwaliteit verslechtert na verloop van tijd). Andere methoden, zoals MeanFlow, leren een gemiddeld vectorveld om stappen over te slaan, maar veranderen het onderliggende gebogen vectorveld niet, waardoor de kwaliteit niet daadwerkelijk verbetert.

Het kernprobleem is dus het vinden van een manier om rechte, structuurbehoudende transporttrajecten te leren zonder de modelarchitectuur te wijzigen of te riskeren dat het model instort.

2. Methodologie: COT-FM

De auteurs introduceren COT-FM (Cluster-wise Optimal Transport Flow Matching), een plug-and-play framework dat de waarschijnlijkheidspaden van Flow Matching herschikt door een "divide-and-conquer" strategie toe te passen.

Kernidee

In plaats van de hele doelverdeling in één keer van één enkele bronverdeling te laten afstammen, partitioneert COT-FM de data in clusters. Elke cluster krijgt zijn eigen, specifieke bronverdeling toegewezen. Dit maakt het optimal transport (OT) probleem lokaal en eenvoudiger op te lossen.

Het Twee-Staps Proces

Het framework werkt via een afwisselend optimalisatieproces tussen het target vectorveld en het FM-model:

Stap 1: Identificatie van Cluster-wise Bronverdelingen (Reverse ODE):
- De dataset wordt eerst geklust (bijv. via K-means of op basis van labels).
- Voor elke cluster $C_k$ wordt een bestaand, vooraf getraind FM-model gebruikt om de samples in de cluster "terug te leiden" naar de bronruimte door de ODE-integratie omgekeerd uit te voeren.
- Op basis van deze teruggeleide samples ( $\hat{x}_0$ ) wordt een lokale bronverdeling $p_{0,k}$ geschat (meestal een Gaussische verdeling met gemiddelde $\mu_{0,k}$ en covariantie $\Sigma_{0,k}$ ).
- Voordeel: Omdat het oorspronkelijke model niet-intersecterende paden heeft, worden de bronverdelingen per cluster efficiënt en zonder veel kruisingen bepaald.
Stap 2: Optimal Transport binnen Clusters en Fine-tuning:
- Binnen elke cluster wordt een Optimal Transport (OT) kaart berekend tussen de geschatte lokale bronverdeling $p_{0,k}$ en de doel-samples in die cluster.
- Omdat de clusters kleiner zijn dan de volledige dataset, is de berekening van de OT-kaart (die normaal gesproken kubisch complex is) veel haalbaarder en nauwkeuriger binnen de batch.
- Het FM-model wordt vervolgens gefinetuned om dit nieuwe, rechte vectorveld te regresseren, waarbij de koppelingsstrategie nu gebaseerd is op deze cluster-wise OT-kaarten.

Sampling

Tijdens inferentie wordt eerst een cluster-index $k$ gekozen (proportioneel aan de grootte van de cluster), waarna een ruis-sample wordt getrokken uit de bijbehorende lokale bronverdeling $p_{0,k}$ . Vervolgens wordt de generatie uitgevoerd via het gefinetuned model.

3. Belangrijkste Bijdragen

General Framework: COT-FM is een model-agnostische methode die werkt met bestaande FM-architecturen (zoals Rectified Flow, OT-CFM, MeanFlow) zonder de input-output mechanismen te wijzigen.
Verbeterde Trajecten: Door het opdelen in clusters en het toewijzen van specifieke bronverdelingen, worden de transporttrajecten aanzienlijk reder (minder kromming) dan bij willekeurige of globale batch-koppelingen.
Efficiëntie en Kwaliteit: De methode lost het probleem van model collapse op (in tegenstelling tot iteratieve rectified flow) en verbetert zowel de snelheid (minder NFE - Number of Function Evaluations) als de kwaliteit van de gegenereerde samples.
Flexibiliteit: Het werkt zowel voor onvoorwaardelijke generatie (via unsupervised clustering) als voor voorwaardelijke generatie (waarbij labels of tekst als natuurlijke clusters dienen).

4. Resultaten

COT-FM werd geëvalueerd op diverse benchmarks en toonde consistente verbeteringen:

2D Synthetische Data:
- Op datasets zoals "5-Gaussians", "Two Moons" en "Checkerboard" bereikte COT-FM de laagste Wasserstein-afstand en de minste kromming (curvature) vergeleken met Rectified Flow, OT-CFM en MeanFlow.
- Voorbeeld: Op "5-Gaussians" daalde de Wasserstein-afstand van 0.5421 (Rectified Flow) naar 0.1995 (COT-FM).
Onvoorwaardelijke Image Generatie (CIFAR-10):
- COT-FM verbeterde de FID (Fréchet Inception Distance) aanzienlijk.
- Bij 10 stappen: Rectified Flow (12.6) $\rightarrow$ COT-FM (8.23).
- Bij 1 stap: Rectified Flow (378.0) $\rightarrow$ COT-FM (205.0).
- Het verbeterde ook MeanFlow van 2.92 naar 2.60 FID (1 stap).
Voorwaardelijke Image Generatie (ImageNet 256x256):
- Gebruikmakend van SiT-architecturen, verbeterde COT-FM de FID over alle stap-aantallen, met name bij lage stap-aantallen (bijv. 100 steps: 5.82 $\rightarrow$ 5.11).
Robotica (LIBERO Benchmark):
- In robotmanipulatietaken (LIBERO-Spatial en Long) bereikte COT-FM met slechts 1 stap (NFE) een succespercentage van 96.1% en 94.5%.
- Dit is vergelijkbaar met de prestaties van de FLOWER-policy die 4 stappen nodig heeft, en beter dan andere single-step baselines.

5. Betekenis en Conclusie

COT-FM biedt een fundamentele verbetering in het trainen van Flow Matching-modellen door het probleem van gebogen transportpaden aan te pakken via een cluster-wise aanpak.

Kwaliteit vs. Snelheid: Het bewijst dat het reduceren van de kromming van de stroom (flow curvature) de sleutel is tot het genereren van hoge kwaliteit data met zeer weinig sampling-stappen.
Toepasbaarheid: Omdat het een plug-and-play methode is, kan het direct worden toegepast op bestaande generatieve modellen om hun prestaties te boosten zonder de complexiteit van de architectuur te vergroten.
Toekomst: Hoewel de methode afhankelijk is van de kwaliteit van het clustering en de reverse ODE-berekening enige overhead heeft, biedt het een robuust pad naar snellere en betrouwbaardere generatieve AI voor beeldgeneratie en robotica.

Kortom, COT-FM transformeert Flow Matching van een methode die vaak veel iteraties nodig heeft naar een efficiëntere, hogere kwaliteit generatief kader door slimme, lokale optimalisatie van transportpaden.