🤖 machine learning

Curriculum Sampling: A Two-Phase Curriculum for Efficient Training of Flow Matching

Dit paper introduceert Curriculum Sampling, een tweefasige trainingsstrategie voor Flow Matching-modellen die eerst een midden-geschaarde tijdstapverdeling gebruikt voor snelle structuurlerening en vervolgens overschakelt naar uniforme sampling voor randverfijning, wat resulteert in een snellere convergentie en een betere FID-score op CIFAR-10.

Oorspronkelijke auteurs: Pengwei Sun

Gepubliceerd 2026-03-16

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Pengwei Sun

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een kunstenaar bent die een schilderij moet maken, maar je hebt een magische machine die je helpt. Deze machine werkt door een wazige vlek (ruis) langzaam om te vormen tot een scherp, duidelijk beeld. Dit proces heet "Flow Matching".

De grote vraag voor de kunstenaar is: Hoe snel moet je deze machine laten werken op elk moment van het proces?

In de wereld van AI-onderzoek noemen ze dit "tijdstip-sampling". Je moet beslissen of je de machine meer tijd geeft om te werken op het begin (de ruige vlek), het midden (het vorm krijgen) of het einde (de fijne details).

Het oude probleem: De "Midden-geobsedeerde" aanpak

Vroeger dachten de meeste experts: "Laten we de meeste tijd besteden aan het midden van het proces."

De analogie: Stel je voor dat je een potloodschets maakt. Je besteedt 80% van je tijd aan het schetsen van de hoofdlijnen van het gezicht (de neus, de ogen, de mond). Dat gaat snel en je ziet al snel dat het een gezicht wordt.
Het nadeel: Omdat je zo lang bezig bent met de hoofdlijnen, heb je aan het einde te weinig tijd over om de fijne details toe te voegen, zoals de textuur van de huid of de glans in de ogen. Het resultaat ziet eruit als een goed getekend gezicht, maar het is een beetje wazig en onvolledig.

In de paper noemen ze dit de "Logit-Normal" methode. Het werkt snel in het begin, maar het eindresultaat is niet perfect.

Het nieuwe idee: Curriculum Sampling (De "Twee-fasen" aanpak)

De auteur, Pengwei Sun, heeft ontdekt dat je dit slim kunt oplossen door het proces in twee fases te verdelen. Hij noemt dit "Curriculum Sampling" (een leerplan).

Fase 1: De "Bouwfase" (Snelheid)

Wat gebeurt er: In het begin laten we de machine inderdaad veel tijd besteden aan het midden van het proces.
De analogie: Net als bij het schetsen van het hoofd. We bouwen snel de grote structuur op. We zorgen dat het een gezicht is, en niet een landschap. Dit gaat razendsnel.
Doel: De basis leggen.

Fase 2: De "Verf-fase" (Kwaliteit)

Wat gebeurt er: Zodra de grote lijnen staan, schakelen we over. We stoppen met het focussen op het midden en gaan nu gelijkmatig door het hele proces, met extra aandacht voor het begin en het einde.
De analogie: Nu we het gezicht hebben, gaan we de verf opbrengen. We besteden tijd aan het begin (waar de vlek nog ruw is) en het einde (waar de laatste details moeten komen). We zorgen dat de randen scherp zijn en de details perfect.
Doel: De kwaliteit perfectioneren.

Waarom werkt dit zo goed?

De onderzoekers keken precies waar de machine "stagneerde". Ze zagen dat de machine het moeilijkst had bij de uitersten:

Het begin: Het is moeilijk om te beslissen hoe je van een wazige vlek naar een vorm moet gaan.
Het einde: Het is heel moeilijk om de allerlaatste, piepkleine details perfect te maken.

Als je alleen naar het midden kijkt (zoals de oude methode), vergeten deze moeilijke stukjes. Door eerst snel de basis te leggen en daarna rustig de moeilijke stukjes af te werken, krijg je het beste van twee werelden.

De resultaten

Op een bekende testset (CIFAR-10, een verzameling van kleine plaatjes) leverde deze nieuwe methode een wonder op:

Beter resultaat: De kwaliteit van de gegenereerde plaatjes was aanzienlijk scherper (een verbetering van 16% in de meetlat die ze gebruiken).
Sneller: De machine had minder tijd nodig om zijn beste resultaat te bereiken. In plaats van 150.000 stappen te moeten doen, was hij al klaar na 100.000 stappen.

Conclusie in één zin

In plaats van de hele tijd op één manier te werken, is het slimmer om eerst snel de grote lijnen te trekken en daarna rustig de fijne details te perfectioneren. Net als bij het leren van een instrument: eerst de akkoorden leren (snel), en daarna pas de virtuoze solo's oefenen (precies).

Probleemstelling

Flow Matching (FM) modellen zijn een krachtige familie van generatieve modellen die een tijdsafhankelijk snelheidsveld leren om ruis om te zetten in data. Een cruciaal, maar vaak als statisch beschouwd, ontwerpelement is de verdeling $p(t)$ waarmee tijdstappen $t$ worden gesampled tijdens het trainingproces.

De huidige praktijk neigt sterk naar statische, midden-biased verdelingen (zoals Logit-Normal), die de meeste samples concentreren rond het midden van het interval ( $t \approx 0.5$ ). Het paper identificeert een fundamenteel snelheid-kwaliteit compromis met deze aanpak:

Voordeel: Midden-biased sampling versnelt de vroege convergentie aanzienlijk.
Nadeel: Het leidt tot een lagere asymptotische kwaliteit (slechtere FID-scores) vergeleken met Uniform sampling.

De auteurs tonen aan dat deze verdelingen de "grensregimes" (dicht bij $t=0$ voor data en $t=1$ voor ruis) systematisch ondersamplen. Analyse van de trainingsfouten onthult een U-vormig moeilijkheidsprofiel: het voorspellen van het snelheidsveld is het moeilijkst aan de randen, waar fijne details en de overgang van ruis naar data plaatsvinden. Door deze gebieden te ondersamplen, blijven residu-fouten onopgelost, wat de uiteindelijke beeldkwaliteit beperkt.

Methodologie: Curriculum Sampling

Om dit compromis op te lossen, stellen de auteurs Curriculum Sampling voor: een dynamisch, twee-fasen schema voor tijdstap-sampling dat evolueert tijdens het trainen.

Fase 1: Structuurleer (Structure Phase)
- Verdeling: Logit-Normal sampling (midden-biased).
- Doel: Snelle convergentie en het leren van de globale structuur van het vectorveld.
- Mechanisme: Door te focussen op het midden van de trajectie ( $t \approx 0.5$ ), waar het veld gladder en makkelijker te fiten is, wordt de initiële FID-reductie versneld.
Fase 2: Verfijning (Refinement Phase)
- Verdeling: Uniform sampling.
- Doel: Het oplossen van residu-fouten in de grensregimes.
- Mechanisme: Na het vestigen van de globale structuur schakelt het schema over naar Uniform sampling. Dit zorgt ervoor dat de randen ( $t \to 0$ en $t \to 1$ ) met voldoende frequentie worden bezocht om de fijne details en de randvoorwaarden correct te leren.

De overgang tussen deze fasen wordt bepaald door een schakeltijd $T_s$ . De auteurs tonen aan dat $T_s$ een gevoelige hyperparameter is; te vroeg schakelen laat de structuurfase onvoltooid, te laat schakelen laat onvoldoende tijd voor grensverfijning.

Belangrijkste Bijdragen

Identificatie van een Paradox: Het paper weerlegt de aanname dat een statische, midden-biased verdeling optimaal is voor zowel snelheid als kwaliteit. Het toont aan dat deze verdelingen een "plafond" leggen op de uiteindelijke kwaliteit.
Analyse van het Verlieslandschap: Door de per-tijdstap trainingsfouten te analyseren, wordt bewezen dat de moeilijkheid van het voorspellen van snelheid U-vormig is, met pieken aan de randen. Dit onderbouwt de noodzaak van een dynamische aanpak.
Curriculum Sampling Framework: De introductie van een eenvoudig maar effectief twee-fasen schema dat de sterktes van verschillende sampling-strategieën combineert.
Empirische Validatie: Uitgebreide experimenten op CIFAR-10 die aantonen dat dynamische sampling superieur is aan statische baselines.

Resultaten

De experimenten zijn uitgevoerd op CIFAR-10 met een U-Net architectuur (ongeveer 55M parameters). De resultaten tonen een significante verbetering:

Kwaliteit (FID): Curriculum Sampling bereikt een beste FID van 3.22. Dit is een verbetering ten opzichte van:
- Statische Uniform sampling (FID 3.85): 16,4% relatieve verbetering.
- Statische Logit-Normal sampling (FID 4.12): 21,8% relatieve verbetering.
Efficiëntie (Convergentie): Het model bereikt zijn piekprestatie bij 100k trainingsstappen, in plaats van 150k bij de Uniform baseline. Dit betekent een 33% reductie in het aantal benodigde trainingsstappen om de beste kwaliteit te bereiken.
Optimale Configuratie: De beste prestaties werden behaald met een schakeltijd $T_s \approx 60k$ (ongeveer 40% van het trainingsbudget), waarbij Fase 1 gebruikmaakte van Logit-Normal ( $\mu=0.8$ ) en Fase 2 van Uniform sampling.

Significantie en Conclusie

De studie benadrukt dat tijdstap-sampling niet als een statische hyperparameter moet worden behandeld, maar als een evoluerend curriculum dat moet worden afgestemd op de veranderende moeilijkheidsgraad van het leerproces.

De bevindingen suggereren dat het dynamisch aanpassen van $p(t)$ even belangrijk kan zijn als architecturale keuzes voor de prestaties van Flow Matching-modellen. Bovendien wijzen de auteurs op een potentiële richting voor inference-tijd: aangezien de benaderingsfout niet uniform is over $t$ , zouden inferentie-schema's (bijv. niet-uniforme discretisatie) ook kunnen worden geoptimaliseerd om meer resolutie te besteden aan de tijdsregimes waar het geleerde vectorveld het moeilijkst te benaderen is. Dit paper biedt dus een fundamenteel nieuw perspectief op het trainen van continue-tijd generatieve modellen.