🤖 machine learning

Gradual Fine-Tuning for Flow Matching Models

Dit artikel introduceert Gradual Fine-Tuning (GFT), een theoretisch onderbouwd, temperatuurgecontroleerd annealing-framework dat een stabiele, efficiënte en diverse adaptatie van flow matching-modellen naar doelverdelingen mogelijk maakt met uitsluitend doelstalen, waarbij het bestaande methoden overtreft in convergentie en generatiekwaliteit.

Oorspronkelijke auteurs: Gudrun Thorkelsdottir, Arindam Banerjee

Gepubliceerd 2026-06-17

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Gudrun Thorkelsdottir, Arindam Banerjee

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer bekwame kunstenaar hebt die jarenlang heeft geleerd om prachtige landschappen te schilderen (dit is je voorgetrainde model). Nu wil je deze kunstenaar leren om portretten van een specifieke familie te schilderen (dit is je doelverdeling). Je hebt een fotoalbum van de familie om de kunstenaar aan te tonen, maar je wilt niet dat ze vergeten hoe ze landschappen schilderen of hun unieke stijl verliezen tijdens het proces.

Het artikel introduceert een nieuwe methode genaamd Gradual Fine-Tuning (GFT) om deze kunstenaar te helpen bij de overgang soepel te maken, zonder dat ze in de war raken of hun gevoel verliezen.

Hier is hoe het artikel het probleem en de oplossing uitlegt, met behulp van eenvoudige analogieën:

Het Probleem: De "Plotselinge Sprong"

Momenteel, als je probeert de kunstenaar te leren portretten te schilderen door ze simpelweg de nieuwe foto's te laten zien en te zeggen: "Vergeet de rest, doe alleen dit," gaat het vaak mis.

Instabiliteit: De kunstenaar kan in de war raken, beginnen te trillen en rommelige, chaotische schilderijen produceren.
Verlies van Vaardigheid: Ze kunnen de vloeiende penseelstreken vergeten die ze leerden tijdens hun jarenlange training in landschappen, wat resulteert in stijve of onnatuurlijke portretten.
Inefficiëntie: Het duurt lang voordat de kunstenaar de nieuwe stijl begrijpt, en de kunstenaar kan vast komen te zitten in een lus van slechte gewoontes.

Andere methoden proberen dit op te lossen door "beloningen" toe te voegen (zoals het geven van een gouden ster voor een goed portret), maar het artikel stelt dat deze vaak instabiel zijn, vereisen dat de kunstenaar hele schilderbeurten simuleert om feedback te krijgen, en erg traag kunnen zijn.

De Oplossing: De "Geleidelijke Helling" (GFT)

De auteurs stellen Gradal Fine-Tuning (GFT) voor. In plaats van een plotselinge sprong, stel je een temperatuurgestuurde helling voor die de focus van de kunstenaar langzaam verschuift van landschappen naar portretten.

De Temperatuurknop ( $\beta$ ): Denk aan een knop met het label "Temperatuur".
- Hoge Temperatuur (Begin): De knop staat hoog ingesteld. De kunstenaar krijgt de instructie: "Houd je landschapsstijl grotendeels aan, maar kijk slechts lichtjes naar de foto's van de familie." De kunstenaar maakt kleine, veilige aanpassingen. Ze raken niet in paniek omdat hun kernvaardigheden nog beschermd zijn.
- Afkoelen (Midden): Naarmate de training vordert, draai je de knop langzaam omlaag. De kunstenaar mag meer veranderen. Ze beginnen hun landschapstechnieken te mengen met de nieuwe portretstijl.
- Nul Temperatuur (Einde): De knop is helemaal naar beneden gedraaid. Nu is de kunstenaar volledig gefocust op de foto's van de familie. Omdat de verandering geleidelijk ging, zijn ze hun vaardigheden niet vergeten en is de overgang vloeiend.
De Wiskundige Magie: Het artikel bewijst dat als je dit "afkoelen" correct uitvoert, de kunstenaar wiskundig gegarandeerd precies de familieportretten schildert die je wilde, zonder de oorspronkelijke kwaliteit te verliezen. Het is als een GPS die je van Punt A naar Punt B begeleidt door een weg met zachte, bochtige wegen te nemen in plaats van een sprong vanaf een klif.

Waarom dit beter is (De Resultaten)

Het artikel testte deze methode op realistische taken (zoals het veranderen van medische beeldstijlen of het aanpassen van satellietfoto's) en stelde vast dat:

Stabiliteit: De kunstenaar kreeg geen "epileptische aanvallen". Het leerproces was stabiel en voorspelbaar, in tegen tegenstelling tot andere methoden die wild fluctueren.
Snelheid: De kunstenaar leerde de nieuwe stijl sneller en efficiënter.
Diversiteit: De kunstenaar kopieerde de familiefoto's niet op een saaie, repetitieve manier. Ze behielden de variatie en rijkdom van hun oorspronkelijke stijl terwijl ze zich aanpasten aan het nieuwe onderwerp.
Efficiëntie: Het artikel laat ook zien dat deze methode goed werkt met "few-step" technieken. Stel je voor dat de kunstenaar in staat is om een portret te voltooien in één of twee penseelstreken in plaats van twintig, zonder kwaliteitsverlies. GFT maakt dit mogelijk.

Het "Geheime Ingrediënt": Optimal Transport

Het artikel vermeldt het gebruik van zogenaamde "Optimal Transport" koppelingen. In onze analogie is dit als het geven van een specifieke kaart aan de kunstenaar die elke landschapstree koppelt aan een specifiek haarlokje van een familielid. In plaats van te gissen hoe de oude stijl naar de nieuwe stijl getransformeerd moet worden, volgt de kunstenaar een direct, efficiënt pad. Dit maakt de generatie van nieuwe afbeeldingen veel sneller.

Samenvatting

Gradual Fine-Tuning is een nieuwe manier om AI-modellen te leren zich aan te passen aan nieuwe data. In plaats van een plotselinge, chaotische verandering af te dwingen, gebruikt het een "afkoelschema" om het model geleidelijk van zijn oude kennis naar het nieuwe doel te leiden. Het resultaat is een model dat stabiel, snel, divers en wiskundig gegarandeerd de gewenste uitkomst bereikt. Het is het verschil tussen een zwemmer in het diepe water gooien en iemand leren zwemmen door langzaam vanuit de ondiepe kant het water in te waden.

Technische Samenvatting: Gradual Fine-Tuning voor Flow Matching Modellen

Probleemstelling

Het fine-tunen van vooraf getrainde flow matching modellen vormt een aanzienlijke uitdaging in scenario's die worden gekenmerkt door beperkte data, evoluerende distributies of computationele beperkingen. Hoewel recente vooruitgang in beloningsgebaseerd fine-tuning (bijv. Adjoint Matching, reinforcement learning-benaderingen) veelbelovend is gebleken, lijden deze vaak aan theoretische beperkingen en praktische instabiliteiten. Specifiek schieten bestaande methoden er vaak in om niet tegelijkertijd theoretische correctheid, trainingsstabiliteit, inferentie-efficiëntie en diversiteitsbehoud te garanderen.

Een kritieke, doch nog onvoldoende onderzochte setting is het fine-tunen wanneer directe monsters uit de doeldistributie beschikbaar zijn (bijv. in domeinadaptatie of datasetdrift), wat de noodzaak voor externe beloningsfuncties wegneemt. Standaard fine-tuning in deze context behandelt het vooraf getrainde model vaak slechts als een initialisatie, waarbij de geleerde dynamiek (zoals korte waarschijnlijkheidspaden) wordt genegeerd, wat leidt tot hoge instabiliteit en potentiële mode collapse. Er is behoefte aan een principieel kader dat een balans vindt tussen het adapteren aan een nieuwe doeldistributie en het behouden van de begunstigende eigenschappen van het vooraf getrainde model.

Methodologie: Gradual Fine-Tuning (GFT)

De auteurs stellen Gradual Fine-Tuning (GFT) voor, een framework dat geëanneleerde regularisatie gebruikt om een temperatuurgecontroleerde sequentie van intermediaire doelstellingen te creëren. Deze benadering interpoleert vloeiend tussen de vooraf getrainde dynamiek en de doeldynamiek.

Theoretische Formulering

GFT is afgeleid van een optimalisatieprobleem over de padruimte geïnduceerd door stochastische stromen. De doelstelling minimaliseert de Kullback-Leibler (KL) divergentie tussen het gefine-tunde proces $P_\theta$ en het doelproces $P_q$ , geregulariseerd door de KL-divergentie tussen $P_\theta$ en het vooraf getrainde proces $P_{\theta_0}$ :

$\min_{\theta} \text{KL}(P_\theta \| P_q) + \beta \text{KL}(P_\theta \| P_{\theta_0})$

waarbij $\beta \in \mathbb{R}^+$ een temperatuurparameter is.

Theorem 4.1 stelt vast dat het minimaliseren van deze doelstelling een gesloten vorm optimal drift $v^*_\theta$ oplevert die een convexe combinatie is van het doel vectorfeld $v_q$ en het vooraf getrainde vectorfeld $v_{\theta_0}$ :

$v^*_\theta(X_t, t) = \left( \frac{1}{1 + \beta} \right) v_q(X_t, t) + \left( \frac{\beta}{1 + \beta} \right) v_{\theta_0}(X_t, t)$

Geëanneleerde Regularisatie: Om convergentie te bereiken, maakt GFT gebruik van een tijdafhankelijke afkoelingsschema waarbij $\beta$ geleidelijk wordt geëanneleerd van een hoge initiële waarde naar $0^+$ .

Hoge $\beta$ : Bestraft afwijking van het vooraf getrainde model sterk, wat voortijdige instorting voorkomt en stabiliteit waarborgt.
Lage $\beta$ ( $\to 0^+$ ): Verzwakt de beperking, waardoor het model asymptotisch het doel vectorfeld $v_q$ kan herstellen.

Hanteerbare Herformulering

Omdat het doel vectorfeld $v_q$ onbekend is en de doelstelling is gedefinieerd over padmaten, passen de auteurs Girsanov's Theorema toe om de doelstelling te herformuleren in termen van drifttermen. Dit resulteert in een hanteerbare verliesfunctie die de $L_2$ -afstand tussen driften betreft.

Bovendien, om efficiënte training en inferentie mogelijk te maken, maakt GFT gebruik van Conditional Flow Matching (CFM) principes. Door te conditioneren op willekeurige bron-doel koppelingen (bijv. Optimal Transport plannen), wordt de verliesfunctie:

$\mathcal{L}_\pi(\theta) = \mathbb{E}_{Z \sim \pi, X_t \sim P(\cdot|Z), t \sim U[0,1]} \left[ \frac{1}{2} \left( \|v_\theta - v_q(\cdot|Z)\|^2 + \beta \|v_\theta - v_{\theta_0}\|^2 \right) \right]$

Deze formulering behoudt de theoretische garanties van de onvoorwaardelijke doelstelling terwijl het gebruik maakt van efficiënte koppelingen (zoals OT) om generatie te versnellen.

Uitbreiding naar Few-Step Inference

Het framework breidt zich op natuurlijke wijze uit naar Mean Flow (MF) modellen, die weinig-stappen inferentie mogelijk maken. De auteurs bewijzen dat het optimale gemiddelde snelheidveld voor MF-modellen ook een convexe combinatie vorm volgt, waardoor GFT kan worden toegepast op one-step of few-step generatie zonder de theoretische correctheid op te offeren.

Belangrijkste Bijdragen

Het artikel schetst vier primaire bijdragen:

Theoretische Convergentie: Bewijs dat GFT convergeert naar de doeldistributie onder standaard aannames, met een expliciete convergentiesnelheid afhankelijk van de temperatuur $\beta$ .
Koppelingsequivalentie: Vaststelling dat GFT equivalente resultaten oplevert wanneer er geconditioneerd wordt op willekeurige bron-doel koppelingen, wat het gebruik van trainingstechnieken (zoals OT) mogelijk maakt die de inferentie-efficiëntie verbeteren.
Few-Step Extensie: Demonstratie van de natuurlijke uitbreiding van GFT naar fine-tuning voor few-step inferentie methoden (bijv. Mean Flow) zonder de theoretische garanties in gevaar te brengen.
Empirische Superieuriteit: Uitgebreide experimentele validatie die aantoont dat GFT vergelijkbare of superieure generatiekwaliteit bereikt ten opzichte van andere methoden, terwijl het verbeterde trainingsstabiliteit, generatiediversiteit en consequent kortere waarschijnlijkheidspaden biedt.

Experimentele Resultaten

De auteurs hebben GFT geëvalueerd over meerdere settings, inclus\ief cross-domain en in-domain adaptatie op WILDS benchmark datasets (Camelyon17, RxRx1, FMoW) en 2D gesimuleerde data.

Stabiliteit en Convergentie: GFT demonstreerde aanzienlijk hogere stabiliteit vergeleken met standaard CFM fine-tuning en beloningsgebaseerde methoden (bijv. Adjoint Matching). Metrieken zoals instantane variantie en de Spearman-correlatie tussen epochen en FID gaven een monotone, stabiele convergentie aan.
Generatiekwaliteit: In cross-domain adaptatie bereikte GFT FID-scores die vergelijkbaar zijn met standaard fine-tuning, maar met kortere gemiddelde padlengtes, wat wijst op efficiëntere inferentie. In in-domain adaptatie kwam GFT overeen met de nauwkeurigheid van volledige fine-tuning terwijl lagere padlengtes werden behouden.
Diversiteit: Op 2D bimodale Gaussische doelwitten slaagden zowel GFT als standaard CFM erin beide modi met een hoge diversiteit te dekend. In contrast hiermee leden beloningsgebaseerde methoden zoals Adjoint Matching aan mode collapse, waarbij monsters dicht geclusterd bleven binnen een enkele modus.
Efficiëntie: GFT behield de simulatievrije trainingsefficiëntie van CFM. Terwijl Adjoint Matching dure ODE-simulaties vereiste voor elke stap (wat resulteerde in trainingstijden die een orde van grootte hoger lagen), bleef GFT efficiënt.
Few-Step Inference: Wanneer toegepast op Mean Flow modellen, bereikte GFT een vergelijkbare FID als iteratieve modellen, maar met een 50-100x reductie in modelevaluaties (NFEs) tijdens de inferentie.
Regularisatiecontrole: Experimenten waarbij de minimale temperatuur $\beta$ werd gevarieerd, toonden een controleerbare afweging tussen de uiteindelijke FID en de gemiddelde padlengte, waardoor gebruikers de balans tussen generatie-accuratesse en inferentiesnelheid expliciet kunnen afstemmen.

Betekenis en Claims

Het artikel positioneert GFT als een eenvoudig, doch theoretisch gefundeerd en praktisch effectief alternatief voor de schaalbare adaptatie van flow matching modellen onder distributieverschuiving.

De auteurs beweren dat GFT kritieke hiaten in de bestaande literatuur adresseert door te voldoen aan alle belangrijke vereisten voor een ideale fine-tuning methode:

Theoretisch Correct: Het convergeert bewezen naar de juiste doeldistributie met een controleerbare snelheid.
Stabiel: Het vertoont een zeer monotone convergentie, waardoor de oscillaties en instabiliteit die gebruikelijk zijn bij standaard fine-tuning worden vermeden.
Efficiënt: Het behoudt de simulatievrije training van CFM en ondersteunt efficiënte inferentie via OT-koppelingen en few-step methoden.
Divers: Het behoudt de diversiteit van het vooraf getrainde model en voorkomt de mode collapse die gezien wordt bij beloningsgebaseerde benaderingen.

Door de kloof tussen hoogwaardige pretraining en fine-tuning te overbruggen, biedt GFT een robuuste oplossing voor het adapteren van generatieve modellen aan complexe, datagestuurde domeinen waar genuanceerde controle over de uitkomst van de fine-tuning vereist is. Het werk legt een fundament voor de schaalbare adaptatie van flow-gebaseerde generatieve modellen.