🤖 machine learning

Adversarial Learning of Classifier-Free Guidance Schedules

Dit artikel stelt een adversarieel leerframework voor dat de schedules voor classifier-free guidance dynamisch optimaliseert als een functie van diffusietijd, conditionering en ruisige monsters door het probleem te formuleren als dichtheidsratio-schatting, waardoor het statische en heuristische methoden overtreft in tekst-naar-beeldgeneratie.

Oorspronkelijke auteurs: Ashwini Pokle, Alexandre Galashov, Arnaud Doucet, Mauricio Delbracio, Valentin De Bortoli

Gepubliceerd 2026-08-17

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ashwini Pokle, Alexandre Galashov, Arnaud Doucet, Mauricio Delbracio, Valentin De Bortoli

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren om schilderijen te maken op basis van jouw gesproken beschrijvingen. Je zegt tegen de robot: "Teken een zwarte hond die slaapt op een kaart," en hij begint met een leeg canvas dat eruitziet als statische tv-ruis. De robot begint vervolgens langzaam de ruis op te schonen, stap voor stap, waarbij hij die snee transformeert in een helder beeld. Dit is hoe moderne "diffusie"-modellen werken. Maar hier komt het lastige deel bij: de robot heeft een klein duwtje nodig om ervoor te zorgen dat hij naar jouw woorden luistert en niet zomaar een willekeurige hond of een willekeurige kaart tekent. Dit duwtje wordt "guidance" (sturing) genoemd. Denk aan een gids die een riem vasthoudt. Als de gids te zacht trekt, dwaalt de robot af en negeert hij jouw instructies. Als de gids te hard trek, raakt de robot in de war, wordt het beeld oververzadigd en vreemd, of begint het op een cartoonversie van de werkelijkheid te lijken.

Lange tijd gebruikten wetenschappers een "one-size-fits-all"-benadering: ze stelden de trekkracht van de gids in op één enkel, vast getal voor het hele schilderproces. Het was alsof je de gids vertelde om met exact dezelfde kracht te trekken van het eerste seconde van de wandeling tot de laatste. Hoewel dit redelijk werkte, leidde het vaak tot slordige resultaten omdat verschillende stadia van het schilderen een andere hoeveelheid hulp nodig hebben. Sommige delen van het beeld hebben een zachte duw nodig, terwijl andere een stevige hand vereisen. De grote vraag in dit vakgebied is geweest: Kunnen we de gids leren om zijn trekkracht dynamisch aan te passen, afhankelijk van wat de robot op dat specifieke moment precies aan het doen is?

Dit artikel stelt een slimme nieuwe manier voor om de gids van de robot te leren hoe hij moet trekken. In plaats van dat een mens handmatig een schema ontwerpt voor wanneer er hard of zacht getrokken moet worden, laten de auteurs de robot dit leren door middel van een spel van "raad het echte ding". Ze hebben een systeem opgezet waarbij een "discriminator" (een slimme rechter) probeert het verschil te zien tussen een echte foto en de foto die de robot op dit moment aan het schilderen is. De gids van de robot leert vervolgens zijn trekkracht aan te passen zodat de schildering van de robot zo veel op een echte foto lijkt dat de rechter het verschil niet meer kan zien. Door dit spel te spelen, leert de gids precies hoe hard hij op elk enkel punt in het proces moet trekken, afgestemd op de specifieke afbeelding en de specifieke woorden die je hebt gegeven. De resultaten suggereren dat deze methode beelden creëert die niet alleen realistischer zijn, maar ook veel dichter bij je oorspronkelijke beschrijving liggen dan de oude, vaste methoden.

Het probleem met de "one-size-fits-all" riem

Stel je voor dat je een hond door een park wandelt. Soms is de hond rustig en kun je met een losse riem lopen. Op andere momenten ziet de hond een eekhoorn en heb je een stevige grip nodig om te voorkomen dat hij wegrent. Als je de riem de hele tijd op exact dezelfde spanning houdt, laat je de hond misschien in het verkeer rijden (te los) of verstik je de hond (te strak).

In de wereld van AI-beeldgeneratie is deze "riem" de guidance weight (vaak aangeduid als $\omega$ ). Jarenlang hebben onderzoekers een constante waarde gebruikt, meestal rond de 7,5, voor de gehele duur van de AI-creatie. Dit werkt, maar het is niet perfect. Soms raakt de AI te enthousiast en worden de kleuren neon en oververzadigd; op andere momenten negeert het de details van je prompt.

Wetenschappers probeerden dit op te lossen door "schema's" te creëren—handmatige regels die zeggen: "Trek hard aan het begin, en trek daarna zacht in het midden." Maar deze regels zijn als een generieke kaart: ze weten niet of jouw specifieke hond een Chihuahua of een Deense Dog is. Ze passen dezelfde regel toe op elke afbeelding, ongeacht hoe complex de tekstuele prompt is of hoe de afbeelding er op dat moment uitziet.

De nieuwe strategie: Een spel van "Echt vs. Nep"

De auteurs van dit artikel besloten te stoppen met het raden van de regels en in plaats daarvan de AI de regels te laten leren via een spel. Ze gebruikten een concept genaamd adversarial learning (adversariële leerprocessen), wat lijkt op een kat-en-muisspel tussen twee netwerken:

De Generator (De Kunstenaar): Dit is het deel dat het beeld creëert en beslist hoe hard de riem wordt aangetrokken (de guidance weight) bij elke stap.
De Discriminator (De Rechter): Dit is een slimme criticus die getraind is om naar een afbeelding te kijken en te zeggen: "Is dit een echte foto uit de dataset, of is het de huidige poging van de AI?"

Hier is de truc: De auteurs willen dat het "gestuurde" beeld van de AI de verdeling van echte foto's op elk moment in de tijd perfect matcht. Ze noemen dit marginal consistency.

Om de Kunstenaar te leren, zetten ze een lus op:

De Rechter kijkt naar een echte foto en de huidige "gestuurde" foto van de AI.
De Rechter probeert het verschil tussen hen te zien.
De Kunstenaar probeert zijn guidance weight aan te passen om de Rechter te misleiden.
Als de Rechter het verschil niet meer kan zien, doet de Kunstenaar het goed.

Door dit spel te spelen, leert de Kunstenaar een dynamisch schema. Het leert dat het voor een eenvoudige prompt zoals "een kat" misschien een zachte ruk vereist, maar voor een complexe prompt zoals "een zwarte hond die slaapt op een kaart" een andere manier van trekken nodig heeft, afhankelijk van of de vact van de hond of de details van de kaart worden gevormd.

Wat ze vonden

Het team testte deze nieuwe methode op een standaard dataset voor tekst-naar-beeld taken (MS-COCO) met modellen van verschillende groottes. Ze vergeleken hun "lerende gids" met de oude constante riem en de handmatige schema's.

De resultaten waren veelbelovend. Hun methode, die ze GAN + MC (Generative Adversarial Network met Marginal Consistency) noemen, produceerde consequent beelden die mensen meer waardeerden. Specifiek:

Betere Afstemming: De beelden kwamen beter overeen met de tekstuele prompts. Bijvoorbeeld, wanneer gevraagd werd om "een zwarte hond die op een boek met kaarten ligt", tekende de AI die hun methode gebruikte daadwerkelijk de hond die interactie heeft met het boek, terwijl andere methoden soms de details misten of de hond generiek lieten lijken.
Hogere Esthetische Scores: De beelden zagen er mooier en natuurlijker uit voor menselijke beoordelaars.
De Trade-off: Er was een klein nadeel. De "FID"-score (een metriek die meet hoe dicht de beeldstatistieken bij echte foto's liggen) was iets hoger (slechter) voor hun methode vergeleken met sommige baselines. De auteurs leggen uit dat dit een bekend bijeffect is van het gebruik van adversarial training en beloningssignalen; het model geeft prioriteit aan "cool" ogen en het matchen van de prompt boven het exact matchen van de statistische vingerafdruk van de trainingsdata. Echter, in termen van wat mensen daadwerkelijk leuk vinden om te zien, won hun methode.

Waarom dit ertoe doet

Dit artikel suggereert dat we niet degene hoeven te zijn die handmatig de regels ontwerpen voor hoe AI zou moeten schilderen. In plaats daarvan kunnen we een systeem opzetten waarbij de AI de perfecte "riemspanning" leert voor elk specifiek moment van creatie.

De auteurs merken op dat hoewel dit goed werkt, het ook beperkingen heeft. De "gids" die zij hebben getraind is specifief voor het type AI-model waarop het is getraind; je kunt deze gids niet zomaar meenemen en gebruiken op een totaal ander robot zonder hem opnieuw te trainen. Ook is het trainingsproces complex en vereist het een zorgvuldige balans. Maar voor nu suggereert het dat het laten leren van de AI over zijn eigen guidance-schema via een spel van "echt versus nep" een krachtige manier is om AI-kunst gehoorzamer aan onze woorden en mooier voor onze ogen te maken.

Technische Samenvatting: Adversarial Learning van Classifier-Free Guidance Schedules

Probleemstelling
Moderne text-to-image (T2I) diffusie- en flow matching-modellen vertrouwen zwaar op Classifier-Free Guidance (CFG) om een hoge beeldgetrouwheid en prompt-alignement te bereiken. De standaardpraktijk maakt gebruik van een statische, globale guidance-gewicht ( $\omega \approx 7.5$ ) over alle tijdstappen, samples en conditionering-inputs. De auteurs stellen dat deze statische aanpak suboptimaal is; verschillende toestanden langs het diffusiepad kunnen profiteren van variërende niveaus van guidance, en een constante hoge waarde introduceert vaak artefacten zoals oververzadiging. Hoewel tijdvariërende schedules bestaan, zijn deze doorgaans handmatig ontworpen, applicatie-afhankelijk en agnostisch voor de specifieke complexiteit van de tekstprompt of de huidige ruisige sample. Eerdere pogingen om dynamische guidance te leren (bijv. Galashov et al., 2026) hadden moeite met het balanceren van de kwaliteit van samples (FID) met tekst-alignement, en faalden vaak in het overtreffen van constante CFG op alignement-metrieken vanwege de hoge variantie van hun objectieven.

Methodologie
Het artikel stelt voor om een guidance schedule te leren als een functie van diffusietijd ( $t$ ), conditionering ( $c$ ) en de huidige ruisige sample ( $x_s$ ). De kern van de theoretische verschuiving is de beweging van strikte zelfconsistentie naar een zwakkere marginale consistentie conditie. Het doel is om ervoor te zorgen dat de marginale distributie van de guided particles ( $p_{s,\omega}^t$ ) op elk tijdstip $t$ langs het sampling-traject overeenkomt met de ware datadistributie ( $p_t$ ).

Om dit af te dwingen, kaderen de auteurs het probleem als een density ratio estimation taak binnen een Generative Adversarial Network (GAN) framework:

Adversarial Objective:
- Discriminator ( $d_\phi$ ): Getraind om te onderscheiden tussen "echte" marginale samples (direct getrokken uit de datadistributie op tijd $t$ ) en "nep" guided samples (gegenereerd door een guided stap te nemen van tijd $s$ naar $t$ met behulp van de huidige guidance-gewichten). De discriminator schat de log-densiteitsratio $\log(p_t(x_t) / p_{s,\omega}^t(x_t))$ .
- Generator (Guidance Network $\omega_\psi$ ): Een lichtgewicht Multi-Layer Perceptron (MLP) die het optimale guidance-gewicht $\omega$ voorspelt. Deze wordt getraind om de output van de discriminator te maximaliseren (het minimaliseren van de geschatte KL-divergentie), waardoor effectief geleerd wordt om samples te produceren die de ware marginale distributie matchen.
Netwerk Parametrisatie:
- Om computationele efficiëntie en robuustheid te garanderen, neemt het guidance-netwerk geen ruwe hoog-dimensionale latents als input. In plaats daarvan maakt het gebruik van coördinaat-invariante geometrische statistieken, waaronder de log-norm van de conditionele snelheid, de CFG-richting, de cosinus-gelijkenis tussen de latent en de guidance-richting, en de log-afstanden tot de data-manifold.
- Het netwerk incorporeert ook Fourier-embeddings van de tijdstappen om vloeiende interpolatie naar de kleinere stapgroottes die tijdens inferentie worden gebruikt te faciliteren.
Verliesfuncties:
- Discriminator Loss: Standaard binary cross-entropy met een R1 gradient penalty om een vloeiende ratio estimation te garanderen.
- Generator Loss: Bestaat uit drie termen:
  - Adversarial Loss: Het minimaliseren van het vermogen van de discriminator om gegenereerde samples te onderscheiden.
  - Regularisatie: Een $L_2$ -penalty op het guidance-gewicht om explosie of overcorrectie te voorkomen.
  - Reward Loss: Een negatieve verwachting van een reward-functie (bijv. CLIP score) om expliciet te streven naar beter tekst-alignement.
Trainingsstrategie:
- De training volgt een adversariaal paradigma met behulp van de Two-Time-Scale Update Rule (TTUR).
- Cruciaal is dat de methode onafhankelijke image-conditionering paren gebruikt voor de "echte" en "nep" paden tijdens de training. Dit dwingt de discriminator om te evalueren of de distributie van guided particles overeenkomt met de globale datadistributie, in plaats van specifieke ruispatronen in een enkele traject te identificeren.

Belangrijkste Bijdragen

Marginale Consistentie Formulering: De auteurs stellen voor om guidance schedules te leren op basis van de marginale consistentie conditie, wat de guided distributie stimuleert om de ware datadistributie te matchen op elk tijdstip, in plaats van een striktere zelfconsistentie af te dwingen.
Adversarial Framework voor Guidance: Zij introduceren een GAN-gebaseerde aanpak waarbij een discriminator densiteitsratio's schat om een lichtgewicht generator te trainen die dynamische, state-afhankelijke guidance-schalen voorspelt.
Empirische Superioriteit: De methode laat zien consequent beter te presteren dan constante guidance, heuristische dynamische schedules (zoals Limited Interval Guidance en Clamp-linear) en eerdere geleerde guidance-methoden (MMD-gebaseerd) op T2I benchmarks.

Resultaten
Geëvalueerd op de MS-COCO 2014 dataset (512x512) met MMDiT-XS (740M) en MMDiT-S (1.05B) backbones:

Alignement en Kwaliteit: De voorgestelde "GAN + MC" methode behaalt consequent superieure scores in CLIP (tekst-alignement), Aesthetic, HPSv2 (Human Preference Score) en PickScore vergeleken met constante CFG en heuristische baselines.
FID Trade-off: De methode resulteert in een marginale toename van de FID (Fréchet Inception Distance) vergeleken met sommige baselines. De auteurs schrijven dit toe aan de bekende misalignement tussen Inception-v3 statistieken en menselijke esthetische voorkeuren in hoge-guidance regimes, waarbij zij opmerken dat hun methode prioriteit geeft aan semantische kenmerken en visuele "pop".
Kwalitatieve Verbeteringen: Visuele resultaten tonen een betere naleving van complexe prompts, waarbij genuanceerde details (zoals specifieke interacties tussen objecten) worden gevangen die baseline-methoden vaak vereenvoudigen of weglaten.
Ablaties: Het toevoegen van de huidige ruisige sample ( $x_s$ ) als input aan het guidance-netwerk verbetert de alignement-metrieken maar verhoogt de FID, wat wijst op een trade-off tussen semantische alignement en lage-niveau statistische getrouwheid.

Betekenis en Beperkingen
Het artikel claimt dat het leren van een dynamische, conditionering-afhankelijke schedule via marginale consistentie modellen in staat stelt om de balans tussen beeldrealisme en prompt-naleving beter te navigeren. De aanpak schaalt effectief met modelcapaciteit en biedt een betrouwbaarder guidance-signaal dan handmatig ontworpen schedules.

De auteurs erkennen echter ook enkele beperkingen:

Trainingscomplexiteit: De adversariële trainingsprocedure is complex en vereist zorgvuldige optimalisatiestrategieën (bijv. TTUR).
Backbone Specificiteit: De geleerde scheduler is specifiek voor de lokale geometrische statistieken van het voorgetrainde flow matching model (bijv. MMDiT) en kan niet zero-shot worden overgedragen naar andere architecturen zonder hertraining.
Reward Signaal: De huidige implementatie vertrouwt op CLIP voor de reward-term, en de auteurs merken op dat het verkennen van alternatieve reward-signalen om de beperkingen van CLIP te overwinnen een richting is voor toekomstig werk.

Het probleem met de "one-size-fits-all" riem

De nieuwe strategie: Een spel van "Echt vs. Nep"

Wat ze vonden

Waarom dit ertoe doet

Technische Samenvatting: Adversarial Learning van Classifier-Free Guidance Schedules

Meer zoals dit