AdaGen: Learning Adaptive Policy for Image Synthesis

AdaGen introduceert een leerbaar, adaptief framework dat het iteratieve proces van beeldsynthese optimaliseert door een beleidsnetwerk te trainen via versterkingsleer met een adversariële beloning, waardoor de prestaties van diverse generatieve modellen aanzienlijk worden verbeterd en de inferentiekosten worden verlaagd.

De kern

Stel je voor dat je een kunstenaar bent die een schilderij maakt. In de wereld van kunstmatige intelligentie (AI) zijn er al heel krachtige "kunstenaars" die foto's kunnen maken, zoals MaskGIT, Diffusion-modellen en autoregressieve modellen. Maar deze kunstenaars werken niet zomaar in één keer. Ze bouwen het beeld stap voor stap op, net als een beeldhouwer die eerst een ruwe steen hakt en langzaam de details toevoegt.

Het probleem is echter: wie bepaalt hoe hard je moet hakken op elk moment?

Tot nu toe moesten mensen (experts) dit van tevoren uitdenken. Ze maakten een strakke "tijdschema" of "recept" voor de AI: "Stap 1: maak 50% van het beeld wazig. Stap 2: maak het 30% wazig," enzovoort. Dit is als een chef-kok die zegt: "Voeg precies 5 gram zout toe, ongeacht of de soep al te zout is of niet." Het werkt soms goed, maar het is star en niet slim. Als het beeld al mooi is, wil je misschien niet meer aan het zout toevoegen. Als het beeld nog rommelig is, wil je misschien meer doen.

AdaGen is de oplossing voor dit probleem. Het is een slimme "regisseur" die meekijkt met de kunstenaar en op elk moment beslist wat de beste volgende stap is.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De Regisseur die meekijkt (Het Leerbaar Beleid)

In plaats van een starre lijst met regels, heeft AdaGen een kleine, slimme regisseur (een netwerk) die bij elke stap van het schilderij kijkt: "Hoe ziet het er nu uit? Is het al goed? Moeten we nog veel doen of juist rustig aan doen?"

• De analogie: Stel je voor dat je een auto rijdt naar een bestemming. Een oude navigatie zegt: "Snelheid 50 km/u, dan 60, dan 70." Dat is star. AdaGen is als een ervaren passagier die zegt: "Kijk, daar komt een file, verlaag de snelheid. Daar is de weg vrij, gas erbij!" De regisseur past het gedrag aan per situatie.

2. Het Leerproces: Een spelletje met een jaloerse jury (Reinforcement Learning)

Hoe leert deze regisseur dit? Door te spelen.
De AI probeert een foto te maken. Dan kijkt de regisseur of het goed is. Maar hoe meet je "goed"?

• Het probleem: Als je gewoon zegt "maak het zo dicht mogelijk bij een echte foto", gaat de AI trappen. Het gaat dan foto's maken die er statistisch perfect uitzien, maar saai en saai zijn (alle katten zien er hetzelfde uit). Dit noemen we "overfitting".
• De oplossing van AdaGen: Ze gebruiken een jaloerse jury (een "adversarial reward model").
  • De regisseur probeert een foto te maken die de jury overtuigt dat het echt is.
  • De jury probeert tegelijkertijd slimmer te worden om nepfoto's te herkennen.
  • Het is een vechtspel: hoe beter de regisseur wordt, hoe scherper de jury moet worden. Hierdoor leert de AI niet alleen om "statistisch goed" te zijn, maar om echt mooi en divers te zijn.

3. Geen trillingen, maar een soepele rit (Actie Gladdening)

Soms probeert de regisseur te hard om te leren en begint hij te schokken: "Nu heel hard, nu heel zacht, nu weer hard!" Dat maakt een slecht schilderij.
AdaGen introduceert een demper (een "low-pass filter"). Stel je voor dat je een auto bestuurt die een beetje schokkerig stuurt. Je legt je hand erop om de bewegingen te verzachten. AdaGen doet hetzelfde: het zorgt dat de beslissingen van stap tot stap soepel verlopen, in plaats van wild te springen.

4. De "Finishing Touch" en de Keuzemogelijkheid

Na het trainen heeft AdaGen nog twee trucs in de mouw:

• De "Lookahead" (Vooruitkijken): Soms probeert de AI een paar verschillende paden tegelijk en kiest diegene die er het belovendst uitziet voordat hij de volgende stap zet. Alsof je een schaker een paar zetten vooruit denkt.
• De "Realiteit vs. Variatie" knop: Soms wil je dat alle foto's er perfect en realistisch uitzien (maar dan lijken ze op elkaar). Soms wil je dat ze heel verschillend zijn (maar misschien wat minder perfect). AdaGen heeft een schuifregelaar. Je kunt zelf kiezen: "Ik wil 80% realisme en 20% variatie" of andersom.

Waarom is dit geweldig?

• Snelheid: Omdat de regisseur slim is, hoeft de AI niet altijd even lang te werken. Soms is het beeld al klaar na 4 stappen in plaats van 16. Dat bespaart enorm veel rekenkracht en tijd.
• Kwaliteit: De foto's zijn scherper, natuurlijker en bevatten minder rare foutjes.
• Alles-in-één: Het werkt voor bijna elk type moderne beeldgenerator, of het nu gaat om MaskGIT, Diffusion of autoregressieve modellen.

Kortom: AdaGen vervangt het starre, door mensen bedachte recept door een slimme, lerende regisseur die per foto beslist hoe het beste gemaakt moet worden. Het maakt de AI niet alleen slimmer, maar ook sneller en flexibeler.

Technische samenvatting

Titel: AdaGen: Leren van Adaptieve Policy voor Beeldsynthese

1. Het Probleem

Moderne generatieve modellen voor beeldsynthese (zoals Masked Generative Transformers/MaskGIT, autoregressieve modellen, diffusiemodellen en rectified flow-modellen) zijn zeer succesvol omdat ze complexe synthetisatietaken opsplitsen in meerdere beheersbare stappen. Echter, deze iteratieve processen introduceren een groot aantal stap-specifieke parameters (zoals masker-ratio's, ruisniveaus, temperaturen of gids-schalen) die geconfigureerd moeten worden om het generatieproces te sturen.

De huidige uitdagingen zijn:

• Handmatige Configuratie: Bestaande methoden vertrouwen op handmatig ontworpen, statische schema's (scheduling rules). Dit vereist expertkennis en veel trial-and-error.
• Gebrek aan Flexibiliteit: Deze statische schema's passen zich niet aan aan de unieke kenmerken van individuele samples. Een globaal gedeeld beleid is vaak suboptimaal omdat het geen rekening houdt met de specifieke moeilijkheidsgraad of toestand van een bepaald beeld tijdens het generatieproces.
• Suboptimale Prestaties: Het resultaat is vaak een compromis tussen kwaliteit en diversiteit dat niet optimaal is voor elke specifieke generatietaak.

2. Methodologie

AdaGen introduceert een algemeen, leerbaar en sample-adaptief framework om het iteratieve generatieproces te plannen. In plaats van vaste regels te gebruiken, leert AdaGen een beleidspolicy die dynamisch wordt aangepast per sample.

Kerncomponenten:

• Markov Decision Process (MDP) Formulering:
  Het probleem van het bepalen van de optimale generatiepolicy wordt geformuleerd als een MDP.

  • State ($s_t$): Bestaat uit de huidige generatiestap $t$ en het tussentijdse generatieresultaat (bijv. gedeeltelijk gemaskerde tokens of gedenoised samples).
  • Action ($a_t$): De specifieke generatieparameters (policy) die nodig zijn voor de volgende stap.
  • Agent: Een lichtgewicht policy-netwerk ($\eta_\phi$) dat de actie bepaalt op basis van de huidige state.

• Versterkingslering (Reinforcement Learning - RL):
  Omdat backpropagation door het hele generatieproces computatief onhaalbaar is, wordt de policy getraind met RL (specifiek Proximal Policy Optimization - PPO). De agent probeert de verwachte kwaliteit van het eindbeeld te maximaliseren.

• Adversariële Reward Design (Beloning):
  Een cruciale innovatie is de aanpak van het "overfitting"-probleem bij beloningsfuncties.

  • Probleem: Simpele metrics (zoals FID) of voorgeïmplementeerde reward-modellen leiden vaak tot beelden die de metric "hacken" (bijv. hoge kwaliteit maar lage diversiteit, of vice versa).
  • Oplossing: AdaGen gebruikt een adversariële reward model (vergelijkbaar met een discriminator in GANs). Dit model wordt gelijktijdig getraind met de policy. Terwijl de policy probeert de beloning te maximaliseren, wordt het reward-model verfijnd om beter onderscheid te maken tussen echte en gegenereerde beelden. Dit voorkomt dat de policy vastloopt in een statisch doel en zorgt voor een gebalanceerde mix van fideliteit (kwaliteit) en diversiteit.

• Stabilisatie van Actie-ruimte (Action Smoothing):
  Bij een groot aantal generatiestappen (bijv. $T=32$) kan het trainen instabiel worden door onnodige, hoogfrequente fluctuaties in de voorspelde acties. AdaGen introduceert een Action Smoothing techniek (een Exponential Moving Average filter) om de output van het policy-netwerk te gladstrijken. Dit zorgt voor stabielere exploratie en betere convergentie.

• Inference-time Verfijning:
  Na het trainen kunnen de bijbehorende netwerken (het adversariële reward-model en het value-netwerk) worden hergebruikt tijdens de inferentie:

  • Repeated Sampling: Meerdere samples genereren en de beste selecteren op basis van de reward-score.
  • Lookahead Sampling: Bij stochastische overgangen (zoals bij MaskGIT) kunnen meerdere toekomstige staten gesimuleerd worden en de meest veelbelovende worden gekozen op basis van de voorspelde waarde.

• Controleerbaar Trade-off:
  AdaGen biedt een mechanisme om de balans tussen fideliteit en diversiteit te sturen via een parameter $\lambda$. Dit wordt gedaan door de output van de originele policy te mixen met een "fidelity-georiënteerde" policy.

3. Belangrijkste Bijdragen

1. Universeel Framework: AdaGen is niet beperkt tot één modeltype, maar werkt over vier verschillende generatieve paradigma's: MaskGIT, Diffusie (DiT), Rectified Flow (SiT) en Autoregressieve modellen (VAR).
2. Data-gedreven Optimalisatie: Het vervangt handmatige, statische schema's door een leerbaar, adaptief beleid dat per sample wordt aangepast.
3. Adversariële Reward: Een nieuwe aanpak voor het trainen van RL-agents in beeldsynthese die overfitting op statische metrics voorkomt en een betere balans tussen kwaliteit en diversiteit garandeert.
4. Efficiëntie en Prestaties: Het framework verbetert de kwaliteit aanzienlijk terwijl het de inferentiekosten verlaagt (door minder stappen nodig te hebben voor dezelfde kwaliteit).
5. Inference-time Tools: Het introduceren van verfijningstechnieken en controleerbare trade-offs zonder extra training nodig te hebben.

4. Resultaten

De auteurs hebben AdaGen getest op vijf benchmark datasets (ImageNet 256x256 & 512x512, MS-COCO, CC3M, LAION-5B) en diverse modellen:

• Prestatieverbetering:

  • Op DiT-XL (ImageNet 256x256) bereikt AdaGen een FID van 2.19 in 16 stappen, wat beter is dan de baseline (FID 2.29) in 50 stappen. Dit resulteert in een ~3x lagere inferentiekost bij vergelijkbare kwaliteit.
  • Op VAR (autoregressief) verbetert AdaGen de FID van 1.92 naar 1.59 met verwaarloosbare extra rekentijd.
  • Over het algemeen worden verbeteringen van 17% tot 54% in generatieprestaties of 1.6x tot 3.6x snellere inferentie behaald.

• Efficiëntie: Het policy-netwerk voegt slechts 0.07% tot 0.40% toe aan de totale rekentijd van de generator, wat het zeer lichtgewicht maakt.

• Kwaliteit: Visuele resultaten tonen minder artefacten, betere details en betere tekst-afstemming (bij text-to-image) vergeleken met statische baselines.

5. Significantie

AdaGen markeert een belangrijke verschuiving in het veld van generatieve AI. Het beweegt weg van het handmatig "tunen" van generatie-schema's (een kunst die vaak op intuïtie en trial-and-error berust) naar een geautomatiseerd, data-gedreven optimalisatieproces.

De belangrijkste implicaties zijn:

• Democratisering van Expertise: Het elimineert de noodzaak voor diepgaande expertkennis om generatiemodellen optimaal te configureren.
• Adaptiviteit: Het erkent dat niet alle generatietaken hetzelfde zijn; een complex beeld vereist een andere strategie dan een simpel beeld. AdaGen leert dit onderscheid.
• Efficiëntie: Door de kwaliteit te verhogen met minder stappen, wordt het mogelijk om high-end beeldsynthese toe te passen op apparaten met beperkte rekenkracht.
• Generaliteit: De methode is niet gebonden aan één specifieke architectuur, maar biedt een unificerend principe voor het sturen van iteratieve generatieve modellen.

Kortom, AdaGen biedt een robuust en flexibel raamwerk dat de prestaties van bestaande generatieve modellen aanzienlijk verbetert door het generatiebeleid intelligent en adaptief te laten leren.