💻 computer science

MAR-GRPO: Stabilized GRPO for AR-diffusion Hybrid Image Generation

Dit artikel introduceert MAR-GRPO, een gestabiliseerd versterkingsleerframework voor hybride AR-diffusiemodellen dat gebruikmaakt van multi-trajectverwachting en onzekerheidsgebaseerde tokenselectie om gradiëntruis te verminderen en de visuele kwaliteit en trainingsstabiliteit te verbeteren.

Oorspronkelijke auteurs: Xiaoxiao Ma, Jiachen Lei, Tianfei Ren, Jie Huang, Siming Fu, Aiming Hao, Jiahong Wu, Xiangxiang Chu, Feng Zhao

Gepubliceerd 2026-04-09

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Xiaoxiao Ma, Jiachen Lei, Tianfei Ren, Jie Huang, Siming Fu, Aiming Hao, Jiahong Wu, Xiangxiang Chu, Feng Zhao

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een kunstenaar bent die een schilderij maakt, maar je werkt met een heel specifiek, tweestaps-systeem.

De Situatie: De Schilder en de Veredelaar
In de wereld van AI-beeldgeneratie (zoals in dit paper beschreven) werkt het model als een team van twee:

De Schilder (AR-model): Deze maakt de ruwe schets. Hij bepaalt waar de objecten zijn, hoeveel er zijn en hoe ze er grofweg uitzien. Hij werkt snel en logisch.
De Veredelaar (Diffusion-head): Deze neemt de ruwe schets en maakt er een prachtig, gedetailleerd schilderij van. Hij voegt textuur toe, maakt de kleuren levendig en zorgt voor de fijne details.

Het probleem is dat deze twee samenwerken, maar ze hebben een heel andere "werkstijl". De Veredelaar is soms een beetje wispelturig (stochastisch). Als je hem vraagt om een schets te verfijnen, kan hij elke keer iets anders doen, zelfs als de schets precies hetzelfde is.

Het Oude Probleem: De Dansende Veredelaar
Voorheen probeerden ze het team te trainen met een methode genaamd GRPO (een soort beloningssysteem). Ze gaven het team een opdracht (bijv. "een kop koffie op een houten bureau") en keken of het resultaat mooi was.
Maar omdat de Veredelaar zo wispelturig was, kreeg de Schilder verwarrende feedback.

Soms zag de Veredelaar de koffie eruit als een perfecte kop.
De volgende keer, op dezelfde schets, zag hij eruit als een modderpoel.
De AI dacht dan: "Wacht, wat deed ik verkeerd? Was het de schets of de verf?"

Dit leidde tot instabiliteit. Het model werd gek, de details werden ruisig, en soms "crashte" het hele proces (het verloor de variatie en maakte steeds hetzelfde saaie plaatje). Het was alsof je een danspartner hebt die elke seconde van het ritme verandert; je kunt niet goed dansen.

De Oplossing: MAR-GRPO (De Stabilisator)
De auteurs van dit paper hebben een slimme oplossing bedacht, MAR-GRPO, die het team weer stabiel maakt. Ze gebruiken drie creatieve trucs:

1. De "Meerdere Ogen" Truc (Multi-Trajectory Expectation)
In plaats van dat de Veredelaar maar één keer probeert om de schets te verfijnen, laten ze hem het 5 of 10 keer proberen met verschillende "seeds" (alsof je 10 verschillende schilders met dezelfde schets laat werken).

De Analogie: Stel je voor dat je een gokker bent die wil weten of een munt eerlijk is. Als je maar één keer gooit, weet je het niet. Gooi je 100 keer, dan zie je het echte patroon.
Door het gemiddelde te nemen van al die 10 pogingen, zien ze de echte bedoeling van de Veredelaar, zonder de ruis van het toeval. De Schilder krijgt nu een duidelijk signaal: "Dit is wat we echt wilden, niet dat toevallige gedoe."

2. De "Slimme Selectie" (Uncertainty Masking)
Niet elk stukje van het schilderij heeft evenveel hulp nodig. De randen van een muur zijn vaak makkelijk; de ogen van een gezicht zijn lastig.

Het systeem kijkt naar de 10 pogingen van de Veredelaar. Als hij het bij de ogen 10 keer heel anders doet, weet hij: "Hier is het onzeker!"
Dan past hij de "Meerdere Ogen" truc alleen toe op die onzekere plekken. Op de makkelijke plekken (waar hij het altijd hetzelfde doet) doet hij gewoon één keer.
Het voordeel: Dit bespaart tijd en energie, en zorgt dat de AI zich focust op waar het echt moeilijk is, zonder alles te "verwazigen" (over-smoothing).

3. De "Consistentie Check" (Consistency-Aware Selection)
Soms maakt de Schilder tijdens het tekenen een stap die later blijkt niet te passen bij het eindresultaat.

Het systeem kijkt: "Heeft deze stap het plaatje beter gemaakt, of juist verpest?"
Als een stap het resultaat niet verbetert, wordt die stap genegeerd in de beloning. Je straft de AI niet voor een fout die later toch wordt gecorrigeerd. Dit houdt de training scherp en efficiënt.

Het Resultaat
Met deze nieuwe methode (MAR-GRPO) gebeurt er iets magisch:

Stabielere training: Het model "crasht" niet meer halverwege.
Beter detail: De koffie ziet eruit als koffie, niet als een vlek.
Meer variatie: Het maakt niet steeds hetzelfde saaie plaatje, maar blijft creatief.

Kortom:
De auteurs hebben een manier gevonden om de "wispelturige" AI-veredelaar te temmen. Door hem meerdere keren te laten oefenen en alleen op de lastige plekken te kijken, krijgen ze een team dat samenwerkt als een goed geoliede machine. Het resultaat? Mooiere, betrouwbaardere AI-schilderijen, zonder dat het systeem gek wordt.

Probleemstelling

De auteurs richten zich op de uitdagingen die zich voordoen bij het toepassen van Versterkend Leren (RL), en specifiek Group Relative Policy Optimization (GRPO), op Masked Autoregressive (MAR) modellen voor hybride beeldgeneratie. MAR-modellen combineren autoregressieve (AR) transformers met een lichtgewicht diffusihoofd om continue latente representaties te genereren, wat de quantisatieproblemen van discrete tokenizers oplost.

Hoewel GRPO succesvol is toegepast op pure AR- en pure diffusiomodellen, ondervindt de toepassing op deze hybride architectuur fundamentele optimalisatieproblemen:

Instabiliteit door het diffusihoofd: Het diffusihoofd introduceert aanzienlijke gradiëntvariatie (ruis) vanwege het stochastische proces van het ontdoemen van ruis. Dit leidt tot een onstabiele trainingsdynamiek en vroege saturatie van de prestaties.
Niet-stationaire beloningssignalen: Door de gekoppelde optimalisatie van de AR-component en het diffusihoofd verandert de mapping van latente tokens naar de uiteindelijke afbeelding voortdurend. Dit maakt het moeilijk voor het AR-model om de juiste "credit assignment" (toewijzing van succes/falen) te maken.
Diversiteitsverlies en structuurinstabiliteit: Naadloze toepassing van GRPO resulteert vaak in instabiele structuren, ruis in details en een collapse van de diversiteit in gegenereerde beelden.

Methodologie: MAR-GRPO

Om deze problemen op te lossen, stellen de auteurs MAR-GRPO voor, een gestabiliseerd RL-framework met drie kerncomponenten:

1. Fixatie van het Diffusihoofd (Stabilisatie van de Doelwit)

De auteurs analyseren dat het trainen van het diffusihoofd tijdens de RL-fase de grootste bron van instabiliteit is. Ze stellen een strategie voor waarbij het diffusihoofd vrijgeven (fixed) wordt tijdens de GRPO-optimalisatie, terwijl alleen de AR-transformator wordt bijgewerkt.

Effect: Dit verwijdert de niet-stationariteit van de mapping van latente tokens naar beelden, waardoor de AR-model een consistent optimalisatiedoel heeft. Dit elimineert gradiëntverstoringen veroorzaakt door updates aan het diffusihoofd.

2. Multi-Traject Verwachting (MTE) voor Variatiereductie

Zelfs met een vast diffusihoofd blijft de inherente stochastiek van het ontdoemen leiden tot ruis in de gradiëntschatting.

Methode: In plaats van te vertrouwen op één enkele diffusi-traject (één seed), schat de methode de optimalisatierichting door te middelen over meerdere diffusi-trajecten (meerdere seeds) die zijn gegenereerd vanuit dezelfde AR-latente tokens.
Selectieve Toepassing: Het toepassen van multi-trajecten op alle tokens is inefficiënt en kan leiden tot over-gladdening (over-smoothing). Daarom schatten ze een onzekerheidskaart per token (gebaseerd op de variantie tussen de verschillende trajecten). Multi-traject-verwachting wordt alleen toegepast op de top- $k\%$ meest onzekere tokens (waar de stochastiek het grootst is). De resterende, stabiele tokens gebruiken de standaard single-traject schatting.

3. Consistentie-bewuste Token Selectie

Niet alle gegenereerde tokens tijdens de rollout dragen positief bij aan het eindresultaat.

Methode: De auteurs introduceren een strategie om tokens te filteren die niet consistent zijn met de uiteindelijke gegenereerde inhoud. Ze meten de cosinus-ähnheid tussen de voorspellingen op verschillende AR-stappen en de uiteindelijke latent.
Filtering: Alleen tokens die een consistente verbetering tonen (waarbij de similariteit toeneemt) worden meegenomen in de optimalisatie. Dit reduceert ruis in de beloningssignalen en verbetert de trainingsefficiëntie.

Belangrijkste Bijdragen

Eerste GRPO-framework voor MAR: Dit is het eerste werk dat GRPO succesvol toepast op masked autoregressive hybride modellen.
Identificatie van de Bottleneck: De studie identificeert het diffusihoofd als de primaire bron van optimalisatie-instabiliteit in hybride AR-diffusie-architecturen.
Multi-Traject Optimalisatie: Een nieuwe methode die de variatie van diffusi-generatie reduceert door verwachtingen over meerdere trajecten te nemen, specifiek gericht op onzekere tokens.
Consistentie-Filtering: Een strategie om irrelevante of schadelijke tokens uit de optimalisatie te weren, wat leidt tot scherpere details en betere structurele consistentie.

Resultaten

De methode is uitgebreid getest op benchmarks zoals HPS (Human Preference Score), ImageReward, PickScore, en T2I-CompBench (voor ruimtelijke en compositie-vaardigheden).

Trainingsstabiliteit: In tegenstelling tot de baseline GRPO (die vaak instabiel is en prestaties laat ineenstorten na ~250 iteraties), behoudt MAR-GRPO een stabiele trainingscurve met een hogere piekprestatie.
Kwaliteitsverbetering: Het model toont significante verbeteringen in visuele kwaliteit, detailgetrouwheid en ruimtelijke structuur (bijv. objectposities en aantallen).
Vergelijking: MAR-GRPO presteert consequent beter dan:
- De originele pre-RL basismodellen (NOVA, Harmon).
- Standaard GRPO-implementaties (die vaak leiden tot "reward hacking" en vervormde beelden).
- Varianten met alleen een vast decoder of alleen multi-trajecten.
Efficiëntie: Vanwege de lichtgewicht aard van het diffusihoofd introduceert de multi-traject methode een verwaarloosbare extra rekentijd.

Significantie

Dit werk biedt een cruciale oplossing voor de integratie van Versterkend Leren in de nieuwste generatie hybride beeldgeneratiemodellen. Het lost het fundamentele probleem op van hoe om te gaan met de stochastische aard van diffusiodecoders binnen een RL-context.

De bevindingen tonen aan dat door de "ruis" van het diffusihoofd te isoleren en te corrigeren via multi-traject verwachtingen en selectieve token-optimalisatie, het mogelijk is om zowel de stabiliteit als de kwaliteit van gegenereerde afbeeldingen te maximaliseren. Dit opent de deur voor verdere onderzoek in AR-diffusie hybride systemen en maakt deze modellen meer geschikt voor complexe, voorkeur-gevoelige generatietaken.