GoT-R1: Unleashing Reasoning Capability of MLLM for Visual Generation with Reinforcement Learning

Het paper introduceert GoT-R1, een framework dat middels versterkende leer een dubbelstaps beloningssysteem toepast om de redeneercapaciteiten van multimodale modellen te verbeteren, waardoor ze complexere visuele generaties met nauwkeurige ruimtelijke relaties en attributen kunnen produceren.

De kern

Stel je voor dat je een kunstenaar bent die een schilderij moet maken op basis van een beschrijving. Als je zegt: "Teken een rode bal links van een blauwe auto," is dat makkelijk. Maar wat als je zegt: "Teken een kleine, glimmende rode bal die op een tak van een oude eik zit, precies links van een blauwe auto die in een modderpoel staat, terwijl er een gouden regenboog boven hen schijnt"?

Voor de meeste kunstmatige intelligenties (AI) die nu afbeeldingen maken, is dit een nachtmerrie. Ze zijn geweldig in het maken van mooie plaatjes, maar ze hebben moeite met complexe instructies waarbij veel dingen tegelijk moeten gebeuren op de juiste plek. Ze "denken" niet echt na over de ruimtelijke verhoudingen; ze raden gewoon wat er zou kunnen passen.

GoT-R1 is een nieuwe manier om deze AI's te leren nadenken voordat ze tekenen. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Zomaar-Doen" AI

Stel je een kunstenaar voor die nooit een schets maakt. Hij pikt direct een penseel en begint te schilderen op basis van je woorden. Soms komt het goed, maar als je vraagt om een heel specifiek tafereel, vergeten ze details of staan de objecten op de verkeerde plek. Ze volgen een vast patroon, maar ze kunnen niet zelf bedenken hoe ze het beste kunnen schilderen.

2. De Oplossing: De "Schets-eerst" Methode (GoT)

De auteurs van dit paper hebben een methode bedacht genaamd GoT (Generation Chain-of-Thought). In plaats van direct te tekenen, dwingen ze de AI om eerst een schets te maken.

• De AI zegt: "Oké, de gebruiker wil een vlinder links van een kaars. Ik schrijf eerst op: 'Ik teken een kaars op coördinaat X en Y. Dan teken ik een vlinder op coördinaat A en B, links van de kaars'."
• Vervolgens: Pas als die schets klaar is, begint de AI met het daadwerkelijke schilderen.

Dit helpt al enorm, maar er zit een addertje onder het gras: de AI leert dit door voorbeelden te kopiëren. Ze leren een vast recept uit het hoofd, maar als ze een heel nieuw, moeilijk probleem krijgen, blijven ze vastzitten in dat oude recept. Ze kunnen niet zelf ontdekken of er een slimmer manier is.

3. De Revolutie: Leren door Proberen en Falen (Versterkingsleer)

Hier komt GoT-R1 om de hoek kijken. Ze gebruiken een techniek uit het spelletjeswereldje, genaamd Versterkingsleer (Reinforcement Learning).

Stel je voor dat je een hond traint om een trucje te doen:

1. De hond probeert iets.
2. Als het goed is, krijgt hij een beloning (een snoepje).
3. Als het fout is, krijgt hij geen snoepje (of een zachte tik).
4. De hond leert door te proberen welke bewegingen het meeste snoepje opleveren.

GoT-R1 doet precies dit met de AI-kunstenaar:

• De AI krijgt een opdracht (bijv. "Vlinder links van kaars").
• De AI probeert 16 verschillende manieren om de schets te maken en het plaatje te tekenen.
• Een slimme beoordelaar (een andere AI, een "MLLM") kijkt naar al die 16 pogingen.
  • Is de schets logisch? (Zit de vlinder echt links?)
  • Is het plaatje mooi?
  • Komt het overeen met wat de gebruiker wilde?
• De pogingen die het beste scoren, krijgen een gouden ster (beloning). De slechte pogingen krijgen een nul.
• De AI leert dan: "Ah, als ik de schets zo maak, krijg ik een ster! De volgende keer doe ik het zo."

4. De Slimme Beoordelaar: De "Meester-Kritiek"

Het meest ingenieuze deel is hoe ze de AI beoordelen. Normaal gesproken is het moeilijk voor een computer om te zeggen of iets "links" of "rechts" is.

• De truc: De beoordelaar (de MLLM) kijkt niet alleen naar de tekst van de schets. Ze tekenen de coördinaten (de getallen) om in een visueel plaatje (een leeg canvas met vakjes eromheen).
• Omdat de beoordelaar beter is in het zien van ruimtelijke verhoudingen dan in het lezen van getallen, kan ze veel eerlijker zeggen: "Nee, die vakjes staan niet links van elkaar, dat is fout."

Waarom is dit belangrijk?

Voorheen moesten AI's zich houden aan stijve regels die mensen voor hen hadden bedacht. Met GoT-R1 leren ze zelf de beste strategieën te vinden.

• Resultaat: Ze kunnen nu veel complexere plaatjes maken. Denk aan: "Drie blauwe vogels die vliegen in een driehoek boven een rode auto, terwijl er een zonsondergang is."
• Ze maken minder fouten over waar dingen staan.
• Ze houden zich strikter aan wat je vraagt.

Kort samengevat:
GoT-R1 is als het geven van een slimme coach aan een kunstenaar. In plaats van alleen maar te zeggen "Teken dit", laat de coach de kunstenaar 16 keer proberen, bekijkt elke poging heel kritisch, en zegt: "Deze manier was goed, die manier was raar." Zo leert de kunstenaar vanzelf de beste manier om complexe, ingewikkelde scènes te creëren. Het is een grote stap voorwaarts om AI te laten "nadenken" voordat het "doen".

Technische samenvatting

Probleemstelling

Huidige modellen voor visuele generatie (tekst-naar-beeld) hebben grote vooruitgang geboekt in het creëren van realistische afbeeldingen. Echter, ze kampen met significante beperkingen bij het hanteren van complexe prompts die meerdere objecten met precieze ruimtelijke relaties en attributen vereisen (bijv. "een vlinder links van een kaars").

• Oorzaak: Bestaande modellen mappingen tekst-embeddings direct naar visuele kenmerken zonder expliciete redenering over de semantische structuur of ruimtelijke lay-out.
• Beperking van eerdere oplossingen: Het Generation Chain-of-Thought (GoT) framework introduceerde een tussenstap voor semantisch-ruimtelijke redenering, maar was beperkt tot handmatig ontworpen templates via supervised fine-tuning (SFT). Dit verhinderde dat modellen zelfstandig effectievere redeneerstrategieën ontdekten en leidde soms tot onnauwkeurige redeneringsketens die niet trouw waren aan de prompt.

Methodologie: GoT-R1 Framework

GoT-R1 lost deze problemen op door Reinforcement Learning (RL) toe te passen op autoregressieve visuele generatiemodellen, specifiek gebaseerd op het GoT-paradigma. Het doel is om modellen in staat te stellen zelfstandig geavanceerde redeneerstrategieën te ontdekken.

1. Architectuur en Trainingstrategie

• Basismodel: Het framework gebruikt een geünificeerd Multimodaal Groot Taalmodel (MLLM) dat zowel tekst als afbeeldingen als discrete tokens behandelt (bijv. Janus-Pro). Dit stelt het model in staat om een tekstuele redeneringsketen (GoT) te genereren, gevolgd door de afbeeldingstokens, in één end-to-end proces.
• Tweestaps Training:
  1. Supervised Fine-Tuning (SFT): Het model wordt eerst getraind op bestaande GoT-datasets om de basisvaardigheid te ontwikkelen om gestructureerde redeneringsketens te genereren.
  2. Reinforcement Learning (RL): Vervolgens wordt het model geoptimaliseerd met RL om vrijere en effectievere redeneringsstrategieën te ontdekken die niet beperkt zijn tot vooraf gedefinieerde templates.

2. Reinforcement Learning Algorithm: GRPO
Het paper maakt gebruik van Group Relative Policy Optimization (GRPO). In plaats van een apart critic-model te gebruiken, samplet GRPO een groep van $N$ mogelijke outputsequenties (redenering + afbeelding) voor een gegeven prompt. De beloningen binnen deze groep worden genormaliseerd om de "voordeel" (advantage) te berekenen, wat de policy-update stuurt.

3. Het Kerninnovatie: Dual-Stage Multi-Dimensionale Beloningsfunctie
Een groot deel van de uitdaging ligt in het ontwerpen van een geschikte beloningsfunctie voor visuele generatie. GoT-R1 introduceert een uniek MLLM-gebaseerd beloningssysteem dat zowel het redeneerproces als het eindresultaat evalueert via vier dimensies:

• $R_{PI}$ (Prompt-Image Alignment): Evalueert of de gegenereerde afbeelding semantisch en compositieel overeenkomt met de input prompt.
• $R_{PR}$ (Prompt-Reasoning Alignment): Evalueert de kwaliteit van de gegenereerde GoT-keten zelf. Deze wordt opgesplitst in:
  • Semantische beloning ($R_{sem}$): Controleert op volledigheid, trouw aan de prompt en logische consistentie.
  • Ruimtelijke beloning ($R_{spa}$): Controleert of de ruimtelijke relaties in de tekst (bijv. "links van") correct zijn. Innovatie: Omdat MLLMs slecht zijn in het interpreteren van coördinaten als tekst, worden de coördinaten uit de GoT omgezet in visuele bounding boxes op een canvas. Het MLLM evalueert deze visuele weergave, wat de ruimtelijke beoordeling aanzienlijk verbetert.
• $R_{RI}$ (Reasoning-Image Alignment): Evalueert of de gegenereerde afbeelding trouw is aan de geplande redenering (bijv. door de IoU - Intersection over Union - te berekenen tussen de geplande en de daadwerkelijke objectlocaties in de afbeelding).
• $R_{HPS}$: Een kwaliteitsscore gebaseerd op HPS v2.1 voor esthetische kwaliteit.

De totale beloning is het product van deze componenten, wat zorgt voor een strenge supervisie over het hele generatieproces.

Belangrijkste Bijdragen

1. GoT-R1 Framework: Een nieuw framework dat RL toepast op autoregressieve visuele generatie om semantisch-ruimtelijke redenering te verbeteren, waardoor modellen zelfstandig effectievere strategieën kunnen ontdekken buiten vooraf gedefinieerde templates.
2. Dual-Stage Multi-Dimensionale Beloning: Een uitgebreid beloningssysteem dat het redeneerproces en het eindbeeld simultaan evalueert. Dit lost het probleem op van ongesuperviseerde redeneringsketens die leiden tot compositie-fouten.
3. Visuele Ruimtelijke Evaluatie: Een innovatieve methode waarbij ruimtelijke coördinaten worden omgezet in visuele bounding boxes voor MLLM-evaluatie, wat de nauwkeurigheid van ruimtelijke beloningen drastisch verhoogt.
4. State-of-the-Art Resultaten: Het aantonen dat het overdragen van redeneercapaciteiten van taalmodellen naar visuele generatie via RL leidt tot aanzienlijke verbeteringen in complexe compositietaken.

Resultaten

De prestaties van GoT-R1 (zowel de 1B als 7B varianten) zijn geëvalueerd op standaard benchmarks:

• T2I-CompBench: GoT-R1-7B behaalde state-of-the-art resultaten, met name in de categorie "Complex compositions" (0.3944), wat een verbetering van tot 15% betekent ten opzichte van de baseline. Het presteerde beter dan diffusion-modellen en eerdere autoregressieve modellen.
• GenEval: Op dit benchmark voor compositie-vaardigheden behaalde GoT-R1-7B een totaalscore van 0.75. Er waren significante verbeteringen in "Two-object generation" (van 0.69 naar 0.94) en "Attribute binding" (van 0.43 naar 0.68).
• Kwalitatieve Evaluatie: Menselijke evaluatie op 300 prompts toonde een sterke voorkeur (77%) voor GoT-R1-7B ten opzichte van basismodellen, met name vanwege betere prompt-uitlijning en esthetische kwaliteit.
• Zelfontdekte Redenering: Vergelijkingen met GPT-4o toonden aan dat de zelfontdekte redeneringsketens van GoT-R1 van hogere kwaliteit zijn dan de vooraf gedefinieerde templates van eerdere GoT-modellen.

Betekenis

GoT-R1 markeert een belangrijke doorbraak in het veld van tekst-naar-beeld generatie. Het bewijst dat het combineren van autoregressieve architecturen met Reinforcement Learning en geavanceerde, multimodale beloningsfuncties de beperkingen van directe tekst-naar-beeld mappingen kan doorbreken. Door expliciete redenering te integreren en te optimaliseren via RL, kan het model complexe ruimtelijke relaties en attributen veel nauwkeuriger hanteren. Dit opent nieuwe wegen voor het creëren van visuele content die contextbewuster en compositieel nauwkeuriger is, en zet een nieuwe standaard voor autoregressieve beeldgeneratie.