Technische Samenvatting: IRIS (Intrinsic Reward Image Synthesis)

Probleemstelling

Hoewel Reinforcement Learning from Human Feedback (RLHF) het redeneervermogen van Large Language Models (LLMs) succesvol heeft verbeterd voor domeinen zoals wiskunde en code, stuit de toepassing ervan op autoregressieve Text-to-Image (T2I) generatie op aanzienlijke hindernissen. De primaire beperking is de schaarste aan schaalbare, hoogwaardige menselijke voorkeursdata. Bestaande alternatieven vertrouwen op externe beloningsmodellen, zoals die getraind zijn op menselijke esthetische voorkeuren (bijv. HPSv2) of gespecialiseerde geautomatiseerde systemen zoals objectdetectoren (bijv. GroundingDINO) en Visual Question Answering (VQA) modellen. Deze externe benaderingen lijden echter aan beperkte schaalbaarheid, subjectiviteit en een gebrek aan generaliseerbaarheid; modellen die getraind zijn op specifieke externe beloningen falen vaak bij het overdragen van capaciteiten naar andere domeinen (bijv. het verbeteren van esthetiek terwijl het ruimtelijk redeneren verslechtert). Bov�gt, recente bevindingen in wiskundig redeneren suggereren dat het maximaliseren van intrinsieke signalen zoals zelfzekerheid de prestaties verbetert, maar het blijft onduidelijk of dit ook geldt voor de inherent subjectieve taak van beeldgeneratie.

Methodologie: IRIS

Het artikel stelt IRIS (Intrinsic Reward Image Synthesis) voor, een framework dat autoregressieve T2I-modellen verbetert met behulp van reinforcement learning die uitsluitend wordt gedreven door een intrinsieke beloning, zonder afhankelijk te zijn van menselijk gelabelde data of externe verifieerders.

Kerninzicht: Negatieve Zelfzekerheid

De auteurs observeren een kritiek verschil tussen redeneertaken en generatieve taken met betrekking tot modelvertrouwen:

• Redeneren (Wiskunde/Code): Hogere zelfzekerheid correleert met betere prestaties.
• Generatie (T2I): Hogere zelfzekerheid leidt tot eenvoudige, uniforme en minder gedetailleerde afbeeldingen die slecht aansluiten bij menselijke voorkeuren. Omgekeerd hebben modellen met een lagere zelfzekerheid de neiging om levendige, detailrijke afbeeldingen te genereren.

Op basis hiervan gebruikt IRIS Negatieve Zelfzekerheid (NSC) als het beloningssignaal. In plaats van de zelfzekerheid (Self-Certainty) van het model te maximaliseren, minimaliseert IRIS deze juist.

Technische Implementatie

1. Definitie van Beloning: De beloning op tokenpositie $t$ wordt gedef Definieerd als het negatief van de Zelfzekerheid (SC), berekend via de forward Kullback-Leibler (KL) divergentie tussen de outputdistributie van het model $\pi_\theta$ en een uniforme distributie $U$:
   $$NSC(o_t|q, \vec{o}_{<t}) := -KL(U \parallel \pi_\theta(o_t|q, \vec{o}_{<t}))$$
   Het gebruik van forward KL stimuleert "mode-covering" gedrag, waarbij distributies worden beloond die meerdere plausibele uitkomsten dekken, in plaats van het "mode-seeking" gedrag dat door entropie-gebaseerde metrieken wordt bevoordeeld.

2. Optimalisatie: De auteurs maken gebruik van Group-wise Relative Policy Optimization (GRPO). Voor elke prompt genereert het model een groep outputs (tekstbeschrijvingen gevolgd door afbeeldingen). Het voordeel (advantage) wordt geschat door de cumulatieve NSC van elke traject te vergelijken met het gemiddelde van de groep.

   • Duale Optimalisatie: In tegen tegenstelling tot wiskundige redeneertaken waarbij alleen de tekstuele zelfzekerheid wordt gemaximaliseerd, minimaliseert IRIS de zelfzekerheid voor zowel teksttokens (om beschrijvende exploratie te stimuleren) als beeldtokens (om visuele diversiteit te stimuleren).
   • Semantische CoT: Het framework incorporeert semantische Chain-of-Thought (CoT) redenering, waarbij het model eerst een gedetailleerde tekstbeschrijving genereert voordat het de afbeelding synthetiseert. De auteurs stellen vast dat het minimaliseren van de tekstuele zelfzekerheid cruciaal is voor deze exploratieve fase.

Belangrijkste Bijdragen

1. Eerste Intrinsieke RL voor T2I: IRIS is het eerste framework dat autoregressieve T2I-modellen verbetert met uitsluitend een intrinsiek beloningssignaal, waardoor de noodzaak voor externe beloningsmodellen of menselijke voorkeursdata vervalt.
2. Taakafhankelijke Zelfzekerheid: Het paper stelt vast dat zelfzekerheid taakafhankelijk gedrag vertoont: het maximaliseren ervan is gunstig voor objectief redeneren, terwijl het minimaliseren ervan gunstig is voor subjectieve generatietaken zoals T2I.
3. Generalisatie: Door gebruik te maken van de intrinsieke voorkennis van het model in plaats van smalle externe signalen, bereikt IRIS een betere generalisatie over diverse domeinen vergeleken met externe beloningsbaselines.
4. Emergent Redeneren: De methode stimuleert de opkomst van genuanceerde, beschrijvende CoT-redenering, wat direct correleert met hogere beeldkwaliteit en diversiteit.

Experimentele Resultaten

De methode is geëvalueerd op het Janus-Pro model (1B en 7B parameters) met behulp van drie diverse benchmarks: T2I-CompBench (compositionele begrip), WISE (wereldkennis en semantiek) en TIIF-Bench (instructieopvolging).

• Prestaties vs. Basismodellen: Het toepassen van IRIS verbeterde het basismodel Janus-Pro 1B aanzienlijk, met winsten van 13,3% op T2I-CompBench, 28,8% op WISE, en 10,7%/4,2% op TIIF-short/long.
• Vergelijking met Externe Beloningen:
  • IRIS presteerde beter dan modellen die getraind zijn op individuele externe beloningen (HPSv2, GDINO, GIT, ORM) over de meeste metrieken.
  • IRIS behaalde een prestatie die vergelijkbaar is met modellen getraind op een ensemble van vier externe beloningen (T2I-R1), ondanks het feit dat er tijdens de training geen externe signalen werden gebruikt.
  • Opvallend genoeg vermeed IRIS de "reward hacking" of distributieverschuivingen die worden gezien bij externe beloningsgetrainde modellen (bijv. HPSv2 verbeterde esthetiek maar verslechterde realisme; IRIS verbeterde beide).
• Ablatie-studies:
  • RL vs. Gradient Descent: Het direct maximaliseren van NSC via gradient descent leidde tot betekenisloze outputs, wat bevestigt dat het GRPO-algoritme noodzakelijk is om semantische coherentie te behouden terwijl onzekerheid wordt verkend.
  • CoT: Trainen met semantische CoTs presteerde consequent beter dan trainen zonder hen.
  • Zekerheidsrichting: Het minimaliseren van de beeldzelfzekerheid was essentieel; het maximaliseren ervan veroorzaakte een snelle prestatiedaling. Het minimaliseren van de tekstuele zelfzekerheid was eveneens superieur aan het maximaliseren ervan, omdat dit het model aanmoedigde om diverse semantische beschrijvingen te verkennen.

Betekenis en Claims

Het paper claimt dat IRIS een schaalbaar en generaliseerbaar alternatief biedt voor traditionele RLHF voor T2I-generatie. Door de paradigmaverschuiving van het maximaliseren van vertrouwen naar het minimaliseren ervan (via NSC), ontsluit de methode de latente redeneercapaciteiten van het model zonder de knelpunten van dataverzameling of domeinspecifieke beloningsengineering. De auteurs concluderen dat intrinsieke beloningen een robuustere exploratie van de oplossingsruimte mogelijk maken, waardoor modellen kunnen generaliseren naar "ongeziene regimes" waar externe beloningsmodellen falen. Dit werk benadrukt de verschillende rollen van zelfzekerheid in verschillende AI-taken en biedt een richtlijn voor toekomstige ontwikkeling van multimodale generatieve modellen.