Technische Samenvatting: Latente Actiebesturing voor Redeneringsgeleide Geïntegreerde Afbeeldingsgeneratie

Probleemstelling

Geïntegreerde multimodale modellen hebben met succes visueel begrip en afbeeldingsgeneratie binnen gedeelde backbones geïntegreerd. Er blijft echter een aanhoudende "begrip-generatiekloof" bestaan: modellen kunnen tijdens de begrijpfase correct objecten, relaties of beperkingen afleiden, maar falen erin om deze getrouw te realiseren in de gegenereerde afbeelding. Bestaande benaderingen om deze kloof te overbruggen externaliseren redenering typisch als natuurlijke taalplannen, tekstuele checklists of iteratieve bewerkingsinstructies. Deze methoden behandelen redenering als artefacten buiten de dynamiek van de verborgen toestanden van de generator, waardoor herinterpretatie als conditioneringssignalen vereist is. Alternatief verplaatsen methoden voor latente redenering deliberatie naar continue ruimtes, maar falen ze vaak om deze toestanden te formuleren als rol-specifieke, uitvoerbare acties die de synthese direct sturen. Bijgevolg ontbreekt er een controle-interface om afgeleide beperkingen om te zetten in conditioneringssignalen voor het generatiemoment voordat de visuele synthese begint.

Methodologie: Latente Actiebesturing (LAC)

De auteurs stellen Latente Actiebesturing (LAC) voor, een raamwerk dat redenering transformeert tot een interne controle-interface voor geïntegreerde afbeeldingsgeneratie. In plaats van redenering te decoderen naar tekst, geeft LAC continue latente acties af die terug worden geschreven in de verborgen stroom van het model om het generatieproces te conditioneren.

1. Rol-gestructureerde Latente Actiebesturing

LAC werkt door een latente actietraject $Z$ te rollen dat is georganiseerd in vier distincte, geordende rollen:

• Plan: Globale intentieplanning.
• Concept: Vorming van een interne visuele hypothese (één stap, geen tussenliggende afbeelding uitgegeven).
• Diagnose: Foutdiagnose.
• Verfijnen: Gerichte verfijning.

Deze acties zijn continue vectoren ($z \in \mathbb{R}^d$) die worden geïnjecteerd in de verborgen stroom van een geïntegreerde generator (geïmplementeerd op BAGEL-7B-MoT). De trajectlengte is variabel, bepaald door een geleerde halteringskop, en het proces eindigt met een sentinel-token. Het model conditioneert de daaropvolgende flow-gebaseerde afbeeldingsgeneratie op de verborgen toestanden die voortvloeien uit deze latente rollout.

2. Prior-geleide Variationale Latente Actie-uitlijning

Omdat grondwaarheid-actietrajecten niet beschikbaar zijn, hanteert LAC een prior-geleide variationale latente actie-uitlijning strategie tijdens het trainen:

• Lerarsignalen: Gestructureerde lerarenrecords (voor plan, diagnose, verfijnen) worden weergegeven als compacte, documentachtige afbeeldingen en gecodeerd als dichte doel-embeddings. Voor de "concept"-rol worden doelen afgeleid van visuele kenmerken van imperfecte kandidaat-afbeeldingen.
• Variationale Doelstelling: Het model leert een autoregressief beleid $q_\theta$ om acties te bemonsteren. Een Gaussische prior met vaste variantie wordt geconstrueerd uit de lerarensignalen ($E$). Het beleid wordt getraind om zijn bemonsterde rollout uit te lijnen met deze priors met behulp van een variational loss ($L_{var}$), zodat de acties uitvoerbaar zijn zonder lerarensignalen direct als invoer te injecteren tijdens inferentie.
• Supervised Fine-Tuning (SFT): De totale doelstelling combineert variationale uitlijning, een lexicaal anker-verlies (om latente toestanden te verankeren in semantiek), een supervised halteringsverlies en een image flow-matching loss.

3. Uitkomst-uitgelijnde Latent-Flow GRPO (LF-GRPO)

Om de latente acties te optimaliseren op basis van de uiteindelijke afbeeldingskwaliteit in plaats van louter lokale leraren-priors, introduceren de auteurs Latent-Flow GRPO (LF-GRPO).

• Mechanisme: Voor een gegeven prompt wordt een groep rollouts bemonsterd. Elke rollout bestaat uit een latente actietraject en een flow-generatietraject.
• Beloning: Een terminale afbeeldingsbeloning wordt berekend voor de gegenereerde eindafbeelding.
• Krediettoewijzing: Met behulp van Group-Relative Advantage (GRPO) wordt de terminale beloning toegewezen als een gedeeld voordeel-signaal aan zowel de continue latente acties als de flow-generatie-overgangen. Dit stelt beeldniveau-feedback in staat om het verborgen actietraject te vormen, waardoor de plannings-, concept-, diagnose- en verfijningsstappen worden uitgelijnd met het uiteindelijke visuele resultaat.

Belangrijkste Bijdragen

1. Formulering van Redenering als Besturing: Het artikel formuleert redenering in geïntegreerde afbeeldingsgeneratie als Latente Actiebesturing, waarbij rol-specifieke continue acties afgeleide beperkingen omzetten in conditioneringssignalen voor het generatiemoment, waardoor deliberatie binnen de verborgen continue ruimte blijft.
2. Prior-geleide Uitlijning & LAC-15K: De auteurs introduceren een trainingsmethodologie met prior-geleide variationale uitlijning en construeren LAC-15K, een rol-gestructureerde dataset die gerenderde semantische priors, visuele concept-doelen en supervised halteringsignalen biedt.
3. LF-GRPO Doelstelling: Een nieuwe doelstelling op uitkomstniveau die verborgen latente acties en flow-generatie-overgangen gezamenlijk optimaliseert onder gedeelde terminale afbeeldingsbeloningen, waardoor de generator leert hoe het latente redeneren kan gebruiken om synthese te verbeteren.

Experimentele Resultaten

De methode werd geëvalueerd op GenEval (compositional generation) en WISE (world-knowledge grounded generation), met BAGEL-7B-MoT als basis.

• GenEval: LAC verbeterde de totale score van 0,77 (BAGEL-baseline) naar 0,82. De winsten waren het meest significant in beperking-gevoelige categorieën: Positie (+0,11), Kleuren (+0,13) en Kleurattribuut (+0,05). Met door LLM herschreven prompts bereikte de score 0,90.
• WISE: LAC verbeterde de totale gewogen score van 0,49 naar 0,54, met opmerkelijke winsten in Biologie (+0,18) en Chemie (+0,07).
• Ablatiestudies:
  • Trainingspad: Het verwijderen van gerenderde semantische priors of visuele concept-gronding (Latent-SFTNR) resulteerde in geen verbetering ten opzichte van de baseline, wat bevestigt dat de specifieke aard van de priors cruciaal is.
  • Latente Interventie: Het vervangen van geleerde latente acties door nulvectoren of willekeurige vectoren veroorzaakte significante prestatiedalingen (bijv. -7,92 op GenEval), wat bewijst dat de generator deze acties actief consumeert. Het schudden van de volgorde van rollen degradeerde ook de prestaties, wat de functionele noodzaak van de plan-concept-diagnose-verfijnen-structuur valideert.
  • Rolverwijdering: Het verwijderen van de "concept"-rol veroorzaakte de grootste daling, wat het belang van interne visuele hypothesen voor attribuutbinding en objecttracking benadrukt.

Betekenis en Beweringen

Het artikel beweert dat geïntegreerde afbeeldingsgeneratie aanzienlijk profiteert wanneer begrip niet alleen wordt gecodeerd, maar handelbaar wordt gemaakt tijdens het generatieproces. Door afgeleide beperkingen om te zetten in een geordend, verborgen actietraject, biedt LAC een directe controlepad van redenering naar synthese. De resultaten suggereren dat de "begrip-generatiekloof" kan worden verkleind door redenering te behandelen als een interne, uitvoerbare controle-interface in plaats van een extern tekstueel artefact. De auteurs merken op dat hoewel de benadering consistente winsten laat zien, deze momenteel afhankelijk is van van leraren afgeleide priors en verdere werkzaamheden vereist om de afhankelijkheid van leraren te verminderen en de efficiëntie van versterkt leren te verbeteren.