Unified Multimodal Models as Auto-Encoders

Probleemstelling

Bestaande Unified Multimodal Models (UMMs) die zowel beeldbegrip (Image-to-Text, I2T) als beeldgeneratie (Text-to-Image, T2I) ondersteunen, lijden vaak onder een fundamenteel conflict. Traditionele benaderingen optimaliseren deze taken vaak onafhankelijk van elkaar of combineren ze op een manier die suboptimaal is.

• Isolatie: Veel modellen trainen begrips- en generatiemodules gescheiden, waardoor ze het potentieel voor wederzijdse verbetering missen.
• Interferentie: Directe gezamenlijke training van generatieve (vaak diffusion-based) en begrijpende taken leidt vaak tot degradatie van de prestaties; het optimaliseren van de ene taak kan de andere negatief beïnvloeden.
• Gebrek aan eenheid: Zonder bewezen wederzijdse voordelen "krakt" de eenheid van het systeem, waarbij het feitelijk neerkomt op twee losse grote componenten die naast elkaar worden getraind.

Het paper stelt dat er een principieel verband ontbreekt tussen het coderen van beelden naar tekst en het decoderen van tekst naar beelden.

Methodologie: Unified-GRPO en het Auto-Encoder Perspectief

De auteurs introduceren een nieuw perspectief waarbij I2T en T2I worden gezien als een Auto-Encoder (AE)-systeem, waarbij tekst fungeert als de intermediate latente representatie.

• Encoder (Begrip): Coderen van een inputbeeld naar een semantische tekstbeschrijving.
• Decoder (Generatie): Reconstrueren van een beeld op basis van die tekst.
• Kerninzicht: Als de encoder het beeld echt "begrijpt", moet hij alle essentiële structuren vastleggen. Als de decoder de tekst echt "begrijpt", moet hij die structuur getrouw kunnen herstellen. Kwaliteit van reconstructie wordt dus een proxy voor het verbeteren van beide taken.

Om dit te realiseren, stellen ze Unified-GRPO voor, een post-training methode gebaseerd op Reinforcement Learning (RL):

1. Architectuur: De methode is toepasbaar op twee hoofdarchitecturen:
   • UMM-1: Een autoregressief taalmodel (LLM) voor begrip gekoppeld aan een diffusion transformer (bijv. MM-DiT) voor generatie.
   • UMM-2: Een enkel autoregressief model dat zowel begrip als generatie in een gedeelde token-ruimte uitvoert.
2. RL-Loop (GRPO):
   • De LLM-component wordt getraind met Group Relative Policy Optimization (GRPO).
   • Proces: Gegeven een inputbeeld $x$, genereert het model een groep van $G$ tekstbeschrijvingen (captions).
   • Reconstructie: Elke caption wordt gebruikt als voorwaarde om een gereconstrueerd beeld $\hat{x}$ te genereren (via de diffusion decoder of autoregressieve decoder).
   • Reward: De beloning wordt berekend op basis van de semantische gelijkenis tussen het originele beeld $x$ en het gereconstrueerde beeld $\hat{x}$. Hiervoor wordt een CLIP-encoder (of vergelijkbare visuele backbone) gebruikt om de cosine-similarity te berekenen.
   • Optimalisatie: De LLM wordt bijgewerkt om captions te produceren die de reconstructiekwaliteit maximaliseren. Dit dwingt de encoder om rijkere, nauwkeurigere en completere semantische informatie te extraheren, terwijl de decoder wordt gestimuleerd om deze informatie getrouw te reproduceren.
3. Beperkingen: Tijdens de RL-training worden de visuele encoders/decoders (zoals de diffusion model of ViT) bevroren om instabiliteit en degradatie van de beeldkwaliteit te voorkomen. Alleen de taalcomponent (LLM) wordt geoptimaliseerd.

Belangrijkste Bijdragen

1. Unificatie via Auto-Encoder: Een principieel raamwerk dat I2T en T2I verbindt via tekst als gemeenschappelijke latente ruimte, waarbij reconstructie als de drijvende kracht voor wederzijdse verbetering dient.
2. Unified-GRPO: Een RL-gebaseerde post-training strategie die de encoder en decoder gezamenlijk optimaliseert via reconstructieve beloningen, wat leidt tot een zelfversterkende cyclus van verbetering.
3. Unified-Bench: Een nieuwe benchmark die specifiek is ontworpen om de "eenheid" van multimodale modellen te evalueren. In plaats van alleen te kijken naar caption-kwaliteit of beeldrealisme apart, meet deze benchmark de reconstructiesimilariteit (Image $\to$ Text $\to$ Image) om te testen of de geëxtraheerde semantiek voldoende is voor een getrouwe reconstructie.

Resultaten

De methode is getest op diverse benchmarks (GenEval, GenEval++, MMT-Bench, Unified-Bench) met modellen zoals UniWorld en Janus-Pro.

• Beeldgeneratie (T2I):
  • Significante verbeteringen op GenEval (van 0.73 naar 0.86) en GenEval++ (van 0.296 naar 0.475).
  • Verbeterde vermogen tot het volgen van complexe instructies, inclusief tellen, kleuren, posities en multi-object relaties.
• Beeldbegrip (I2T):
  • Fijne-granulariteit: Grote verbeteringen in taken die subtiele verschillen vereisen, zoals Small Object Detection (van 0.05 naar 0.45) en Person Re-ID (van 0.15 naar 0.75) op de MMT-Bench.
  • De encoder leert rijkere semantische representaties om de reconstructie te maximaliseren, wat resulteert in beter "grounding" en objectherkenning.
• Unificatie (Unified-Bench):
  • Het voorgestelde model (UAE) behaalde de hoogste Overall Unified Score (86.09), zelfs hoger dan GPT-4o-Image (85.95).
  • Dit bewijst dat de semantiek die uit het beeld wordt gehaald, direct bruikbaar is voor het genereren van een hoogwaardig, semantisch consistent beeld.
• Kwalitatieve resultaten: Het model produceert langere, gedetailleerdere captions die beter de visuele details vastleggen, wat leidt tot reconstructies die de originele beelden beter nabootsen qua structuur, attributen en context.

Betekenis en Impact

Dit werk demonstreert dat het behandelen van multimodale taken als geïsoleerde objectieven een beperkende factor is. Door I2T en T2I te zien als een gesloten lus in een auto-encoder-architectuur, creëren de auteurs een synergetisch feedback-lus:

• Betere generatie dwingt de encoder om preciezer te zijn.
• Betere begrip (codering) levert betere prompts op voor de generatie.

De studie suggereert dat "unificatie" niet betekent dat twee modellen naast elkaar worden getraind, maar dat ze via een reconstructiedoelstelling co-evolueren. Dit opent de weg voor meer coherente en krachtige multimodale systemen die zowel beter begrijpen als beter kunnen creëren, met name in complexe, instructie-gebaseerde scenario's. Een beperking die wordt erkend is de huidige moeilijkheid van generatiemodellen om tekst in beelden weer te geven, wat de prestaties op OCR-taken tijdelijk kan beïnvloeden, maar dit wordt gezien als een probleem van de decoder en niet van het concept zelf.