A Simple Baseline for Unifying Understanding, Generation, and Editing via Vanilla Next-token Prediction

Dit paper introduceert Wallaroo, een eenvoudig autoregressief model dat via next-token-predicatie multimodale beeldbegrip, -generatie en -bewerking verenigt, terwijl het ook multi-resolutie-invoer en tweetalige ondersteuning biedt.

De kern

Stel je voor dat je een kunstenaar bent die drie verschillende hoeden moet dragen: een kunstcriticus (die beelden analyseert), een schilder (die nieuwe beelden creëert) en een retoucheur (die bestaande foto's aanpast). Meestal hebben kunstenaars voor elke taak een ander gereedschap of zelfs een ander persoon nodig.

Het artikel dat je deelt, introduceert Wallaroo. Dit is een slimme, nieuwe computerprogrammatuur die probeert al deze drie hoeden in één brein te verenigen. Het doet dit op een verrassend simpele manier.

Hier is de uitleg in gewone taal, met een paar creatieve vergelijkingen:

1. De Kern: Alles in één taal

Stel je voor dat Wallaroo een vertaler is die alleen maar "volgende woord" zegt.

• Hoe het werkt: De meeste slimme computersystemen gebruiken ingewikkelde wiskunde om beelden te maken (zoals een schilder die verf mengt). Wallaroo doet het anders. Het ziet een afbeelding en een tekst als één lange reeks van "woorden" (of tokens).
• De analogie: Denk aan een kralenketting. Wallaroo kijkt naar de kralen die al aan de ketting zitten en raadt simpelweg: "Welke kraal komt er als volgende?"
  • Als de kralen een zin vormen, schrijft het tekst.
  • Als de kralen een patroon vormen dat op een foto lijkt, "schrijft" het een nieuwe foto.
  • Als de kralen een oude foto zijn met een vraag, "schrijft" het de aangepaste foto.

Het grote voordeel? Het gebruikt één en dezelfde taal voor alles. Er is geen vertaling nodig tussen "denken" en "maken". Dat maakt het proces heel efficiënt, alsof je in je moedertaal droomt in plaats van in een vreemde taal.

2. De Twee Sporen (Het Brein in Tweeën)

Hoewel Wallaroo alles in één taal doet, heeft het een slimme truc nodig om goed te kunnen kijken én goed te kunnen schilderen.

• Het probleem: Een kunstcriticus kijkt naar de betekenis van een schilderij (is dit een hond of een kat?), terwijl een schilder kijkt naar de details (wat voor kleur heeft de vacht?). Deze twee kijken op een heel andere manier.
• De oplossing: Wallaroo heeft twee aparte "ooglenzen" (of sporen).
  1. Lens A (Begrijpen): Kijkt naar de afbeelding zoals een mens (via een systeem genaamd NaViT). Dit helpt bij het beantwoorden van vragen.
  2. Lens B (Maken): Zet de afbeelding om in een reeks cijfers (zoals een QR-code). Dit helpt bij het schilderen van nieuwe beelden.
• De creatieve twist: Bij het aanpassen van foto's (bijvoorbeeld "verander de hond in een kat"), gebruikt Wallaroo beide lenzen tegelijk. Het is alsof je de kritische blik van de criticus en de technische blik van de schilder combineert om precies te weten wat er moet veranderen.

3. De Opleiding: Vier Stappen

Wallaroo is niet zomaar geboren; het is opgeleid in vier duidelijke fases, net als een student die eerst theorie leert en dan praktijk doet:

1. Stap 1: De basis: Het leert eerst hoe het moet "schilderen" met simpele beelden.
2. Stap 2: Samensmelten: Het leert om tegelijkertijd vragen te beantwoorden over beelden én nieuwe beelden te maken. Het combineert zijn kennis.
3. Stap 3: Groeien: Het leert om met verschillende maten te werken (niet alleen vierkante foto's, maar ook lange of smalle). Het leert ook om te tellen hoeveel rijen en kolommen er nodig zijn.
4. Stap 4: De meesterklas: Het krijgt lastige opdrachten om te leren hoe het bestaande foto's moet aanpassen (editen) en wordt getraind op zowel Nederlands als Engels.

4. Wat kan Wallaroo nu?

• Meertalig: Het spreekt vloeiend zowel Nederlands als Engels.
• Alles-in-één: Je kunt er een vraag aan stellen over een foto, een compleet nieuwe foto mee laten maken, of een bestaande foto laten aanpassen.
• Resultaat: De resultaten zijn indrukwekkend. Het doet het bijna net zo goed als de beste systemen die gespecialiseerd zijn in alleen maar maken of alleen maar begrijpen.

5. De Koffie en de Koffiezetapparaat (De beperking)

Niet alles is perfect.

• Het probleem: Omdat Wallaroo beelden ziet als een reeks "woorden" (zoals een kralenketting), kan het soms wat details verliezen. Het is alsof je een foto beschrijft met woorden; het resultaat is vaak goed, maar niet altijd haarscherp zoals bij een echte camera (die gebruik maakt van een andere techniek, genaamd "diffusie").
• De oplossing voor de toekomst: De auteurs denken dat ze in de toekomst een "na-verwerker" kunnen toevoegen (een soort filter) om de scherpte te verbeteren, of dat ze een betere "kralen" (tokeniser) kunnen vinden.

Conclusie

Wallaroo is een bewijs dat je niet altijd de meest ingewikkelde machines nodig hebt om geweldige dingen te doen. Door terug te gaan naar de basis ("wat is het volgende woord?") en slimme trucjes toe te passen, kun je één systeem bouwen dat kan begrijpen, creëren en aanpassen.

Het is alsof je een Zwitsers zakmes hebt in plaats van drie aparte gereedschappen. Het is misschien niet altijd de scherpste schaar of de beste schroevendraaier, maar het is ongelooflijk handig dat je alles in één hand hebt.

Technische samenvatting

Titel: Een Simpele Baseline voor het Unificeren van Begrip, Generatie en Bewerking via Standaard Next-Token Predictie

1. Het Probleem

De ontwikkeling van kunstmatige algemene intelligentie (AGI) vereist modellen die multimodaal begrip (het begrijpen van afbeeldingen en tekst) en visuele generatie (het creëren van afbeeldingen) kunnen combineren. Bestaande methoden vallen voornamelijk in drie categorieën, die elk beperkingen hebben:

• Conditionele Encoders: Modellen die multimodaal begrip gebruiken als input voor diffusiemodellen. Dit leidt tot een eenrichtingsinformatiestroom (van begrip naar generatie) en beperkte interactie.
• Hybride Architecturen: Modellen die autoregressieve en diffusiecomponenten binnen één transformer combineren. Dit vereist complexe ontwerpen (zoals attention masks) en lijdt aan inefficiëntie door de aanwezigheid van diffusieruis.
• Autoregressieve Modellen: Modellen die gebruikmaken van next-token predictie voor zowel begrip als generatie. Hoewel dit de structuur vereenvoudigt, hebben eerdere pogingen (zoals Chameleon) te kampen gehad met slechte visuele tokenizers of conflicterende representaties tussen hoog-niveau begrip en laag-niveau generatie.

Het doel van dit werk is een eenvoudige, autoregressieve baseline te creëren die begrip, generatie en beeldbewerking (editing) succesvol unificeert zonder de complexiteit van diffusiemodellen.

2. Methodologie: Wallaroo

Wallaroo is een autoregressief model dat is gebouwd op de Qwen2.5 VL (7B) backbone. Het volgt een minimalistisch principe met zo min mogelijk wijzigingen aan de basisarchitectuur.

Architectuur:

• Ontkoppeling van Visuele Encoding: In tegenstelling tot eerdere modellen, split Wallaroo de visuele encoding in aparte paden:
  • Voor Begrip: Gebruikt de ingebouwde NaViT (van Qwen2.5 VL) voor semantisch begrip.
  • Voor Generatie: Gebruikt een VQ-tokenizer (van LlamaGen) om afbeeldingen om te zetten in discrete ID's (1D-sequenties).
  • Voor Bewerking (Editing): Combineert zowel NaViT (semantisch) als de VQ-tokenizer (laag-niveau details) als input. Dit is uniek, omdat bewerking fungeert als een brug tussen begrip en generatie.
• Specifieke Koppen (Heads): Het model heeft drie gespecialiseerde koppen:
  1. Text Head: Voor multimodaal begrip.
  2. Generation Head: Voor het genereren van afbeeldingen (discrete ID's).
  3. Edit Head: Specifiek voor beeldbewerking, met een eigen MLP-adaptor om representaties uit te lijnen.

Trainingsstrategie (4 Stadia):

1. Preliminary Generation Alignment: Alleen de nieuwe generatie-adaptors en -koppen worden getraind om de representatieruimte te aligneren met Qwen2.5 VL.
2. Joint Pretraining: Gezamenlijke training op multimodaal begripsdata en tekst-naar-afbeelding data om beide vaardigheden te versterken.
3. Image Size Scaling & Multi-resolution: Training op grotere afbeeldingen (512x512) en diverse resoluties. Speciale tokens (<hw_info> en <eol>) worden toegevoegd om hoogte/breedte en regelbreuken aan te geven.
4. Unified Fine-tuning: Gezamenlijke fine-tuning op drie taken: begrip, generatie en bewerking, met een focus op hoogwaardige datasets.

Trainingsdoel:
Het model wordt geoptimaliseerd met de standaard next-token prediction loss voor alle drie de taken, met gelijke gewichten.

3. Belangrijkste Bijdragen

• Pionier in Unificatie: Wallaroo is een van de eerste pogingen om multimodaal begrip, beeldgeneratie en beeldbewerking te unificeren binnen één enkel, simpel autoregressief model op basis van next-token predictie.
• Meertaligheid en Resolutie: Het model ondersteunt zowel Nederlands als Engels (bilingual) en kan afbeeldingen in meerdere resoluties invoeren en uitvoeren.
• Ontkoppeling van Encoding: Door visuele encoding te splitsen in aparte paden voor begrip en generatie, worden conflicten tussen de taken geminimaliseerd, terwijl de efficiëntie van de informatie-interactie wordt behouden.
• Open Source: De code is beschikbaar gesteld, wat dient als een sterke baseline voor toekomstig onderzoek.

4. Resultaten

Wallaroo werd geëvalueerd op diverse benchmarks en presteert concurrerend, vaak beter dan andere geünificeerde modellen:

• Multimodaal Begrip: Wallaroo behaalt prestaties die vergelijkbaar zijn met de sterke Qwen2.5 VL en overtreft veel andere geünificeerde modellen (zoals Janus-Pro en OmniGen2) op benchmarks zoals MMB, POPE en MME.
• Beeldgeneratie: Op de GenEval-benchmark scoort Wallaroo concurrerend (0.75 overall) ten opzichte van Janus-Pro (0.76) en Show-o2 (0.76), hoewel het nog iets achterblijft bij pure diffusiemodellen zoals OmniGen2. Dit wordt toegeschreven aan het verlies van details door vector-quantisatie (VQ).
• Beeldbewerking: Op de ImgEdit-benchmark behaalt Wallaroo een score van 2.92, wat beter is dan veel pure generatie/bewerkingsmodellen (zoals AnyEdit en OmniGen) en vergelijkbaar met geünificeerde modellen.
• Ablatie Studies:
  • De keuze van LlamaGen als VQ-tokenizer bleek superieur aan MoVQGAN.
  • Een maskering ratio van 0.6 tijdens de training bleek optimaal voor bewerkingstaken.
  • Het gebruik van verschillende positional encoding schema's (1D voor bewerking, 2D voor begrip) bleek cruciaal voor het behoud van beeldconsistentie.

5. Betekenis en Toekomstperspectief

Dit rapport demonstreert dat autoregressieve modellen, vaak gezien als minder geschikt voor visuele taken dan diffusiemodellen, groot potentieel hebben om multimodaliteit te unificeren.

• Eenvoud vs. Complexiteit: Wallaroo bewijst dat een "vanilla" next-token predictie aanpak, zonder complexe diffusiecomponenten, competitieve resultaten kan leveren.
• De Rol van Bewerking: Een belangrijke inzicht is dat beeldbewerking fungeert als een effectieve schakel tussen begrip en generatie, omdat het zowel hoog-niveau (semantisch) als laag-niveau (pixel) representaties vereist.
• Beperkingen: De huidige implementatie vereist dat gebruikers handmatig de juiste "head" kiezen (begrip, generatie of bewerking). Toekomstig werk zou kunnen focussen op dynamische head-selectie en het verbeteren van de VQ-tokenizers om het verlies aan beelddetails te verminderen.

Kortom, Wallaroo biedt een robuuste en eenvoudige basis voor de volgende generatie multimodale AI-modellen die begrijpen, creëren en manipuleren in één systeem.