Autoregressive Image Generation with Randomized Parallel Decoding

Dit paper introduceert ARPG, een nieuw autoregressief beeldgeneratiemodel dat door middel van een ontkoppelde decoderingsframework en willekeurige parallelle decoding de inferentie-efficiëntie en zero-shot generalisatie aanzienlijk verbetert ten opzichte van traditionele raster-ordelijke benaderingen.

De kern

Stel je voor dat je een schilderij moet maken, maar je mag alleen één penseelstreek per keer zetten, en je moet dat doen in een heel strikt patroon: eerst de hele bovenste rij, dan de tweede rij, en zo verder tot je beneden bent. Dat is hoe de meeste huidige kunstmatige intelligenties (AI) beelden maken. Ze werken als een zeer snelle, maar stijve robot die lijn voor lijn tekent. Dit werkt goed, maar het is traag en als je halverwege het schilderij iets wilt veranderen (bijvoorbeeld een boom toevoegen die er niet was), moet de robot vaak helemaal opnieuw beginnen.

Deze paper introduceert ARPG, een nieuwe manier om AI-beelden te maken. Het is alsof we die stijve robot vervangen door een creatieve kunstenaar die vrijelijk kan springen over het canvas.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Rijststok" Methode

Huidige AI-modellen werken vaak volgens een rijststok-methode (raster-order). Ze lezen en schrijven pixels van links naar rechts, van boven naar beneden, alsof ze een tekst lezen.

• Het nadeel: Het is traag. Als je een groot beeld wilt maken, moet de AI duizenden stappen zetten.
• Het andere nadeel: Het is stijf. Als je een gat in het midden van een foto wilt dichten (inpainting), kan de AI dat niet goed doen omdat die "rijststok" niet terug kan springen naar het midden zonder de regels te breken.

2. De Oplossing: De "Vrije Dans" (ARPG)

De auteurs van dit paper hebben een nieuwe methode bedacht die ze ARPG noemen. In plaats van in een rechte lijn te werken, laat deze AI losjes en willekeurig rondspringen over het canvas.

• De analogie: Stel je voor dat je een puzzel moet leggen. De oude manier is: leg stukje 1, dan stukje 2, dan stukje 3. De nieuwe manier (ARPG) is: je pakt stukje 50, dan stukje 12, dan stukje 99. Je kunt overal beginnen en overal eindigen.

3. Hoe werkt het? De "Chef en de Koks"

Het geheim van ARPG zit in een slimme tweestaps-procedure, die we kunnen vergelijken met een keuken:

• Stap 1: De Chef (Informatie verzamelen)
  De eerste helft van het model is als een chef-kok die alle ingrediënten (de al bekende delen van het beeld) in de keuken heeft staan. Deze chef maakt een "smaakprofiel" van alles wat er al is. Hij weet precies wat er al op het canvas staat, maar hij tekent nog niets. Hij slaat deze informatie op in een soort "geheugenkast" (KV-cache).

  • Belangrijk: De chef doet dit heel snel en efficiënt, zonder te hoeven raden wat er nog moet komen.

• Stap 2: De Koks met een Specifiek Doel (Het tekenen)
  De tweede helft van het model zijn de koks. Maar deze koks krijgen geen willekeurige opdracht. Ze krijgen een specifiek doel: "Jij, kok 1, vul nu het gat op positie X!" en "Jij, kok 2, vul gat op positie Y!".

  • Ze kijken naar de "geheugenkast" van de chef om te zien wat er al staat.
  • Omdat ze een specifiek doel hebben, kunnen ze allemaal tegelijk aan het werk gaan. Ze hoeven niet op elkaar te wachten.

4. Waarom is dit zo geweldig?

• Snelheid (De Express): Omdat de koks tegelijkertijd werken, duurt het maken van een beeld veel minder tijd. De paper zegt dat het 30 keer sneller is dan de oude methoden. Het is alsof je van een fiets op een snelle trein stapt.
• Geheugen (De Rugzak): Oude methoden hadden een enorme rugzak nodig om alle tussenstappen te onthouden. ARPG is slimmer en heeft een veel kleinere rugzak nodig (75% minder geheugen).
• Vrijheid (De Magische Toverstaf): Omdat de AI niet vastzit aan een rijtje, kan hij heel makkelijk gaten dichten, beelden uitbreiden (outpainting) of details aanpassen zonder dat het hele plaatje scheef trekt. Het is alsof je met een toverstaf een boom in een landschap kunt laten groeien zonder dat de lucht erboven verandert.

5. Het Resultaat

Deze nieuwe methode maakt niet alleen beelden die er prachtig uitzien (net zo goed als de beste huidige modellen), maar ze doet het ook:

1. Veel sneller.
2. Met minder computerkracht.
3. Flexibeler (je kunt het gebruiken voor alles: van het maken van een foto tot het repareren van een oude foto).

Kort samengevat:
ARPG is de overstap van een robot die saai en langzaam lijn voor lijn tekent, naar een creatieve kunstenaar die vrij over het canvas springt, tegelijkertijd op meerdere plekken werkt, en dat allemaal doet met minder energie en veel meer creativiteit.

Technische samenvatting

Probleemstelling

Traditionele autoregressive (AR) modellen voor beeldgeneratie (zoals VQGAN en LlamaGen) baseren zich op een strikt sequentieel, vooraf bepaald volgorde van token-generatie (meestal raster-scan: van links naar rechts, boven naar beneden). Dit introduceert fundamentele beperkingen:

1. Inefficiëntie: De sequentiële aard maakt parallelle inferentie onmogelijk, wat leidt tot trage generatiesnelheden, vooral bij hoge resoluties.
2. Slechte Zero-Shot Generalisatie: Omdat het model afhankelijk is van een causale volgorde, kan het moeilijk taken uitvoeren die niet-causale afhankelijkheden vereisen, zoals inpainting (invullen van ontbrekende delen), outpainting (uitbreiden van het beeld) of resolutie-expansie, zonder specifieke fine-tuning.
3. Bestaande Alternatieven: Bestaande methoden om dit op te lossen hebben eigen nadelen:
   • Masked Modeling (bijv. MaskGIT): Gebruikt bidirectionele attention, wat het gebruik van KV-caches verhindert en de inferentie-inefficiëntie verhoogt.
   • Block-wise AR (bijv. VAR): Genereert blokken parallel, maar is beperkt tot vaste blokvormen en schedulers.
   • RandAR: Staat willekeurige volgorde toe maar verdubbelt de sequentielengte door positie-tokens te mengen met content-tokens, wat leidt tot hoge reken- en geheugenkosten.

Methodologie: ARPG

De auteurs introduceren ARPG (Autoregressive Image Generation with Randomized Parallel Decoding), een nieuw kader dat volledig willekeurige token-volgorde mogelijk maakt binnen een causale architectuur, zonder de efficiëntie te offeren.

Kerninzichten:

1. Positieve Gidsing: Om willekeurige generatie mogelijk te maken, moet het model expliciete informatie hebben over waar het volgende token moet worden geproduceerd.
2. Decoupling: Het is inefficiënt om content en positie-informatie in dezelfde tokens te verwerken (zoals bij RandAR). In plaats daarvan moeten ze worden ontkoppeld.
3. Redundantie: Attention op [MASK] tokens is vaak redundant; deze tokens moeten vooral kijken naar de semantisch rijke, ongemaskerde tokens.

Architectuur: Twee-Pass Decoder
ARPG splitst het decodingsproces op in twee fasen om content-representatie te scheiden van positie-gestuurde voorspelling:

1. Pass 1: Content Representatie Learning (Self-Attention)

   • Een standaard causale self-attention decoder verwerkt de reeks van bekende content-tokens.
   • Het doel is niet om direct tokens te voorspellen, maar om rijke, contextbewuste representaties te genereren.
   • Deze representaties worden omgezet in Key-Value (KV) paren en opgeslagen in een cache. Dit vormt een samenvatting van alle historische informatie.

2. Pass 2: Positie-Gestuurde Decoding (Cross-Attention)

   • In plaats van content-tokens te gebruiken als queries, gebruikt deze decoder data-onafhankelijke [MASK] tokens die zijn voorzien van positie-informatie (via Rotary Position Embeddings).
   • Deze "doelbewuste queries" gebruiken causale cross-attention om te kijken naar de KV-paren uit Pass 1.
   • Hierdoor kan het model meerdere queries (en dus meerdere tokens) parallel voorspellen in één stap, terwijl het de causale afhankelijkheid behoudt.

Training en Inferentie:

• Training: Het model wordt getraind met een "teacher-forcing" aanpak waarbij de input-sequentie wordt geschud (willekeurige volgorde). De positie-informatie wordt rechts verschoven en ingebed in [MASK] tokens.
• Inferentie: Het model berekent eerst de KV-cache van de bekende tokens (Pass 1). Vervolgens worden meerdere doel-queries geselecteerd die gelijktijdig de cache raadplegen (Pass 2) om meerdere tokens tegelijk te genereren. Dit ondersteunt ook zero-shot taken zoals inpainting, waarbij bekende gebieden in Pass 1 worden ingevuld en gemaskerde gebieden in Pass 2 worden gegenereerd.

Belangrijkste Bijdragen

1. Ontkoppelde Decoding Framework: Een innovatieve architectuur die positieve gidsing (queries) scheidt van content-representatie (KV), waardoor volledig willekeurige volgorde mogelijk is binnen een causale paradigm.
2. Efficiëntie en Flexibiliteit: Het elimineert de noodzaak voor bidirectionele attention (en de bijbehorende KV-cache overhead) terwijl het toch parallelle generatie toestaat.
3. Zero-Shot Generalisatie: Door de loskoppeling van volgorde en content, kan het model zonder extra training taken uitvoeren zoals inpainting, outpainting en resolutie-expansie.
4. Controleerbare Generatie: Het kader kan worden uitgebreid naar text-to-image en conditionele generatie (bijv. op basis van dieptekaarten of randen) door de queries te vervangen door conditionele representaties in plaats van alleen positie-tokens.

Resultaten

De prestaties zijn getest op de ImageNet-1K benchmark (256×256 en 512×512) en vergeleken met toonaangevende modellen zoals LlamaGen, VAR, MaskGIT en RandAR.

• Kwaliteit (FID): ARPG bereikt een FID van 1.83 (met 32 stappen) op ImageNet-1K 256×256, wat beter is dan LlamaGen (2.62) en VAR (2.09).
• Snelheid (Throughput):
  • 30x sneller dan traditionele raster-order AR-modellen (zoals LlamaGen).
  • 3x sneller dan recente parallelle AR-modellen (zoals VAR en RandAR).
  • Bij 64 stappen wordt een throughput van 67.47 img/s bereikt voor het L-model.
• Geheugenefficiëntie: ARPG verbruikt 75% minder geheugen dan vergelijkbare schalen van concurrenten (bijv. 2.78 GB vs 10.23 GB voor LlamaGen-L).
• Text-to-Image: Met slechts 4M trainingsdata (7% van wat LlamaGen gebruikt) bereikt ARPG vergelijkbare kwaliteit met een veel hogere doorvoer (30.11 img/s vs 0.83 img/s).
• Zero-Shot: Het model toont uitstekende resultaten bij inpainting en outpainting zonder specifieke fine-tuning.

Betekenis

ARPG vertegenwoordigt een doorbraak in autoregressive beeldgeneratie door de fundamentele trade-off tussen flexibiliteit (willekeurige volgorde/zero-shot) en efficiëntie (snelheid/geheugen) op te lossen.

• Het bewijst dat willekeurige volgorde-generatie niet noodzakelijkerwijs leidt tot hoge rekenkosten of kwaliteitsverlies, zolang de architectuur slim is ontworpen (decoupling).
• Het stelt een nieuwe standaard voor efficiënte, hoge-kwaliteit beeldsynthese, wat de weg vrijmaakt voor snellere en meer veelzijdige generatieve AI-toepassingen, inclusief real-time editing en complexe conditionele taken.
• De methode biedt een robuust alternatief voor diffusion-modellen en bestaande AR-modellen, met name voor scenario's waar snelheid en geheugenefficiëntie kritiek zijn.