VibeToken: Scaling 1D Image Tokenizers and Autoregressive Models for Dynamic Resolution Generations

1. Probleemstelling

Autoregressieve (AR) beeldgeneratiemodellen (bijv. LlamaGen) hebben concurrerende prestaties getoond, maar staan voor aanzienlijke barrières voor productieadoptie in vergelijking met diffusiemodellen. De primaire bottleneck is schaalbaarheid met betrekking tot resolutie en beeldverhoudingen:

• Token-explosie: Conventionele 2D-tokenizers (bijv. VQGAN) genereren tokenreeksen die lineair groeien met de beeldresolutie. Voor een 1024×1024-afbeelding resulteert dit in duizenden tokens (bijv. 4.096 tokens).
• Kwadratische rekentkosten: AR-modellen vertrouwen op self-attention, wat een complexiteit van $O(T^2)$ heeft waarbij $T$ de reekslengte is. Naarmate de resolutie toeneemt, groeien de inferentie-FLOPs kwadratisch, waardoor hoogresolutiegeneratie computatief onhaalbaar wordt.
• Stijfheid: De meeste AR-modellen zijn getraind op vaste resoluties (bijv. 256×256) en hebben moeite om te generaliseren naar willekeurige beeldverhoudingen of hogere resoluties zonder hertraining of complexe superresolutie-pipelines.
• Dominantie van Diffusie: Diffusiemodellen handhaven op natuurlijke wijze willekeurige resoluties, waardoor AR-modellen achterblijven bij flexibele, productieklaar bruikbare toepassingen.

2. Methodologie

De auteurs stellen een tweeledige oplossing voor: VibeToken (een nieuwe tokenizer) en VibeToken-Gen (een AR-generator).

A. VibeToken: Resolutie-agnostische 1D-tokenizer

VibeToken is een op 1D-Transformers gebaseerde beeldtokenizer die is ontworpen om afbeeldingen van elke resolutie te coderen in een vast, door de gebruiker controleerbaar aantal tokens (bijv. 32–256), waardoor het tokenaantal wordt ontkoppeld van de ruimtelijke resolutie.

Belangrijke architecturale innovaties omvatten:

1. Dynamische Grid Positionele Embeddings: In plaats van vaste absolute positionele embeddings, gebruikt VibeToken een geleerde grid van embeddings die differentieel wordt gewijzigd (via bilineaire/bicubische interpolatie) om te matchen met de invoer-patchgrid ($T_H \times T_W$). Dit stelt het model in staat om willekeurige beeldverhoudingen te hanteren zonder kwaliteitsverlies.
2. Adaptieve Patch-embeddings: Geïnspireerd door FlexiViT, ondersteunt het model variabele patchgroottes ($k$) tijdens training en inferentie. Een gewichtsveranderingsoperator mapt de basisprojectiegewichten naar de huidige patchgrootte, waardoor het model zich kan aanpassen aan verschillende resoluties zonder herparametrisatie.
3. Adaptieve Decoderresolutie: De decoder voorspelt pixels op een vaste hoge resolutie (4× de patchgrootte) en gebruikt een leerbare 2D-convolutionele downsamplinglaag om te mappen naar de doelresolutie. Dit maakt native superresolutie mogelijk zonder een aparte upscaler-module.
4. Dynamische Lengte-tokenisatie: Het model wordt getraind met een uniforme bemonstering van latente lengtes $L \in [32, 256]$. De encoder produceert precies $L$ tokens en de decoder consumeert precies $L$, waardoor er geen behoefte is aan opvulling of vaste lengtebeperkingen.
5. Kwantisering: Gebruikt Multi-Vector Quantization (MVQ) met 8 codeboeken om een vocabulairegrootte van 32.768 te bereiken, wat compressie en reconstructiekwaliteit in evenwicht brengt.

B. VibeToken-Gen: Efficiënte AR-generator

VibeToken-Gen is een op klasse geconditioneerd AR-model (gebaseerd op de LlamaGen-architectuur) dat werkt op de korte, resolutie-agnostische tokenreeksen die door VibeToken worden geproduceerd.

• Constante Rekenbegroting: Omdat de tokenreekslengte $L$ vast is (bijv. 64 tokens) ongeacht de uitvoerresolutie, blijven de inferentie-FLOPs constant.
• Conditionering: Het model conditioneert op de doelresolutie $(H, W)$ en beeldverhouding naast het klasselabel om geometrische rekartefacten te voorkomen.
• Training: Getraind op ImageNet-1k met gemengde resoluties (256×256 tot 512×512) en beeldverhoudingen, met behulp van een tokenbegroting die vergelijkbaar is met vaste-resolutie baselines.

3. Belangrijkste Bijdragen

1. Resolutie-agnostische Tokenisatie: De eerste 1D-Transformer-tokenizer die native willekeurige resoluties en beeldverhoudingen ondersteunt terwijl een kort, dynamisch tokenbudget (32–256 tokens) wordt behouden.
2. Rekenefficiëntie: Koppelt de AR-inferentiekost los van de beeldresolutie. VibeToken-Gen behoudt een constante 179 GFLOPs voor elke resolutie, terwijl baselines zoals LlamaGen schalen naar ~11 TFLOPs voor 1024×1024-afbeeldingen (een 63,4× efficiëntiewinst).
3. Native Superresolutie: De architectuur ondersteunt het genereren van hoogresolutie-afbeeldingen vanuit laagresolutie-invoer (of willekeurige doelen) zonder aparte upscaling-modules.
4. State-of-the-Art Prestaties: Bereikt concurrerende reconstructie (rFID) en generatie (gFID) kwaliteit in vergelijking met zowel 2D-tokenizers als diffusiemodellen, ondanks het gebruik van aanzienlijk minder tokens.

4. Experimentele Resultaten

Het paper evalueert VibeToken en VibeToken-Gen op ImageNet-1k en FFHQ-datasets over verschillende resoluties (256×256 tot 1024×1024) en beeldverhoudingen.

• Reconstructiekwaliteit:
  • VibeToken-LL bereikt 0,40 rFID bij 256×256 en 2,40 rFID bij 1024×1024.
  • Het presteert beter dan andere 1D-tokenizers (bijv. TiTok, One-D-Piece) in resolutiegeneralisatie en komt overeen met of overtreft 2D-tokenizers (bijv. IBQ, MAGViT) in compressie-efficiëntie.
• Generatiekwaliteit:
  • VibeToken-Gen (XXL) synthetiseert 1024×1024-afbeeldingen met slechts 64 tokens met een gFID van 3,94.
  • Vergelijking:
    • Tegenover Diffusie (NiT): VibeToken-Gen is 2,35× sneller (0,46s vs 1,08s) en bereikt betere kwaliteit (3,94 gFID vs 5,87 gFID) bij 1024×1024.
    • Tegenover AR-baseline (LlamaGen): LlamaGen vereist ~11 TFLOPs voor 1024×1024, terwijl VibeToken-Gen een constante 179 GFLOPs gebruikt.
• Efficiëntie:
  • Het tokenaantal wordt gereduceerd van ~4.096 (in 2D-tokenizers) naar 64 tokens voor 1024×1024-afbeeldingen.
  • De inferentiesnelheid is subsecond (0,46s) voor hoogresolutiegeneratie, vergeleken met 32+ seconden voor baseline AR-modellen bij vergelijkbare resoluties.

5. Betekenis

Dit werk overbrugt de kloof tussen autoregressieve modellen en diffusiemodellen op het gebied van flexibiliteit en efficiëntie.

• Productiehaalbaarheid: Door AR-modellen in staat te stellen willekeurige resoluties te hanteren met constante rekenkracht, maakt VibeToken AR-generatie haalbaar voor real-world toepassingen waar invoer-/uitvoerdimensies variëren (bijv. mobiele apps, diverse displayformaten).
• Schaalbaarheid: Het demonstreert dat AR-modellen kunnen schalen naar hoge resoluties zonder de kwadratische rekenexplosie, wat de notie uitdaagt dat diffusie de enige weg is naar hoogresolutie generatieve AI.
• Toekomstrichting: De aanpak opent de deur voor geünificeerde multimodale modellen (tekst, beeld, video) die kunnen opereren onder een vast, door de gebruiker controleerbaar rekenbudget, ongeacht de ruimtelijke complexiteit van de gegenereerde inhoud.

Kortom, VibeToken lost het probleem van "resolutieschaalvergroting" in AR-generatie op door de last van resolutieadaptatie te verschuiven van het generatieve model naar een flexibele, resolutie-agnostische tokenizer, wat resulteert in een systeem dat sneller, goedkoper en flexibeler is dan huidige state-of-the-art alternatieven.