Semantic-Aware Prefix Learning for Token-Efficient Image Generation

Probleemstelling

Huidige visuele tokenizers (modellen die beelden omzetten naar compacte latenterepresentaties) spelen een cruciale rol in latente beeldgeneratie. Echter, de meeste bestaande tokenizers worden getraind met objectieven die gedomineerd worden door reconstructie (het zo goed mogelijk nabootsen van het originele beeld). Dit leidt vaak tot latenterepresentaties die slechts zwak verbonden zijn met hoog-niveau semantiek (bijv. het concept van een "hond" of "auto").

Hoewel recente methoden proberen de semantische uitlijning te verbeteren, behandelen ze semantische signalen vaak als auxiliaire regularisatie (een extra hulpmiddel) in plaats van ze functioneel noodzakelijk te maken voor het leerproces van de representatie. Het gevolg is dat de latentere ruimte niet optimaal is gestructureerd voor generatieve modellen, wat de efficiëntie en de controleerbaarheid van de gegenereerde beelden beperkt. De kernuitdaging is niet alleen of semantiek uitgelijnd is, maar hoe semantische informatie een onmisbaar onderdeel wordt van de tokenizer-training.

Methodologie

De auteurs stellen twee hoofdcomponenten voor: SMAP (een semantisch bewuste tokenizer) en CARD (een hybride generator).

1. SMAP: Semantisch Bewuste Prefix Tokenization

SMAP is een tokenizer die hoog-niveau semantiek encodeert als "prefix-gepreserveerde invarianten". Het doel is om semantische informatie actief te laten deelnemen aan zowel reconstructie als representatieleren.

• Query-based 1D Tokenization: SMAP bouwt voort op bestaande query-gebaseerde architecturen (zoals TiTok), waarbij een vaste set leerbare queries visuele features selecteert om een compacte 1D-sequentie van latent tokens te vormen.
• Semantische Injectie: In plaats van semantiek alleen als regularisatie te gebruiken, injecteert SMAP expliciete semantische conditionele embeddings (bijv. van klasselabels) direct in de encoder- en decoder-sequentie. Deze embeddings worden geplaatst tussen de visuele patch-tokens en de leerbare latent queries. Hierdoor moeten de latent tokens interageren met de semantische cues tijdens het vormen van de representatie.
• Tail Token Dropping Strategie: Dit is het kernmechanisme om semantiek onmisbaar te maken. Tijdens het trainen wordt willekeurig een deel van de "staart" van de latent tokens verwijderd (gedropt).
  • De decoder moet het beeld reconstrueren met alleen de semantische prefix en de eerste latent tokens.
  • Naarmate het token-budget kleiner wordt (door het droppen van tokens), neemt de verantwoordelijkheid van de semantische prefix toe.
  • Dit forceert de tokenizer om globale structuur en hoog-niveau concepten te coderen in de vroege tokens (de prefix), terwijl latere tokens verfijnde, instance-specifieke details toevoegen. Dit creëert een informatie-geordende latentere ruimte.

2. CARD: Hybride Causale AutoRegressive–Diffusion Generator

Om de voordelen van de SMAP-tokenisatie volledig te benutten, stellen de auteurs CARD voor.

• Architectuur: CARD combineert een causale autoregressieve module (die de structurele afhankelijkheden tussen latent tokens modelleert) met een Flow Matching-based diffusiemodel (voor verfijning van de continue dichtheid).
• Gedeelde Semantiek: Een belangrijk kenmerk is dat CARD de zelfde semantische embeddings hergebruikt die tijdens het vooraf trainen van SMAP zijn geleerd. Dit zorgt voor consistentie tussen de tokenisatie en de generatie, zonder dat er een extra conditionele encoder nodig is aan de generator-kant.

Belangrijkste Bijdragen

1. Identificatie van een beperking: De auteurs tonen aan dat bestaande pipelines semantiek vaak slechts "losjes" uitlijnen in plaats van functioneel noodzakelijk te maken voor reconstructie.
2. SMAP: Een nieuwe 1D-tokenizer die semantische voorwaarden als prefix-invarianten behandelt en semantische afhankelijkheid afdwingt via token-truncatie. Dit resulteert in latentere representaties die semantisch onderbouwd, informatief geordend en lengte-adaptief zijn.
3. CARD: Een hybride generator die specifiek is ontworpen om de door SMAP gegenereerde semantische structuur te benutten.
4. Empirisch Bewijs: Experimenten tonen aan dat semantisch onderbouwde tokenisatie zowel de reconstructiekwaliteit als de downstream generatieprestaties verbetert, zelfs onder zeer compacte token-budgets.

Resultaten

De methoden zijn uitgebreid getest op ImageNet (256x256):

• Reconstructie: SMAP presteert consistent beter dan bestaande tokenizers (zoals TiTok) in zowel discrete (VQ) als continue (KL, SoftVQ) instellingen. Zelfs met een klein token-budget (bijv. 128 tokens) behaalt SMAP een lagere reconstructie FID (rFID) en een hogere Inception Score (IS).
• Generatie:
  • Met een compact budget van 128 tokens bereikt het SMAP(KL) + CARD model (1.1B parameters) een generatie FID (gFID) van 1.85 (met CFG).
  • Het SMAP(SoftVQ) + CARD model bereikt zelfs een gFID van 1.79.
  • Deze resultaten zijn concurrerend met of beter dan veel state-of-the-art methoden die vaak 256 tot 4096 tokens gebruiken.
• Ablatie Studies:
  • De "Tail Token Dropping" strategie bleek cruciaal; zonder deze strategie daalt de prestatie aanzienlijk, wat aantoont dat het de semantische prefix dwingt om globale structuur te coderen.
  • Het hergebruiken van de semantische embeddings in de generator (Shared Semantic Space) leidt tot verdere verbeteringen in de uitlijning tussen voorwaarde en gegenereerd beeld.

Betekenis en Impact

Dit paper biedt een fundamenteel nieuw perspectief op het leren van latentere representaties voor beeldgeneratie. De belangrijkste inzichten zijn:

• Semantiek als Fundament: Semantische informatie moet niet slechts een extra signaal zijn, maar een functioneel noodzakelijke component van de representatie zelf.
• Efficiëntie: Door semantiek te coderen in de "prefix" van de tokensequentie, kunnen generatieve modellen werken met veel minder tokens zonder in te leveren op kwaliteit. Dit maakt beeldgeneratie aanzienlijk efficiënter.
• Schaalbaarheid: De methode schaalbaar naar grotere datasets en modelgroottes, en werkt zowel voor discrete als continue tokenisatie.

Samenvattend bewijst SMAP dat het actief inbedden van semantiek in de tokenisatie-architectuur leidt tot een robuustere latentere ruimte die zowel beter reconstrueert als efficiënter genereert, wat een belangrijke stap is naar de volgende generatie token-gebaseerde beeldmodellen.