Towards Sequence Modeling Alignment between Tokenizer and Autoregressive Model

Deze paper introduceert AliTok, een nieuwe gealigneerde tokenizer die de misalignering tussen bidirectionele beeldtokenisatie en autoregressieve modellen oplost, waardoor compacte decoder-only modellen prestaties op SOTA-niveau bereiken met snellere sampling dan diffusion-methoden.

De kern

De Kernprobleem: Een Gebrek aan Synchronisatie

Stel je voor dat je een kunstenaar bent die een schilderij moet maken, maar je werkt met een heel specifieke regel: je mag alleen naar links kijken om te weten wat je rechts moet schilderen. Je mag nooit naar rechts kijken om te zien wat er al staat. Dit is hoe moderne AI-modellen (zoals GPT voor tekst) werken: ze voorspellen het volgende stukje (token) op basis van wat er voor komt.

Het probleem met afbeeldingen is dat ze van nature tweezijdig zijn. Als je een foto van een gezicht maakt, hangt het linkeroog samen met het rechteroog. Ze beïnvloeden elkaar.

De oude methode (de "Tokenizer") was als een vertaler die een foto in losse blokjes (tokens) verdeelde. Maar deze vertaler was te slim voor zijn eigen bestwil: hij keek naar het hele plaatje om elk blokje te maken.

• Het resultaat: Het blokje "linkeroog" bevatte geheime informatie over het "rechteroog" (dat nog niet geschilderd was).
• De chaos: Wanneer de kunstenaar (het AI-model) probeerde het linkeroog te schilderen, had hij geen idee wat er aan de rechterkant zou komen, omdat die informatie in het blokje verstopt zat. Het was alsof je een puzzel probeert op te lossen terwijl de puzzelstukjes geheimen bevatten die je nog niet mag weten. Het resultaat was vaak wazig of onzeker.

De Oplossing: AliTok (De "Gedisciplineerde" Vertaler)

De auteurs van dit paper hebben een nieuwe vertaler bedacht, genaamd AliTok. Hun idee was simpel maar geniaal: Waarom proberen we het model niet aan te passen aan de data, maar passen we de data (de foto) aan aan het model?

Ze wilden de foto's vertalen in een volgorde die perfect paste bij de "alleen-naar-links-kijken"-regel van de kunstenaar.

Hoe werkt AliTok? (De Drie Stappen)

1. De Twee-Stage Training (De Reconstructie):
   Stel je voor dat AliTok eerst een foto bekijkt en een perfecte schets maakt. Maar hier is de truc: tijdens het maken van de schets mag de "vertaler" (de encoder) wel naar het hele plaatje kijken (om de details goed te krijgen), maar de "herbouwer" (de decoder) mag alleen naar de stukjes kijken die al gemaakt zijn.

   • De Metafoor: Het is alsof je een boek schrijft. De schrijver mag het hele verhaal in zijn hoofd hebben (de encoder), maar hij moet het verhaal zo schrijven dat elke zin logisch voortvloeit uit de vorige zin, zonder dat hij naar de volgende pagina kan kijken. Dit dwingt de schrijver om de informatie in de juiste volgorde te leggen.

2. De "Voorlopers" (Prefix Tokens):
   Er was een klein probleem: de eerste rij van de foto had geen "vorige" rij om naar te kijken. Dat was alsof je een verhaal begint zonder titel of inleiding; de eerste zin is vaak raar.

   • De Oplossing: Ze voegden speciale "voorbereidende blokjes" toe aan het begin. Dit zijn als een proloog in een boek. Ze geven de kunstenaar de nodige context zodat hij niet met lege handen begint bij de eerste rij van de afbeelding.

3. De Tweede Fase (De Perfectie):
   Na het trainen van de kunstenaar (het generatiemodel), hebben ze de vertaler nog een keer aangepakt. Nu hebben ze de vertaler weer vrijgelaten om naar het hele plaatje te kijken, maar alleen om de kwaliteit van de schets te verbeteren.

   • Het resultaat: De kunstenaar krijgt nu een schets die niet alleen logisch opgebouwd is (makkelijk te schilderen), maar ook super scherp en gedetailleerd.

Waarom is dit zo geweldig?

In het verleden moesten onderzoekers de kunstenaar (het AI-model) ingewikkelder maken om met de chaotische foto's om te gaan. Ze bouwden complexe mechanismen in om de "tweezijdige" informatie te verwerken.

Met AliTok doen ze het andersom:

• Ze maken de foto's zo logisch dat een standaard, simpele kunstenaar er perfect mee kan werken.
• Snelheid: Omdat het proces zo logisch is, kan de kunstenaar heel snel werken. Ze zijn 10 keer sneller dan de huidige beste methoden (die vaak diffuseren, ofwel "druppel voor druppel" werken).
• Kwaliteit: Zelfs met een relatief klein model (662 miljoen parameters) halen ze betere resultaten dan enorme modellen die jarenlang getraind zijn.

Samenvatting in één zin

AliTok is als het herschrijven van een rommelig script naar een perfect gestructureerd verhaal, zodat een simpele regisseur (het AI-model) er een blockbuster film van kan maken, in plaats van dat de regisseur zich moet aanpassen aan een slecht script.

De grote winst: Je krijgt prachtige, scherpe afbeeldingen, veel sneller, met minder rekenkracht. Het bewijst dat als je de data en het model goed op elkaar afstemt, de simpele, oude manier van werken (autogressief) nog steeds de koning kan zijn.

Technische samenvatting

Titel: Towards Sequence Modeling Alignment Between Tokenizer and Autoregressive Model

Conferentie: ICLR 2026
Auteurs: Pingyu Wu, Kai Zhu, Yu Liu, Longxiang Tang, et al. (USTC & Tongyi Lab)

---

1. Het Probleem: Misalignement tussen Tokenizers en Autoregressieve Modellen

Autoregressieve (AR) beeldgeneratiemodellen, geïnspireerd op taalmodellen zoals GPT, voorspellen het volgende token op basis van voorgaande tokens. Dit vereist een strikt unidirectionele (richting-afhankelijke) afhankelijkheid in de tokensequentie.

Het fundamentele probleem ligt in de aard van conventionele beeldtokenizers (zoals VQ-VAE of VQ-GAN):

• Bidirectionele afhankelijkheid: Beelden hebben een hoge ruimtelijke redundantie. Om een compacte en hoogwaardige reconstructie te bereiken, laten conventionele tokenizers tokens vaak afhankelijk zijn van hun volledige context, inclusief "toekomstige" tokens in de raster-scan volgorde.
• Conflict met AR-modellen: Omdat de representatie van een token functioneel afhankelijk is van toekomstige inhoud (die voor het AR-model onzichtbaar is tijdens het genereren), wordt de conditionele waarschijnlijkheidsverdeling die het AR-model moet leren extreem onzeker (hoog entropie).
• Gevolg: Dit leidt tot een slechte trainingsprestatie en beperkte generatieve kwaliteit van standaard decoder-only AR-modellen. Bestaande oplossingen proberen het model aan te passen (bijv. door masked autoregressive of next-scale prediction), maar dit verliest de eenvoud en schaalbaarheid van de pure AR-paradigma.

2. Methodologie: AliTok (Aligned Tokenizer)

De auteurs introduceren AliTok, een nieuwe tokenizer die de data (de tokensequentie) aanpast in plaats van het model. Het doel is om een tokensequentie te creëren die zowel semantisch rijk is als een sterke voorwaartse afhankelijkheid (forward-dependency) bezit.

Kernarchitectuur en Training:

1. Causale Decoder als Regularisator:

   • AliTok gebruikt een bidirectionele encoder (voor efficiënte compressie en globale semantiek) maar koppelt deze aan een causale decoder tijdens de eerste trainingsfase.
   • De decoder mag tijdens de reconstructie alleen kijken naar tokens die voorafgaan aan het huidige token in de raster-scan volgorde.
   • Dit dwingt de encoder om de informatie zo te coderen dat de reconstructie van een patch volledig mogelijk is met alleen de "geschiedenis" van de tokens. Hierdoor leert de encoder een autoregressief gestructureerde representatie.

2. Prefix Tokens:

   • Een puur causale structuur leidt tot een slechte reconstructie van de eerste rij van het beeld (geen voorgaande context).
   • Oplossing: Er worden 16 prefix-tokens toegevoegd die specifiek zijn toegewezen aan de eerste rij. Deze worden geoptimaliseerd via een auxiliary loss (Laux) die zorgt voor de nodige contextuele priors zonder de gradienten van de rest van het beeld te beïnvloeden.

3. Twee-staps Trainingsstrategie:

   • Fase 1: Train de encoder en codebook met de causale decoder om een "generatie-vriendelijke" encoder te krijgen.
   • Fase 2: Vries de encoder en codebook in en train een krachtige bidirectionele decoder opnieuw. Dit herstelt de reconstructiekwaliteit (detail en continuïteit) die in Fase 1 mogelijk iets was ingeleverd, zonder de causale structuur van de tokens te breken.

3. Belangrijkste Bijdragen

1. Identificatie van de oorzaak: De auteurs tonen aan dat het fundamentele obstakel voor AR-beeldgeneratie de misalignement is tussen de bidirectionele aard van conventionele tokenizers en de unidirectionele aard van AR-modellen.
2. AliTok Ontwerp: Een eenvoudige maar effectieve tokenizer-architectuur die een causale bias in de tokensequentie installeert via een causale decoder-constraint, terwijl reconstructiekwaliteit behouden blijft.
3. SOTA Prestaties: Met een standaard decoder-only AR-model (zonder complexe masking of multi-scale strategieën) wordt de state-of-the-art (SOTA) bij diffusiemodellen verslagen op ImageNet.

4. Resultaten

De resultaten tonen een opmerkelijke verbetering in zowel kwaliteit als efficiëntie:

• ImageNet-256x256:

  • Het AliTok-XL model (662M parameters) bereikt een gFID van 1.28 (met classifier-free guidance).
  • Dit is beter dan de SOTA diffusiemethode LightningDiT (gFID 1.35) en verslaat ook de beste masked autoregressieve modellen.
  • Snelheid: AliTok-XL is 10x sneller in sampling dan LightningDiT dankzij het gebruik van KV-cache (Key-Value caching), wat mogelijk is door de strikt causale structuur.
  • Zelfs het kleine AliTok-B model (177M parameters) bereikt een gFID van 1.44, wat beter is dan veel grotere AR-modellen (zoals LlamaGen-3B).

• ImageNet-512x512:

  • Het AliTok-L model (318M parameters) bereikt een gFID van 1.39, wat een nieuwe SOTA is voor deze resolutie.

• Reconstructie:

  • Door de tweede trainingsfase (bidirectionele decoder) bereikt AliTok een reconstructie-kwaliteit (rFID 0.86) die vergelijkbaar is met de beste tokenizers, ondanks de causale beperkingen in de eerste fase.

5. Betekenis en Impact

• Herdefiniëren van de Paradigma: Het paper bewijst dat je niet per se het generatiemodel hoeft te ingewikkeld te maken (zoals masked attention of random orders) om goede resultaten te behalen. Door de data (tokens) aan te passen aan de beperkingen van het model, kan een simpele, schaalbare decoder-only architectuur de beste prestaties leveren.
• Efficiëntie: De combinatie van hoge kwaliteit en extreem snelle sampling (door KV-cache) maakt autoregressieve modellen opnieuw zeer competitief ten opzichte van diffusiemodellen voor praktische toepassingen.
• Multimodale Unificatie: De methode biedt een sterke basis voor multimodale modellen (tekst + beeld) omdat het gebruik maakt van een standaard AR-architectuur, wat de integratie van taal en visuele data vereenvoudigt.

Conclusie: AliTok lost het fundamentele conflict tussen beeldtokenizers en autoregressieve modellen op door de tokensequentie "causaal te maken" tijdens het coderingsproces. Dit stelt standaard AR-modellen in staat om SOTA-diffusiemodellen te verslaan in zowel kwaliteit als snelheid.