🤖 machine learning

End-to-End Autoregressive Image Generation with 1D Semantic Tokenizer

Dit artikel stelt een end-to-end trainingspijplijn voor die een 1D semantische tokenizer en een autoregressief generatief model gezamenlijk optimaliseert, waarmee state-of-the-art prestaties voor beeldgeneratie worden bereikt met een FID van 1,48 op ImageNet 256x256.

Oorspronkelijke auteurs: Wenda Chu, Bingliang Zhang, Jiaqi Han, Yizhuo Li, Linjie Yang, Yisong Yue, Qiushan Guo

Gepubliceerd 2026-05-04

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Wenda Chu, Bingliang Zhang, Jiaqi Han, Yizhuo Li, Linjie Yang, Yisong Yue, Qiushan Guo

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een computer wilt leren afbeeldingen te tekenen door ze woord voor woord te beschrijven, zoals een verhalenverteller. Dit heet autoregressieve generatie. De computer raadt het volgende "woord" (in dit geval een visueel stukje) op basis van de eerdere stukken.

Er is echter een groot probleem met de manier waarop computers dit meestal doen.

Het Probleem: Het "Rooster" versus het "Verhaal"

De meeste computers die afbeeldingen maken, breken een plaatje op in een 2D-rooster (zoals een schaakbord). Ze proberen het plaatje te beschrijven door dit rooster rij voor rij te lezen, zoals je een boek leest.

Het Probleem: In een rooster hangt het stukje in de rechterbovenhoek af van het stukje in de linkerbenedenhoek. Maar in een verhaal (een 1D-lijst) kun je niet over het einde van het verhaal praten voordat je het begin hebt verteld. Deze mismatch maakt de computer verward en de afbeeldingen zien er rommelig uit.

Eerdere pogingen probeerden dit op te lossen door ofwel:

De verhaalvolgorde te veranderen: De computer dwingen het rooster op vreemde, willekeurige volgorde te lezen (zoals een boek achterstevoren lezen of rond te springen).
Het rooster plat te drukken: Het 2D-plaatje verpletteren tot één lange lijn van gegevens. Maar vaak werd het plaatje hierdoor zo hard verpletterd dat details verloren gingen, of kon de computer niet goed leren ze te tekenen.

De Oplossing: EOSTok (Het "End-to-End" Team)

De auteurs van dit artikel hebben een nieuw systeem bedacht dat EOSTok heet. Zie het als een team van twee werknemers die samen leren, in plaats van dat de één de ander traint.

1. De Twee Werknemers

Werknemer A (De Tokenizer): Dit is de "compressor". Hij neemt een foto in hoge definitie en plakt deze samen tot een korte, 1D-lijst van "tokens" (zoals een geheime code).
Werknemer B (De Generator): Dit is de "verhalenverteller". Hij kijkt naar de geheime code en probeert het volgende token in de lijst te voorspellen om de afbeelding te reconstrueren.

2. De Oude Weg (De "Twee-Fasen" Fout)

Voorheen trainden deze werknemers apart:

Fase 1: Werknemer A werd alleen getraind om het plaatje perfect samen te drukken. Zodra hij klaar was, werd hij bevroren (op zijn plek vergrendeld).
Fase 2: Werknemer B werd getraind om de tokens te voorspellen.
De Fout: Werknemer A wist niet dat Werknemer B degene zou zijn die de tokens zou gebruiken. Dus, Werknemer A maakte misschien een code die geweldig was voor ruimtebesparing, maar vreselijk voor het voorspellen van de volgende stap. Het was alsof een vertaler een boek schrijft in een taal die de volgende vertaler niet kan begrijpen.

3. De Nieuwe Weg (End-to-End Training)

EOSTok traint beide werknemers tegelijkertijd.

De Feedbacklus: Als Werknemer B (de verhalenverteller) een fout maakt, reist het foutsignaal helemaal terug naar Werknemer A. Werknemer A leert: "Oh, ik moet mijn geheime code iets aanpassen zodat Werknemer B het volgende deel makkelijker kan voorspellen."
Het Resultaat: Ze evolueren samen. Werknemer A leert een code te maken die niet alleen een goede compressie is, maar een code die makkelijk te voorspellen is.

Het Geheim: Drie Trucs

Om dit perfect te laten werken, voegden de auteurs drie speciale ingrediënten toe:

1. De "Pixel-Check" (APR Loss)
Meestal controleert de computer alleen of de voorspelling van het "volgende token" correct is. Maar soms wordt de computer heel goed in het raden van tokens, maar produceert hij uiteindelijk een wazig, lelijk plaatje.

De Oplossing: Het systeem neemt de gissing van de computer voor het volgende token, zet dit terug om in een plaatje, en controleert of dat plaatje eruitziet als het echte. Dit dwingt de computer om om te gaan met de kwaliteit van het uiteindelijke plaatje, niet alleen met het spelletje tokens raden.

2. De "Slimme Leraar" (Vision Foundation Models)
De auteurs haalden een "Slimme Leraar" erbij (een voorgetrainde AI die al weet hoe objecten eruitzien).

De Valstrik: Als je de 1D-lijst dwingt er exact uit te zien als het 2D-kaartje van de Leraar, verlies je het voordeel van de 1D-lijst (het wordt weer een rooster).
De Oplossing: Ze gebruikten een methode genaamd "Impliciete Uitlijning". In plaats van de 1D-lijst te dwingen het kaartje van de Leraar te kopiëren, zorgden ze ervoor dat het verborgen begrip binnen het systeem overeenkwam met de kennis van de Leraar. Het is alsof je een student de concepten laat leren van een leraar zonder hen te dwingen het handschrift van de leraar te kopiëren. Dit houdt de 1D-stroom soepel, maar maakt de inhoud veel slimmer.

3. De "Codeboek" Balans
Het systeem gebruikt een woordenboek (codeboek) van visuele tokens.

Als het woordenboek te klein is, zien de plaatjes er blokachtig uit.
Als het woordenboek te enorm is, raakt de computer in de war bij het kiezen van het juiste woord.
De auteurs ontdekten dat door de computer groter (krachtiger) te maken, hij een groter woordenboek kon verwerken zonder in de war te raken, waardoor de afweging tussen detail en voorspelbaarheid werd opgelost.

De Resultaten

Het artikel beweert dat deze nieuwe methode een enorm succes is.

Op een standaardtest (ImageNet 256x256) behaalde hun model een score van 1.48 (lager is beter).
Dit is een State-of-the-Art resultaat, wat betekent dat het momenteel het beste ter wereld is voor dit specifieke type afbeeldingsgeneratie zonder gebruik van extra begeleidingstrucs.
Het model werkt beter naarmate het groter wordt (schalen), wat bewijst dat het systeem robuust is.

Kortom: EOSTok is een nieuwe manier om computers te leren tekenen door de "compressor" en de "voorspeller" samen te laten leren, hun werk te controleren tegen echte pixels, en een slimme leraar te gebruiken om hen te begeleiden zonder hen in een star rooster te dwingen. Het resultaat is een computer die ongelooflijk realistische afbeeldingen kan genereren door simpelweg het volgende stukje van een puzzel te voorspellen.

1. Probleemstelling

Autoregressieve (AR) beeldgeneratie heeft zich ontwikkeld tot een sterk alternatief voor diffusiemodellen, waarbij het vertrouwt op discrete visuele tokens om afbeeldingen te comprimeren tot latente representaties. Echter, bestaande aanpakken staan voor twee hoofduitdagingen:

Ruimtelijke Misalignering: De meeste beeldtokenizers gebruiken 2D-roosterstructuren (die de ruimtelijke lay-out behouden). Dit induceert bidirectionele afhankelijkheden tussen tokens, wat in strijd is met de unidirectionele factorisatie die vereist is voor standaard raster-volgorde AR-modellering.
Suboptimale Trainingsparadigma's: Huidige methoden maken doorgaans gebruik van een tweestaps trainingsstrategie: eerst wordt een tokenizer getraind voor reconstructie (bevroren), waarna een AR-model wordt getraind op de resulterende tokens. Dit verhindert dat de tokenizer zich aanpast aan de specifieke behoeften van de generatieve taak.
Kloof in Verliesfuncties: De Next-Token Prediction (NTP) verliesfunctie die wordt gebruikt in AR-modellen werkt in discrete tokenruimte en correleert niet direct met de uiteindelijke kwaliteit van de generatie in pixelruimte. Optimalisatie uitsluitend voor NTP kan leiden tot "latente ruimte-instorting", waarbij de tokenizer slechts enkele tokens gebruikt om de voorspellingsfout te minimaliseren, wat de beeldkwaliteit verslechtert.

2. Methodologie: EOSTok

De auteurs stellen EOSTok (End-to-end One-dimensional Semantic Tokenizer) voor, een framework dat gezamenlijk een 1D-vision tokenizer en een AR-generatief model optimaliseert in een single-stage pipeline.

A. 1D Vision Transformer Tokenizer

Architectuur: Gebaseerd op een ViT-autoencoderstructuur (vergelijkbaar met TiTok).
Proces: 2D-beeldpatches worden platgelegd en geconcateneerd met leerbare query-tokens. Een causale ViT-encoder verwerkt deze sequentie en geeft alleen de 1D-late tokens uit (ruimtelijke patch-embeddings worden verworpen).
Kwantisering: Gebruikt IBQ (Improved Bottleneck Quantization) om continue latente vectoren af te beelden op een discrete codebook, waardoor AR-modellering mogelijk wordt.
Decoder: Een 1D ViT-decoder reconstructeert afbeeldingen door de gekwantiseerde tokens te concateneren met leerbare mask-tokens.

B. End-to-End Gezamenlijke Training

In plaats van de tokenizer te bevriezen, worden de encoder, decoder en het AR-model gelijktijdig getraind. De totale verliesfunctie combineert:

Reconstructieverlies ( $L_{recon}$ ): Standaard VQ-VAE-verliezen (L1/L2, Perceptueel, GAN) om beeldkwaliteit te waarborgen.
Next-Token Prediction-verlies ( $L_{NTP}$ ): Standaard cross-entropy-verlies voor het AR-model.
Autoregressive Prediction Reconstruction (APR) Verlies ( $L_{APR}$ ):
- De Innovatie: Om de kloof tussen tokenvoorspelling en pixelkwaliteit te overbruggen, worden de door het AR-model voorspelde tokens (in teacher-forcing-modus) door de decoder van de tokenizer teruggecodeerd naar pixelruimte.
- Mechanisme: Het verlies vergelijkt deze gereconstrueerde pixels met de ground-truth afbeelding.
- Effect: Dit biedt end-to-end generatieve supervisie aan de tokenizer, waardoor wordt voorkomen dat de tokenizer de NTP-verliesfunctie "hackt" door de latente ruimte in te storten (door te weinig tokens te gebruiken).

C. Semantische Representatie-Alignering (VFM)

Om globale semantische informatie in te brengen zonder 2D-ruimtelijke priors af te dwingen (wat de AR-prestaties zou schaden), stellen de auteurs Implicit Alignering voor:

Directe Alignering (Verworpen): Het direct aligneren van 1D-late tokens met 2D-VFM-features dwingt een 2D-structuur op de 1D-ruimte, wat de prestaties verslechtert.
Directe Substitutie (Verworpen): Het vervangen van beeldpatches door VFM-features als input.
Implicit Alignering (Voorgesteld): Aligneert de verborgen patch-embeddings van de 1D-encoder (voordat de query-tokens worden geëxtraheerd) met de VFM-features (bijvoorbeeld van DINOv2). Dit distilleert semantische kennis in de sequentiële latente ruimte zonder expliciete 2D-ruimtelijke beperkingen op te leggen.
Decoder Alignering: De decoder wordt ook gealigneerd met VFM-features om reconstructie te behandelen als een conditionele generatietak, wat de convergentie ondersteunt.

3. Belangrijkste Bijdragen

End-to-End Trainingsframework: Een nieuw single-stage pipeline dat reconstructie en generatie gezamenlijk optimaliseert, waardoor de tokenizer representaties kan leren die specifiek zijn afgestemd op AR-modellering.
APR Verlies: Een kritieke verliesfunctie die AR-voorspellingen decodes naar pixelruimte, waardoor wordt gewaarborgd dat de tokenizer een latente ruimte leert die zowel reconstructief als generatief voorspelbaar is, wat latente instorting voorkomt.
Implicit Semantische Alignering: Een strategie om Vision Foundation Models (VFMs) te benutten voor 1D-tokenizers, wat de generatiekwaliteit verbetert zonder de 2D-ruimtelijke bias opnieuw in te voeren die AR-modellering belemmert.
State-of-the-Art Prestaties: Het behalen van SOTA-resultaten op ImageNet 256×256 generatie zonder classifier guidance.

4. Experimentele Resultaten

Het model werd geëvalueerd op de ImageNet-1K 256×256 benchmark.

Generatiekwaliteit:
- EOSTok-H (644M parameters): Bereikt een gFID van 1,48 (zonder guidance) en een IS van 239,5. Dit is een nieuwe state-of-the-art voor AR-modellen zonder guidance, beter dan diffusiegebaseerde modellen zoals REPA-XL/2 (gFID 1,42 met guidance) en andere AR-baselines.
- EOSTok-L (312M parameters): Bereikt een gFID van 1,74 zonder guidance.
Reconstructiekwaliteit:
- EOSTok-L bereikt een rFID van 0,73, wat hoge-fideliteit reconstructiecapaciteiten aantoont.
Ablatiestudies:
- APR Verlies: Zonder APR daalt het codebookgebruik drastisch (van ~99% naar ~51%) en verslechtert de gFID aanzienlijk (8,01 versus 3,32).
- Semantische Alignering: Implicit alignering verbetert de gFID van 12,27 (baseline) naar 3,32. Directe alignering verslechtert de prestaties, wat bevestigt dat 2D-priors schadelijk zijn voor 1D AR-modellering.
- Sequentievolgorde: Modellen getraind met end-to-end supervisie tonen aanzienlijk betere prestaties op originele tokensequenties in vergelijking met omgekeerde of willekeurige sequenties, wat bewijst dat de latente ruimte is geoptimaliseerd voor causale voorspelling.
- Schaling: De prestaties verbeteren consistent met modelgrootte (S tot H) en codebookgrootte, waarbij grotere modellen de afweging tussen reconstructie en generatie mitigeren.

5. Betekenis

Dit paper verschuift fundamenteel het paradigma van autoregressieve beeldgeneratie:

Van Tweestaps naar Eénstaps: Het demonstreert dat het gezamenlijk trainen van tokenizer en generator superieure resultaten oplevert in vergelijking met de traditionele bevroren-tokenizer-aanpak.
Levensvatbaarheid van 1D-tokenisatie: Het bewijst dat 1D-tokenizers, wanneer correct getraind met semantische begeleiding en end-to-end feedback, 2D-roostergebaseerde tokenizers kunnen overtreffen voor AR-generatie door ruimtelijke afhankelijkheidsconflicten te elimineren.
Overbruggen van de Verlieskloof: De introductie van APR-verlies lost het kritieke probleem op waarbij optimalisatie op token-niveau niet vertaalt naar kwaliteit op pixel-niveau, een veelvoorkomende bottleneck in discrete generatieve modellering.
Schalbaarheid: De methode schaalt effectief, met SOTA-resultaten behaald met een model van 644M parameters, wat een veelbelovend pad suggereert voor het schalen van AR-visionmodellen naar grotere maten.