MacTok: Robust Continuous Tokenization for Image Generation

Titel: MacTok: Robuuste Continue Tokenisatie voor Beeldgeneratie

Auteurs: Hengyu Zeng, Xin Gao, Guanghao Li, et al. (Fudan University)

---

1. Het Probleem: Posterior Collapse in Continue Tokenizers

Moderne generatieve modellen (zoals diffusion- en autoregressieve modellen) zijn afhankelijk van tokenizers die ruwe beelden comprimeren naar een compacte latente ruimte. Er zijn twee hoofdsoorten:

• Discrete tokenizers (bijv. VQ-VAE): Gebruiken een codebook, maar lijden vaak onder kwantisatiefouten en beperkte gradiëntstroom.
• Continue tokenizers (bijv. KL-VAE): Mappen beelden naar een continue, Gaussische latente ruimte. Dit biedt soepele representaties, maar heeft een groot nadeel: posterior collapse.

Bij sterke compressie (weinig tokens) en sterke KL-regularisatie neigt de encoder ertoe om de informatieve kenmerken van het beeld te negeren. In plaats daarvan leert het model om de latente variabelen direct naar de prior-verdeling (een isotrope Gaussische verdeling) te duwen. Hierdoor verliest de latente ruimte zijn semantische betekenis, wat leidt tot slechte reconstructie en generatiekwaliteit. Bestaande oplossingen vereisen vaak delicate hyperparameter-tuning en lossen het probleem niet fundamenteel op.

2. Methodologie: MacTok

MacTok is een 1D continue tokenizer die posterior collapse voorkomt door twee kernstrategieën te combineren: geavanceerde masking en representatie-alignatie.

A. Maskering voor Behoud van Informatie

Om te voorkomen dat de decoder beelden puur uit de prior reconstitueert, dwingt MacTok het model om informatie te infereren uit onvolledige data. Er worden twee masking-technieken gebruikt (met gelijke waarschijnlijkheid tijdens training):

1. Willekeurige Maskering (Random Masking): Een willekeurig deel van de beeldpatches wordt gemaskeerd voordat het de encoder bereikt. Dit dwingt de latente tokens om de ontbrekende informatie te voorspellen op basis van de zichtbare context.
2. Semantische Maskering (DINO-gestuurd): In plaats van willekeurig te maskeren, gebruikt MacTok DINOv2-features om de meest informatieve regionen in een beeld te identificeren. De patches met de hoogste semantische relevantie (gebaseerd op de gelijkenis met het classificatie-token) worden gemaskeerd.
   • Doel: Dit maakt de reconstructietak veel moeilijker en dwingt de latente ruimte om robuuste, object-gerelateerde semantische structuren te coderen, in plaats van alleen lokale patronen.

B. Representatie-alignatie (Global & Local)

Om de semantische consistentie te versterken, aligneert MacTok de latente representaties met features van een vooraf getraind visueel model (DINOv2):

• Lokale Alignatie: Elke latente token wordt gealigneerd met de corresponderende patch-features van DINOv2.
• Globale Alignatie: Een geglobaliseerde latente representatie (via pooling) wordt gealigneerd met het classificatie-token van DINOv2.
• Dit zorgt ervoor dat de latente ruimte niet alleen compact is, maar ook semantisch gestructureerd en discriminatief.

C. Architectuur

MacTok gebruikt een Vision Transformer (ViT) als zowel encoder als decoder. Het verwerkt een sequentie van beeldtokens en learnable latentetokens. De loss functie bestaat uit reconstructie, perceptuele verlies, adversariaal verlies, KL-divergentie en de nieuwe representatie-alignatie loss.

3. Belangrijkste Bijdragen

1. Identificatie van de oorzaak: Het paper toont aan dat posterior collapse in continue tokenizers een vorm van over-regularisatie is die semantische informatie onderdrukt, en dat het handhaven van informatieflow via reconstructie van onvolledige input dit stabiliseert.
2. Innovatieve Masking-strategie: De introductie van DINO-gestuurde semantische masking in combinatie met willekeurige masking. Dit is een fundamentele verschuiving ten opzichte van eerdere methoden die alleen willekeurige masking of geen masking gebruikten.
3. Dual Alignatie: Een lichtgewicht methode voor zowel lokale als globale representatie-alignatie die werkt met variabele tokenlengtes, wat leidt tot een beter gestructureerde latente ruimte.
4. Extreme Compressie: MacTok demonstreert dat het mogelijk is om hoogwaardige beeldgeneratie te bereiken met slechts 64 of 128 tokens (een reductie van tot 64x vergeleken met traditionele methoden die vaak 1024 tokens nodig hebben).

4. Resultaten

De methode is geëvalueerd op het ImageNet-dataset (256×256 en 512×512 resolutie) in combinatie met generatieve modellen zoals SiT-XL en LightningDiT.

• Generatiekwaliteit (gFID):
  • Bij 256×256: MacTok bereikt een gFID van 1.44 (met SiT-XL en 128 tokens).
  • Bij 512×512: MacTok bereikt een state-of-the-art gFID van 1.52 (met SiT-XL en 128 tokens).
  • Deze resultaten zijn concurrerend met of beter dan bestaande state-of-the-art methoden, ondanks het gebruik van veel minder tokens.
• Reconstructie (rFID):
  • MacTok behaalt uitstekende reconstructie scores (rFID 0.43 bij 128 tokens en 0.75 bij 64 tokens), wat aantoont dat de latente ruimte rijk is aan informatie.
• Efficiëntie:
  • De methode reduceert het aantal tokens met een factor tot 64x ten opzichte van conventionele tokenizers, wat leidt tot snellere training en inferentie van de generatieve modellen.
• Ablatie Studies:
  • Experimenten bevestigen dat zowel masking als representatie-alignatie essentieel zijn. Zonder masking treedt er collapse op; zonder alignatie is de semantische structuur minder scherp.

5. Betekenis en Impact

MacTok is een doorbraak in het veld van visuele generatie omdat het de fundamentele beperking van continue tokenizers (posterior collapse) oplost zonder in te leveren op compressie.

• Efficiëntie: Het maakt het mogelijk om hoogwaardige generatieve modellen te trainen met extreem korte token-sequenties, wat de rekentijd en het geheugenverbruik drastisch verlaagt.
• Robuustheid: De combinatie van semantische masking en alignatie zorgt voor een latente ruimte die niet alleen compact is, maar ook semantisch betekenisvol en gestructureerd.
• Toekomstperspectief: Dit werk opent de deur voor nog efficiëntere generatieve systemen en suggereert dat masking-technieken (vaak gebruikt in taalmodellen) ook cruciaal zijn voor het succes van continue visuele tokenizers.

Kortom, MacTok bewijst dat door slimme masking en semantische gidsen, continue tokenizers kunnen concurreren met discrete methoden in kwaliteit, terwijl ze de voordelen van continue ruimtes (zoals soepelheid) behouden en tegelijkertijd extreem efficiënt zijn.