WinTok: A Win-Win Hybrid Tokenizer via Decomposing Visual Understanding and Generation with Transferable Tokens

Technische Samenvatting van WinTok

Probleemstelling
Unificerende multimodale modellen beogen visueel begrip en generatie te verbinden binnen één enkel autoregressief raamwerk. Deze taken stellen echter tegenstrijdige eisen aan visuele tokenisatie. Visueel begrip vereist hoogwaardige, continue semantische abstracties om abstracte concepten te vangen, terwijl visuele generatie vertrouwen stelt op laagwaardige, discrete tokens om nauwkeurige pixelreconstructie en hoogwaardige synthese te waarborgen. Bestaande benaderingen staan voor een dilemma:

1. Dubbele Encoders: Het gebruik van aparte tokenizers voor elke taak vermijdt conflicten, maar introduceert aanzienlijke modelcomplexiteit en faalt in het bereiken van ware unificatie.
2. Gecombineerde Encoders: Het dwingen van één set tokens om zowel semantische abstractie als pixelreconstructie te verwerken, leidt tot optimalisatieconflicten, resulterend in prestatiecompromissen waarbij geen enkele taak optimale resultaten behaalt.

Methodologie: WinTok
De auteurs stellen WinTok voor, een beknopte hybride tokenizer ontworpen om de doelen van visueel begrip en generatie te ontkoppelen terwijl een unificerend architectuur behouden blijft. De kerninnovatie ligt in de expliciete decompositie van taken met behulp van twee onderscheiden token-types binnen één enkele gecombineerde encoder:

1. Hybride Tokenisatie Architectuur:

   • Gecombineerde Encoder: Een Vision Transformer (ViT) ontvangt de invoerafbeelding.
   • Pixel Tokens: De encoder genereert pixel tokens uit de invoerafbeeldingspatches. Deze tokens behouden rijke lokale details en zijn geoptimaliseerd voor visuele generatie.
   • Leerbare Semantische Tokens: Een set leerbare tokens wordt geïntroduceerd als extra invoer voor de gecombineerde encoder. Deze tokens zijn geoptimaliseerd om hoogwaardige globale semantics te vangen voor visueel begrip.
   • Fusie: De pixel tokens en leerbare tokens worden samengevoegd en verwerkt door de gecombineerde encoder, waardoor ze adaptief complementaire contextuele informatie kunnen integreren.

2. Asymmetrische Token Distillatie:
   Om de willekeurig geïnitieerde leerbare tokens uit te rusten met sterke discriminatieve kracht, introduceren de auteurs een asymmetrisch token distillatiemechanisme:

   • Een vooraf getraind visueel fundamenteel model (bijv. SigLIP2) fungeert als een "semantische leraar".
   • De leraar haalt semantische tokens uit de invoerafbeelding.
   • Globale pooling wordt toegepast op zowel de tokens van de leraar als de leerbare tokens van het model om globale vectoren te verkrijgen.
   • Een cosine-afstandsfout leidt de optimalisatie van de leerbare tokens om de semantische kennis van de leraar te erven, waardoor representatieve capaciteiten effectief worden overgedragen zonder dat de leraar deel hoeft uit te maken van de generatiepijplijn.

3. Trainingsdoelen:

   • Semantische Fout: Minimaliseert de afstand tussen de gepoolde leerbare tokens en de semantische tokens van de leraar.
   • Pixel Fout: De pixel tokens worden gekwantiseerd via een Multi-codebook Quantization (MCQ) module en gereconstrueerd met behulp van een decoder. De optimalisatie omvat pixelreconstructiefout, codebook-leerfout, perceptuele fout en adversariële fout.

Belangrijkste Bijdragen

• Ontkoppeling via Overdraagbare Tokens: WinTok lost het inherente conflict tussen begrip en generatie op door leerbare tokens te gebruiken voor semantische abstractie en pixel tokens voor reconstructie, waardoor de complexiteit van dubbele encoders wordt vermeden.
• Asymmetrische Distillatie: De methode stelt leerbare tokens in staat sterke semantische representaties te erven van fundamentele modellen, wat de begrijpingscapaciteiten verbetert zonder de generatietrouw te compromitteren.
• Efficiëntie: De aanpak bereikt hoge prestaties met aanzienlijk minder trainingsdata (50 miljoen afbeeldingen) en een verkleinde codebook-grootte in vergelijking met sterke baselines.

Experimentele Resultaten
Geëvalueerd over 10 benchmarks, toont WinTok consistente verbeteringen in reconstructie, begrip en generatie:

• Reconstructie & Classificatie: Op de ImageNet-1K validatieset bereikt WinTok een Top-1 classificatie-accuraatheid van 82,0%, wat de sterke baseline UniTok met 11,2% overtreft. Het behoudt een concurrerende reconstructiekwaliteit met een rFID van 0,41, vergelijkbaar met UniTok, ondanks het gebruik van aanzienlijk minder trainingsdata (50 miljoen versus 1 miljard) en een kleinere codebook-capaciteit ($2^{48}$ versus $2^{96}$).
• Multimodaal Begrip: Geïntegreerd met een LLM (Qwen3-8B), presteert WinTok beter dan UniTok op de POPE-benchmark met 3,3% en behaalt concurrerende resultaten op GQA, TextVQA en MMBench.
• Visuele Generatie: In tekst-naar-afbeelding generatietaken (GenEval en DPG-Bench) overtreft WinTok UniTok (0,76 versus 0,59 op GenEval) en toont concurrerende prestaties ten opzichte van grootschalige diffusiemodellen en andere autoregressieve systemen.
• Ablatiestudies: Experimenten bevestigen dat het vergroten van het aantal leerbare tokens beide taken verbetert. Bovendien verslechtert het omkeren van de rollen (het gebruik van leerbare tokens voor reconstructie) de prestaties ernstig, wat de specifieke ontwerpkeuze valideert om semantische en pixelverantwoordelijkheden te scheiden.

Betekenis en Claims
Het artikel claimt dat WinTok een veelbelovende richting biedt voor unificerende multimodale modellering door effectief het evenwicht te vinden tussen de uiteenlopende behoeften van visueel begrip en generatie. Door deze doelen te decomponeren via overdraagbare tokens, bereikt WinTok een "win-win" prestatie waarbij beide taken profiteren zonder de overhead van dubbele architecturen. De auteurs merken op dat hoewel de huidige implementatie beperkt is tot een dataset van 50 miljoen samples en specifieke architecturale keuzes, de hybride coderingsstrategie een flexibele basis biedt voor toekomstig onderzoek, met name bij het schalen van trainingscorpora en het gezamenlijk ontwerpen van unificerende architecturen.