🤖 AI

Variable-Length Tokenization via Learnable Global Merging for Diffusion Transformers

Dit artikel introduceert een nieuwe variabele-lengte tokenizer voor Diffusion Transformers die superieure kwaliteit-rekenkracht-afwegingen bereikt door gebruik te maken van leerbare globale samenvoeging om data-onafhankelijke, cross-length representatie-uitlijning mogelijk te maken, waarmee de semantische uitlijningsproblemen die inherent zijn aan traditionele afkapgebaseerde methoden worden overwonnen.

Oorspronkelijke auteurs: Dong Hoon Lee, Seunghoon Hong

Gepubliceerd 2026-06-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Dong Hoon Lee, Seunghoon Hong

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een high-definition film naar een vriend probeert te sturen. Als je het hele bestand ongecomprimeerd stuurt, duurt het eeuwig om te downloaden en verbruik je een enorme hoeveelheid data. Als je het te veel comprimeert, wordt het beeld wazig en gepixeldeerd.

Lama een tijdje liepen AI-beeldgeneratoren (zoals de generatoren die afbeeldingen maken op basis van tekst) tegen precies dit probleem aan. Ze gebruiken een "tokenizer"—een vertaler die een afbeelding opbreekt in kleine stukjes die tokens worden genoemd.

Hoge compressie (weinig tokens) = Snel en goedkoop, maar het beeld ziet er slecht uit.
Lage compressie (veel tokens) = Geweldige kwaliteit, maar traag en duur.

Voorheen moest je, als je een andere balans tussen snelheid en kwaliteit wilde, een compleet ander AI-model trainen voor elke instelling. Het was alsof je een andere automotor nodig had om slechts 10 km/u langzamer te rijden.

Het probleem met "afsnijden"

Sommige onderzoekers probeerden dit op te lossen door "variabele lengte" tokenizers te creëren. Hun idee was simpel: "Laten we gewoon het einde van de tokenlijst afsnijden als we ruimte willen besparen."

Denk hierbij aan een boek waarbij de belangrijkste plotpunten op pagina 1 staan, en de kleine details op pagina 100. Als je een kortere versie wilt, scheur je gewoon de laatste 50 pagina's eraf.

De adder onder het gras: Dit verandert het verhaal. De "korte" versie focust alleen op het grote plaatje, terwijl de "lange" versie de minuscule details bevat. Omdat de inhoud zo verschillend is, raakt de AI in de war. Het is alsof je een student probeert te leren lezen van zowel een kort verhaal als een lange roman met hetzelfde tekstboek, maar de hoofdstukken volledig anders zijn. De AI heeft moeite om beide tegelijk te leren, wat leidt tot wazige of vreemde afbeeldingen.

De oplossing: "Samenvoegen" in plaats van afsnijden

De auteurs van dit paper stellen een slimmere manier voor: Samenvoegen in plaats van afsnijden.

Stel je voor dat je een groep van 100 mensen (tokens) hebt die in een lijn staan.

De oude manier (afsnijden): Als je minder mensen nodig hebt, stuur je de laatste 50 gewoon naar huis. De overgebleven 50 staan nog steeds op exact dezelfde plekken.
De nieuwe manier (samenvoegen): Als je minder mensen nodig hebt, vraag je aan mensen die op elkaar lijken om samen te klonteren en één "superpersoon" te vormen. Als twee mensen hetzelfde rode shirt dragen, versmelten ze tot één vertegenwoordiger van die groep.

Waarom is dit beter?

Consistentie: Of je nu 100 mensen hebt of 10 "supermensen", de groepen vertegenwoordigen dezelfde onderliggende structie. De "groep met het rode shirt" is er nog steeds, alleen compacter. Dit houdt de "het verhaal" consistent voor de AI, ongeacht hoeveel tokens je gebruikt.
Uitlijning: Omdat de groepen worden gevormd op basis van gelijkenis (en niet alleen op basis van positie), kan de AI één enkel model leren dat perfect werkt voor zowel korte als lange lijsten.

Het geheime ingrediënt: "Learnable Global Merging"

Er was één grote hindernis. Normaal gesproken, om te beslissen wie met wie samenvoegt, kijk je naar de specifieke afbeelding (bijv. "Deze twee pixels lijken op een kattenoor, dus voeg ze samen"). Maar wanneer een AI een nieuwe afbeelding vanuit het niets creëert, heeft hij de afbeelding nog niet! Hij kan niet naar de afbeelding kijken om te beslissen hoe hij moet samenvoegen.

De auteurs hebben dit opgelost met Learnable Global Merging.
Beschouw dit als een vooraf ingesteld regelboek of een "meesterplan" dat de AI tijdens de training leert. In plaats van naar de afbeelding te kijken om te beslissen wie samenvoegt, gebruikt de AI een vast, geleerd patroon (zoals een universele instructiehandleiding) dat zegt: "Token 1 voegt altijd samen met Token 2, Token 3 voegt samen met Token 4," ongeacht hoe de uiteindelijke afbeelding eruitziet.

Hoewel dit regelboek vaststaat (het verandert niet op basis van de afbeelding), traint de AI het zo goed dat het van nature vergelijkbare zaken bij elkaar groepeert. Dit stelt de AI in staat om precies te weten hoe de "samengevoegde" tokens behandeld moeten worden, zelfs voordat hij de afbeelding genereert.

De resultaten

De onderzoekers hebben dit getest op ImageNet (een enorme database met afbeeldingen). Ze ontdekten dat:

Hun methode het mogelijk maakt voor een enkele AI-model om afbeeldingen te genereren met verschillende snelheden en kwaliteiten zonder dat er voor elke instelling een nieuw model getraind hoeft te worden.
De afbeeldingen zien er beter uit en de wiskunde werkt efficiënter dan bij eerdere methoden die simpelweg tokens "afsnijden".
Ze hebben zelfs een kleine "fine-tuning" stap toegevoegd (met een techniek genaamd LoRA) die de AI nog beter maakt voor specifieke aantallen tokens, met bijna geen extra kosten.

Kortom: Ze hebben ontdekt hoe ze AI-beeldgeneratoren flexibel kunnen maken. In plaats van de AI te dwingen te kiezen tussen een "snel" model en een "goed" model, hebben ze een enkele, slimme vertaler gebouwd die de beelddata kan verkleinen of uitbreiden door vergelijkbare onderdelen intelligent samen te voegen, waardoor de kwaliteit hoog blijft en de kosten laag.

Technische Samenvatting: Variabele-lengte Tokenisatie via Leerbare Globale Merging voor Diffusion Transformers

1. Probleemstelling

Latente Diffusiemodellen (LDMs) vertrouwen op tokenizers om afbeeldingen te comprimeren naar latente ruimtes, wat een afweging creëert tussen generatiekwaliteit en computationele kosten. Conventionele tokenizers gebruiken een vaste compressieratio, wat meerdere modelvarianten noodzakelijk maakt om verschillende computationele budgetten of kwaliteitseisen te accommoderen.

Variabele-lengte Tokenizers (VLT's) zijn voorgesteld om dit aan te pakken door het aantal tokens adaptief aan te passen op basis van specifieke condities (bijv. het computationele budget). De gangbare methode, nested dropout, traint modellen om de staart-tokens van een geordende sequentie weg te laten, waarbij hoog-niveau semantiek in de vroege tokens wordt geplaatst en laag-niveau details in de latere tokens.

De auteurs identificeren echter een kritiek gebrek in nested dropout wanneer dit wordt toegepast op Diffusion Transformers (DiTs):

Cross-Length Shift: Het inkorten van een geordende sequentie verandert de paarwijze gelijkenisstructuur (representationele uitlijning) van de latente ruimte. Kortere sequenties focussen op kernsemantiek, terwijl langere sequenties residuele details bevatten.
Distributionele Mismatch: Deze verschuiving zorgt ervoor dat de latente distributie en de bijbehorende scorefunctie aanzienlijk variëren over verschillende token-lengtes. Bijgevolg faalt een enkel diffusiemodel dat gezamenlijk over verschillende lengtes is getraind effectief te generaliseren, en presteert het vaak slechter dan modellen die voor specifieke lengtes zijn getraind.
Beperking van Bestaande Oplossingen: Standaard loss-functies voor representatie-uitlijning vereisen dat token-dimensies overeenkomen (N = M), wat onmogelijk is in variabele-lengte settings waar de cardinaliteit verschilt.

2. Methodologie

Het paper stelt een nieuwe merging-gebaseerde variabele-lengte tokenizer voor die de lengte moduleert door tokens te combineren in plaats van ze te amputeren. De kerninnovatie is Learnable Global Merging (LGM), ontworpen om representatiele uitlijning te waarborgen over verschillende aantallen tokens, terwijl de compatibiliteit met generatieve modellen behouden blijft.

A. Merging-gebaseerde Lengtemodulatie
In plaats van tokens weg te laten, moduleert de methode de lengte door tokens te fuseren op basis van een toezijgingsmatrix $\Gamma$ .

Proportionele Aandacht: Om gefuseerde tokens te verwerken, maken de decoder en de Diffusion Transformer gebruik van proportionele aandacht, waarbij de aandachtsscore wordt aangepast door de effectieve clustergrootte ( $m_j$ ) van elk gefuseerd token.
Equivalentie van de Volledige Lengte Representatie: De auteurs demonstreren dat het verwerken van gemoduleerde latents met proportionele aandacht wiskundig equivalent is aan het verwerken van geprojecteerde full-length latents ($Wz$) met standaard aandacht. Deze equivalentie maakt het mogelijk om het verschil tussen de originele latents ( $z$ ) en de gefuseerde latents ($Wz$) direct te meten en te minimaliseren, wat de representatieverschuiving minimaliseert door het fuseren van gelijkaardige tokens te stimuleren.

B. Learnable Global Merging (LGM)
Een uitdaging ontstaat omdat standaard merging (bijv. agglomeratieve clustering) datariënt is, waarbij de fusiepatronen worden afgeleid van de invoerafbeelding. Dit is incompatibel met diffusiegeneratie, waarbij de doelafbeelding niet beschikbaar is.

Data-onafhankelijkheid: De auteurs introduceren Learnable Global Embeddings ( $e$ ) die onafhankelijk zijn van de invoerdata. Deze embeddings bepalen het fusiepatroon voor een gegeven reductiedoel.
Optimalisatie: Het fusiepatroon wordt afgeleid via agglomeratieve clustering op de leerbare embeddings. Omdat clustering discrete operaties omvat, wordt een straight-through trick toegepast om gradiëntgebaseerde optimalisatie van de embeddings mogelijk te maken.
Alignment Loss: Een alignment loss ( $L_{align}$ ) wordt geïntroduceerd om ervoor te zorgen dat de gelijkenisstructuur van de leerbare globale embeddings ( $e$ ) overeenkomt met de gelijkenisstructuur van de werkelijke latente tokens ( $z$ ). Dit stuurt het globale fusiepatroon aan om gelijkaardige tokens te groeperen, waardoor de door de merging-doelstelling gedefinieerde representatieverschuiving wordt geminimaliseerd.

C. Integratie met Diffusion Transformer

Positionele Embeddings: De methode gebruikt gefuseerde positionele embeddings, berekend op dezelfde wijze als de latents, om de positionele informatie van geaggregeerde tokens te verwerken.
Post-training: Een lichtgewicht LoRA (Low-Rank Adaptation) post-training stap wordt geïntroduceerd. Na gezamenlijke training over verschillende lengtes worden lengtespecifieke LoRA-parameters getraind voor enkele epochs om het model verder aan te passen aan specifieke token-aantallen met minimale overhead.

3. Belangrijkste Bijdragen

Merging-gebaseerde Tokenisatie: Een nieuwe VLT-architectuur die de lengte moduleert via token-merging, wat directe representatiele uitlijning over verschillende token-aantallen mogelijk maakt door de verschuiving tussen originele en gefuseerde latents te minimaliseren.
Learnable Global Merging: Een data-onafhankelijk fusiemechanisme dat de incompatibiliteit tussen datariënt fusie en diffusiegeneratie oplost, waardoor het fusiepatroon tijdens inferentie toegankelijk is.
Verbeterde Kwaliteit-Compute Trade-off: De integratie van deze tokenizer met een Diffusion Transformer bereikt superieure prestaties in het balanceren van generatiekwaliteit (gFID) en computationele kosten vergeleken met bestaande VLT-methoden.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op ImageNet 256×256 class-conditional generatie.

Representatiele Uitlijning: De voorgestelde methode bereikt significant hogere Centered Kernel Nearest-Neighbor Alignment (CKNNA) scores over verschillende token-lengtes vergeleken met nested dropout. Opvallend genoeg is de uitlijning vaak hoger dan die van onafhankelijk getrainde fixed-length tokenizers.
Prestaties bij Gezamenlijke Training:
- Nested Dropout: Vertoont een grote prestatiekloof (0.8–1.7 gFID) tussen modellen die gezamenlijk over verschillende lengtes zijn getraind en die die apart zijn getraind.
- Voorgestelde Methode: Reduceert deze kloof tot minder dan 0.3 gFID. Met LoRA post-training bereikt het gezamenlijke model een prestatie binnen 0.05 gFID van de apart getrainde modellen.
Systeem-niveau Vergelijking:
- De methode presteert beter dan bestaande VLT's (Semanticist, FlexTok) en fixed-length baselines (SoftVQ, MAETok) in termen van de gFID–compute trade-off.
- Het bereikt competitieve generatiekwaliteit bij hoge compressieratio's (bijv. 32 tokens) zonder dat een diffusie-gebaseerde tokenizer decoder nodig is, in tegen tegenstelling tot sommige baselines.
Reconstructiekwaliteit: De tokenizer behoudt sterke reconstructiemetrieken (rFID, PSNR, SSIM) over variërende token-lengtes, met name bij hogere compressieratio's.

5. Betekenis en Claims

Het paper claimt dat de primaire barrière voor effectieve variabele-lengte diffusiemodellen de cross-length shift in de latente distributie is, veroorzaakt door conventionele inkortingsmethoden. Door over te stappen naar een merging-gebaseerde aanpak met data-onafhankelijke, leerbare patronen, slagen de auteurs erin de representatiele uitlijning te handhaven.

De betekenis ligt in het mogelijk maken van een enkel diffusiemodel dat effectief kan opereren over diverse token-aantallen, wat flexibele controle over kwaliteit-compute toelaat zonder de noodzaak voor meerdere modelvarianten. De auteurs positioneren dit als een stap naar meer efficiënte inzet van generatieve modellen in scenario's met variërende computationele beperkingen, waarbij zij opmerken dat hoewel er een kloof blijft bestaan tussen 1D en 2D tokenizers, hun aanpak een veelbelovende richting biedt voor hybride architecturen. Het werk wordt geframed als een efficiëntieverbetering in plaats van een nieuwe generatieve capaciteit, zonder dat er ethische zorgen worden geclaimd.