🤖 machine learning

A More Word-like Image Tokenization for MLLMs

Dit artikel stelt Disentangled Visual Tokenization (DiVT) voor, een nieuwe methode die beeldpatch-embeddings clusteret tot coherente semantische eenheden en dynamisch tokenbudgetten aanpast op basis van beeldcomplexiteit, waardoor multimodale grote taalmodellen visuele invoer efficiënter en compatibeler kunnen verwerken met aanzienlijk verminderde geheugen- en latentiekosten.

Oorspronkelijke auteurs: Hyun Lee, Hyemin Jeong, Yejin Kim, Hyungwook Choi, Hyunsoo Cho, Soo Kyung Kim, Joonseok Lee

Gepubliceerd 2026-05-19

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Hyun Lee, Hyemin Jeong, Yejin Kim, Hyungwook Choi, Hyunsoo Cho, Soo Kyung Kim, Joonseok Lee

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een briljante maar zeer letterlijke robot (een Large Language Model) te leren hoe je "afbeeldingen" ziet. Op dit moment is de manier waarop we dit doen een beetje onhandig.

Het Probleem: Het "Raster" versus het "Verhaal"

Denk aan een standaard digitale foto als een enorm raster van kleine vierkanten (pixels). Op dit moment, wanneer we een foto aan een robot geven, hakken we de afbeelding op in vaste vierkanten (zoals een schaakbord) en geven we de robot een lange, saaie lijst van deze vierkanten.

Het perspectief van de robot: De robot is gewend om woorden te lezen. Woorden zijn onderscheidende, betekenisvolle eenheden (zoals "kat", "rennen" of "blauw").
De huidige methode: De robot wordt gedwongen een lange, repetitieve lijst te lezen van "vierkant-1", "vierkant-2", "vierkant-3", zelfs als die vierkanten allemaal slechts een lege lucht zijn of deel uitmaken van dezelfde muur.
Het resultaat: De robot raakt overweldigd door een stroom van redundante, verwarrende data. Het is alsof je probeert een mooi schilderij te beschrijven door de kleur van elke enkele baksteen in het kader op te sommen, in plaats van te zeggen "een rode roos". Dit verspillen het geheugen van de robot en maakt het traag.

De Oplossing: DiVT (Disentangled Visual Tokenization)

De auteurs van dit artikel stellen een nieuwe methode voor genaamd DiVT. In plaats van de afbeelding op te hakken in een star raster, fungeert DiVT als een slimme redacteur die naar de afbeelding kijkt en zegt: "Oké, wat zijn hier de werkelijke belangrijke dingen?"

Hier is hoe het werkt, met behulp van een eenvoudige analogie:

1. Het "Groeperings"-spel (Clustering)
Stel je voor dat je een rommelige kamer hebt vol met verspreid speelgoed.

Oude manier: Je pakt elk speelgoedstukje één voor één op en doet het in een doos, ongeacht of het een Lego, een pop of een sok is. Je eindigt met 500 kleine dozen.
DiVT-methode: Je kijkt naar het speelgoed en groepeert ze op basis van wat ze zijn. Je legt alle Lego in één stapel, alle poppen in een andere en de sokken in een derde. Je maakt alleen een "token" (een doos) voor elke onderscheidende groep.
- Als de kamer leeg is, maak je slechts een paar dozen.
- Als de kamer vol zit met complex speelgoed, maak je meer dozen.
- De magie: Het aantal dozen past zich automatisch aan aan hoe "druk" de kamer is.

2. De "Slimme Samenvatting" (Token Formulation)
Zodra de groepen zijn gemaakt, gooit DiVT het speelgoed niet zomaar in de doos. Het maakt een enkele, perfecte samenvatting voor elke groep.

In plaats van de robot 500 stukjes van "haren van een kat" te sturen, stuurt het één token dat "kat" zegt.
In plaats van 100 stukjes "blauwe lucht" te sturen, stuurt het één token dat "lucht" zegt.
Cruciaal: het behoudt de kleine, unieke details (zoals een klein vogeltje in de hoek) als hun eigen aparte tokens, zodat niets belangrijks verloren gaat.

3. De "Volumeknop" (Granulariteitscontrole)
De onderzoekers hebben een speciale knop toegevoegd (een drempelwaarde genoemd) waarmee je kunt beslissen hoe gedetailleerd je de samenvatting wilt hebben.

Draai het op: Je krijgt zeer gedetailleerde beschrijvingen (veel kleine groepen), wat geweldig is voor complexe afbeeldingen maar meer geheugen gebruikt.
Draai het af: Je krijgt brede samenvattingen (minder, grotere groepen), wat supersnel is en geheugen bespaart.
Het beste deel: Je kunt deze knop nadat de robot al is getraind, draaien. Je hoeft de robot niet opnieuw te leren; je verandert gewoon de instelling om aan je behoeften te voldoen.

Waarom dit belangrijk is (De resultaten)

Het artikel testte deze nieuwe methode op veel verschillende taken, van het beantwoorden van vragen over afbeeldingen tot het beschrijven van scènes.

Snelheid en efficiëntie: DiVT behaalde dezelfde (of zelfs betere) resultaten dan de oude methoden terwijl het aanzienlijk minder tokens gebruikte. In sommige tests gebruikte het minder dan 1/10e van de data die de oude methode nodig had.
Minder verwarring: Omdat de tokens echte concepten vertegenwoordigen (zoals "een kopje" of "een boom") in plaats van willekeurige raster vierkanten, begrijpt de robot de afbeelding veel beter.
Geen hertraining nodig: Je kunt deze methode gebruiken met verschillende soorten camera's (visuele encoders) en verschillende robothersenen (LLM's) zonder het hele systeem opnieuw te hoeven bouwen.

De conclusie

Het artikel beweert dat we door afbeeldingen meer als een verhaal te behandelen (het groeperen van betekenisvolle concepten) in plaats van als een spreadsheet (starre raster vierkanten), AI-vision sneller, goedkoper en slimmer kunnen maken. Het is alsof je overschakelt van het lezen van een boek letter voor letter naar het lezen ervan woord voor woord.

Technische Samenvatting: Een Woord-achtige Tokenisatie voor Beelden in MLLMs

1. Probleemstelling

Multimodale Grootte Taalmodellen (MLLMs) maken doorgaans gebruik van een vooraf getrainde visuele encoder en een vast Grootte Taalmodel (LLM), die met elkaar verbonden zijn via een visuele projector. Het doel is om beeldpixels af te beelden op een reeks tokens binnen de inbeddingsruimte van het LLM. De auteurs identificeren echter een fundamentele structurele mismatch tussen huidige visuele tokens en de discrete, semantisch betekenisvolle tokens waarvoor LLMs geoptimaliseerd zijn.

Het artikel benadrukt drie primaire discrepanties:

Semantische Verstrengeling: In tegenstelling tot teksttokens die gegenereerd worden door discrete tokenizers (bijv. BPE) en onafhankelijke eenheden zijn, zijn visuele patch-kenmerken van Vision Transformers (ViTs) sterk verstrengeld. Herhaalde zelf-attention in visuele encoders homogeniseert inbeddingen, waardoor patches semantisch gemengd raken. Lineaire projectoren behouden deze redundantie, wat resulteert in visuele tokens die sterk gecorreleerd zijn en geen duidelijke semantische grenzen hebben.
Vaste Tokenbegroting: Bestaande methoden (bijv. vaste roosteraggregatie, resamplers) produceren een vast aantal tokens, ongeacht de complexiteit van het beeld. Dit leidt tot redundantie in eenvoudige scènes en verlies van detail in complexe scènes, waardoor het de variabele-lengte aard van linguïstische beschrijvingen niet nabootst.
Gebrek aan Granulariteitscontrole: Huidige visuele tokenisatie vertrouwt op ruimtelijke operaties zonder een principiële mechanisme om het detailniveau (granulariteit) per token te controleren, in tegenstelling tot teksttokenisatie die een evenwicht zoekt tussen subwoorden en hele woorden.

Bijgevolg gedragen visuele invoer zich anders dan de "woord-achtige" eenheden die LLMs verwachten, wat leidt tot inefficiënt gebruik van de KV-cache, verhoogde latentie en suboptimale redeneercapaciteiten.

2. Methodologie: Ontstrengelde Visuele Tokenisatie (DiVT)

De auteurs stellen DiVT voor, een op clustering gebaseerde aanpak voor visuele tokenisatie die visuele representaties afstemt op het discrete karakter van LLM-tokens. DiVT werkt zonder de visuele encoder of de LLM-ruggengraat aan te passen en fungeert als een trainbare projector.

Het proces bestaat uit vier fasen:

2.1. Initiële Patch-Clustering (Adaptieve Centroïde-selectie)

In plaats van een vast tokenaantal op te leggen, bepaalt DiVT dynamisch het aantal clusters op basis van de kenmerkenverdeling van de beeldpatches.

Mechanisme: Het berekent een paarsgewijze cosinus-相似heidsmatrix van patch-kenmerken. Met behulp van een gelijkwaardigheidsthorshold $\theta$ wordt een buurschapsgrafiek geconstrueerd.
Algoritme: Een gulzig algoritme selecteert de patch met het hoogste graad (meeste buren) als centroïde. Alle buren binnen de drempel worden aan deze cluster toegewezen en uit de kandidatenpool verwijderd. Dit herhaalt zich totdat er geen patches meer overblijven.
Resultaat: Dit zorgt ervoor dat centroïden semantisch distinct zijn en dat het tokenaantal zich aanpast aan de intrinsieke complexiteit van het beeld (meer tokens voor complexe scènes, minder voor eenvoudige).

2.2. Cluster-Verfijning

De initiële gulzige selectie kan een patch toewijzen aan een suboptimale centroïde. Om betere semantische ontstrengeling te bereiken, wijst de methode elke patch opnieuw toe aan de centroïde met de hoogste gelijkwaardigheid, zodat elke cluster patches bevat die coherente semantiek delen.

2.3. Formulering van Visuele Tokens

Zodra de clusters definitief zijn, wordt er één visueel token gegenereerd voor elke cluster.

Cross-Attention: De clustercentroïde fungeert als query ( $Q$ ), terwijl alle patches in de cluster dienen als keys ( $K$ ) en values ( $V$ ).
Positieve Encodering: Leerbaar positie-embeddings worden alleen in de value-tak geïnjecteerd om ruimtelijke context te behouden zonder attention-scores te verstoren.
Maskering: Een op cluster beperkte attention-mask zorgt ervoor dat tokens alleen informatie aggregeren uit hun eigen cluster, waardoor kruisbesmetting van ongerelateerde semantische concepten wordt voorkomen.
Aggregatie: Het resultaat wordt door een MLP geleid om het uiteindelijke token te produceren.

2.4. Semantische Granulariteitscontrole

De gelijkwaardigheidsthorshold $\theta$ fungeert als een instelbare knop voor semantische granulariteit:

Hoge $\theta$ : Strengere groeperingscriteria, wat resulteert in meer, fijner gegranuleerde tokens (hoger detail, hogere rekenkracht).
Lage $\theta$ : Breder groeperen, wat resulteert in minder, grover gegranuleerde tokens (lager detail, lagere rekenkracht).
Flexibiliteit bij Inferentie: Cruciaal is dat $\theta$ tijdens de inferentie kan worden aangepast zonder hertraining, waardoor practitioners kunnen afwegen tussen representatiedetail en geheugen- en latentie-eisen.

3. Belangrijkste Bijdragen

Semantische Ontstrengeling: DiVT clusterd patch-embeddings expliciet in coherente semantische eenheden, waardoor de verstrengeling die inherent is aan standaard ViT-patch-kenmerken wordt aangepakt.
Adaptieve Tokenbegroting: De methode wijst dynamisch tokenaantallen toe op basis van beeldcomplexiteit, waardoor de redundantie van benaderingen met een vast budget wordt vermeden.
Trainingsvrije Aanpassing bij Inferentie: Het vermogen om de gelijkwaardigheidsthorshold $\theta$ tijdens de inferentie aan te passen, maakt flexibele afwegingen tussen kosten en prestaties mogelijk zonder het model opnieuw te trainen.
Encoder- en LLM-onafhankelijkheid: De aanpak is ontworpen om te werken met diverse visuele encoders (CLIP, SigLIP, DINOv2) en schaalt effectief naar grotere LLM's (bijv. 13B parameters).

4. Experimentele Resultaten

De auteurs hebben DiVT geëvalueerd op de LLaVA-1.5 7B en 13B ruggengraten over acht benchmarks (MMBench, VQAv2, GQA, MME, MM-Vet, TextVQA, SQA-IMG, POPE).

Prestaties vs. Tokenaantal: DiVT komt overeen met of overtreft baselines (inclusief MLP, ToME, FastV, PruMerge, VisionZip en TokenPacker) met aanzienlijk minder tokens.
- Bijvoorbeeld, met ~136,5 tokens (tegenover 576 bij volledige MLP), bereikt DiVT vergelijkbare prestaties op MMBench (66,7 vs. 64,3) en VQAv2 (78,2 vs. 78,5).
- Bij strakke budgetten (bijv. ~35 tokens) presteert DiVT aanzienlijk beter dan andere methoden, wat robuustheid aantoont waar tokenreductie doorgaans de prestaties verslechtert.
Vergelijking met Projectoren: DiVT presteert beter dan andere visuele projectoren (Resampler, C-Abstractor, Pixel-Shuffle) op algemene conversatie- en VQA-taken, terwijl het concurrerend blijft op gespecialiseerde taken.
Kwalitatieve Analyse: Attention-kaarten tonen aan dat DiVT meer gefocuste en semantisch coherente attentionpatronen produceert in vergelijking met de verspreide attention van standaard MLP-projectoren.
Granulariteitscontrole: Experimenten tonen aan dat modellen die zijn getraind met een specifieke $\theta$ kunnen worden geëvalueerd met verschillende $\theta$ -waarden tijdens de inferentie met minimaal prestatieverlies, wat de flexibiliteit van de aanpak bevestigt.

5. Betekenis en Claims

Het artikel claimt dat DiVT de "modale kloof" tussen visuele en tekstuele invoer aanpakt door visuele tokens te creëren die meer lijken op "woorden". Door semantische informatie expliciet te ontstrengelen en de tokenbegroting aan te passen aan beeldcomplexiteit, biedt DiVT een praktisch mechanisme om:

Rekenkosten te Verminderen: Het geheugengebruik (KV-cache) en de latentie aanzienlijk te verlagen door het aantal visuele tokens te reduceren.
Compatibiliteit te Verbeteren: Visuele invoer beter compatibel te maken met de discrete redeneercapaciteiten van LLM's.
Flexibele Implementatie mogelijk te Maken: Een trainingsvrije knop te bieden voor practitioners om tijdens de inferentie een balans te vinden tussen nauwkeurigheid en rekenresources.

De auteurs benadrukken dat hun methode geen externe supervisie vereist (zoals objectannotaties) of complexe meerfasige training, en uitsluitend vertrouwt op het taalmodelleerdoel om de visuele tokens te vormen. Dit maakt DiVT een lichtgewicht, plug-and-play oplossing voor kostenefficiënte en mens-gealigneerde multimodale begrijpen.