💻 computer science

Hybrid Token Compression for Vision-Language Models

Dit artikel introduceert HTC-VLM, een hybride visueel token-compressiekader dat effectief een balans vindt tussen het behoud van fijnmazige uiterlijke details en hoogwaardige semantiek door continue patch-kenmerken te fuseren met discrete semantische ankers, waarmee een superieure prestatiebehoud en efficiëntie wordt bereikt in vergelijking met bestaande continue baselines.

Oorspronkelijke auteurs: Jusheng Zhang, Xiaoyang Guo, Tongyu Mo, Qinhan Lv, Wenhao Chai, Jian Wang, Keze Wang, Liang Lin

Gepubliceerd 2026-08-12

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jusheng Zhang, Xiaoyang Guo, Tongyu Mo, Qinhan Lv, Wenhao Chai, Jian Wang, Keze Wang, Liang Lin

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Grote Visuele Overbelasting: Waarom AI een Betere Samenvatting Nodig Heeft

Stel je voor dat je een briljante maar zeer hongerige student probeert te leren hoe hij een afbeelding moet begrijpen. In de wereld van Kunstmatige Intelligentie wordt deze student een "Vision-Language Model" (VLM) genoemd. Het is een type computerelement dat naar een afbeelding kan kijken en vragen erover kan beantwoorden, zoals: "Wat draagt de hond?" of "Waarom is de lucht blauw?". Om dit te doen, breekt de computer de afbeelding af in honderden kleine vierkantjes, genaamd "patches", en zet elk vierkantje om in een lange lijst met getallen (een token) die hij kan lezen.

Het probleem is dat de computer overprikkeld raakt. Als je hem 576 van deze kleine vierkantjes voert, moet het brein elk vierkantje met elk ander vierkantje vergelijken om de afbeelding te begrijpen. Dit creëft een enorme hoeveelheid werk, alsof je een hele bibliotheek aan boeken tegelijkertijd probeert te lezen. Het vertraagt alles en vreet enorme hoeveelheden computergeheugen op. Wetenschappers hebben geprobeerd dit op te lossen door de afbeelding samen te vatten in slechts één of enkele "samenvattings-tokens", maar er is een addertje onder het gras. Als je alle details simpelweg samenperst tot één gemiddeld getal, verlies je het belangrijke verhaal (zoals het feit dat het een hond is). Als je probeert het verhaal te behouden door specifieke "trefwoorden" te kiezen, verlies je de fijne details (zoals de textuur van de vacht van de hond). Het is een frustrerende afweging: je krijgt óf de essentie maar mis je de details, óf je krijgt de details maar vergeet het hoofdpunt. Dit paper stelt een simpele vraag: Kunnen we beide hebben?

De Hybride Held: HTC-VLM

De onderzoekers achter dit paper, onder leiding van Jusheng Zhang en zijn team, zeggen dat het antwoord ja is, maar alleen als we stoppen met proberen de computer alles met één enkel hulpmiddel te laten doen. Ze introduceren een nieuwe methode genaamd HTC-VLM (Hybrid Token Compression for Vision-Language Models). Beschouw dit als een slimme manier om een complex verhaal samen te vatten zonder de rode draad of de details van de personages te verliezen.

Zo werkt hun "Hybride" truc, met behulp van een eenvoudige analogie:

Stel je voor dat je een chaotische scène in een park beschrijft aan een vriend die slechts één zin kan horen.

De Oude Manier (Continue Compressie): Je probeert alles in één zin te persen: "Er zijn veel dingen die bewegen met kleuren en vormen." Je vriend hoort het lawaai, maar heeft geen idee wat er werkelijk gebeurt. Ze weten dat het druk is, maar ze weten niet wat er druk is. Dit is wat er gebeurt wanneer AI een afbeelding probeert samen te persen tot één gemiddeld getal; de "hoogwaardige betekenis" (zoals "het is een hond") wordt weggespoeld door de "ruis" (zoals het gras en de lucht).
De Andere Oude Manier (Discrete Kwantisering): Je probeert precies te zijn en zegt: "Hond. Gras. Boom." Je vriend kent de hoofdrolspelers, maar heeft geen idee hoe de hond eruitziet, of hij rent, of welke kleur zijn vacht heeft. Ze missen de textuur en de actie.
De HTC-VLM Manier (De Hybride Oplossing): De onderzoekers stellen een tweestapsbenadering voor. Eerst geef je je vriend vier speciale "anker"-kaarten die precies aangeven wat de belangrijkste zaken zijn (bijv. "Hond", "Gras", "Boom"). Dit zijn de discrete tokens. Ze fungeren als een skelet of een kaart. Daarna geef je ze één enkele "samenvattings"-token die alle rommelige, fijnmazige details bevat (de textuur van de vacht, de wind in het gras, de houding van de hond).

De magie gebeurt omdat de computer wordt getraind om de "anker"-kaarten te gebruiken om te begrijpen hoe hij de "samenvattings"-token moet lezen. De ankers vertellen de computer: "Hey, kijk hier naar een hond!", zodat de samenvattings-token niet in de war raakt door alle andere details. Op deze manier houdt de AI de grote lijn (de semantiek) en de kleine details (het uiterlijk) gescheiden tot het allerlaatste moment, waar ze perfect worden samengevoegd.

Wat Ze Hebben Gevonden

Het team heeft deze idee getest op zeven verschillende uitdagende tests, variërend van het beantwoorden van vragen over afbeeldingen tot het begrijpen van wetenschappelijke diagrammen. Ze vergeleken hun nieuwe methode met de beste bestaande manieren om afbeeldingen te comprimeren.

De Resultaten: Wanneer ze de volledige afbeelding terugbrachten tot slechts één enkele token (de ultieme compressie), behield hun hybride methode 87,2% van de oorspronkelijke prestaties. De vorige beste methode (die alleen de "gemiddelde" benadering gebruikte) behield slechts 81,0%. Hoewel dat als een klein verschil kan klinken, is het in de wereld van AI een enorme prestatie om die extra 6% intelligentie te behouden wanneer je bijna alle data hebt weggegooid.
Waarom het Werkt: De onderzoekers analyseerden hoe de "aandacht" van de computer werkte. Ze ontdekten dat de enkele samenvattings-token eerst actief naar de vier "anker"-kaarten keek. De token gebruikte die ankers als gids om de rest van de afbeelding te begrijpen. Dit bewees dat de ankers het zware werk deden om de betekenis intact te houden.
De Afweging: De methode vereist wel een klein beetje extra werk om die vier anker-kaarten te genereren, maar de onderzoekers lieten zien dat de tijd die wordt bespaard door niet honderden tokens te hoeven verwerken, zo enorm is dat de algehele snelheid nog steeds ongelooflijk hoog is. Het is als 5 seconden besteden aan het schrijven van een goede opzet, wat je 5 uur bespaart bij het schrijven van een slecht essay.

Wat Het Niet Is

Het is belangrijk om te vermelden wat dit paper niet beweert. De onderzoekers argumenteren expliciet tegen het idee dat je zomaar alles kunt "middelen" en verwachten dat het goed werkt onder extreme compressie. Ze toonden aan dat het dwingen van een enkele continue waarde om zowel het "verhaal" als de "details" vast te houden, ervoor zorgt dat het verhaal instort. Ze toonden ook aan dat het simpelweg kiezen van willekeurige stukken van de afbeelding of het gebruik van oudere "pruning"-methoden (het wegknippen van stukken) niet zo goed werkt wanneer je bij slechts één of twee tokens komt.

Het paper suggereert dat deze hybride benadering een robuuste oplossing is voor het specifieke probleem van extreme compressie, maar het beweert niet elk probleem in AI op te lossen. Zo merken ze op dat hoewel het geweldig werkt voor enkele afbeeldingen, het mogelijk aanpassingen nodig heeft voor langere video's of complexe gesprekken met meerdere afbeeldingen.

De Kernboodschap

Kortom, HTC-VLM suggereert dat om AI slim en snel te maken, we niet alleen de afbeelding in een minuscuul stipje moeten proberen te krimpen. In plaats daarvan moeten we de AI een kaart (de discrete ankers) en een briefing (de continue details) geven en ze samen laten werken. Door het "wat" te scheiden van het "hoe", kan de computer een afbeelding begrijpen met slechts één token, waarbij de betekenis helder blijft en de details scherp blijven, zonder in de ruis te verdwalen. Het is een herinnering dat je, om ruimte te besparen, niet altijd dingen weg moet gooien; je moet ze gewoon beter organiseren.

Technische Samenvatting: HTC-VLM – Hybride Tokencompressie voor Vision-Language Modellen

1. Probleemstelling

Vision-Language Modellen (VLM's) vertrouwen doorgaans op honderden visuele patch-tokens (bijv. $N=576$ van een ViT-encoder) om rijke perceptuele informatie aan Large Language Models (LLM's) te verstrekken. Deze dichte koppeling brengt een kwadratische computationele kostenpost met zich mee, $O((N+L)^2)$ , wat snel het GPU-geheugen en de contextvensters uitput.

Bestaande compressiestrategieën kampen met een fundamentele afruil:

Continue Compressie: Methoden zoals globale pooling of aandacht-aggregatie comprimeren alle patches tot een enkele dichte vector. Hoewel efficiënt, leidt dit vaak tot semantische verdunning, waarbij hoogwaardige semantiek (objectidentiteiten, ruimtelijke relaties) verloren gaat doordat de wederzijdse informatie $I(v_c; S)$ daalt door het middelen van diverse patch-distributies.
Discrete Kwantisatie: Methoden die gebruikmaken van Vector Kwantisatie (VQ) behouden categorische semantiek maar laten fijnmazige continue signalen (texturen, poses, deformaties) achter, wat een granulariteitskloof creëert die gedetailleerd redeneren beperkt.

De kernuitdaging is of een VLM visueel bruikbare semantische informatie kan behouden wanneer de gehele afbeelding wordt gecomprimeerd tot één enkele token, zonder daarbij zowel de hoogwaardige structuur als de laag-niveau details op te offeren.

2. Methodologie: HTC-VLM

De auteurs stellen HTC-VLM (Hybrid Token Compression for Vision-Language Models) voor, een framework dat visuele informatie ontleedt in twee complementaire kanalen voordat ze worden samengevoegd tot één enkele latente token.

2.1 Dual-Channel Architectuur

In plaats van ruwe patches direct te comprimeren, ontleedt HTC-VLM de visuele input $I$ in:

Continu Detailkanaal ( $D$ ): Maakt gebruik van een vooraf getrainde vision encoder (CLIP ViT-L/14) en een lineaire projector om $N=576$ patch-embeddings te genereren. Dit pad behoudt laag-niveau details zoals textuurgradiënten en pose-variaties.
Discreet Semantisch Kanaal ( $S$ ): Maakt gebruik van MGVQ (Multi-Group Vector Quantization) om de afbeelding te kwantiseren naar een feature vector, die vervolgens via een MLP wordt geprojecteerd naar een kleine sequentie van 4 discrete semantische anker-tokens ( $v_d$ ). Deze ankers vangen hoogwaardige categorische semantiek (bijv. "hond", "boom") en ruimtelijke lay-outs op.

2.2 Hybride Fusie en Ontstrengelingsbottleneck

De discrete ankers worden voorafgevoegd aan de continue patch-sequentie om een hybride sequentie $V_{hy} \in \mathbb{R}^{580 \times d}$ te vormen (4 ankers + 576 patches). Deze sequentie wordt ingevoerd in een trainbare <voco> token.

Een cruciaal onderdeel is de Disentanglement Attention Mask ( $M_{hy}$ ):

Text-to-Vision Constraint: Tekst-tokens zijn strikt verboden om naar de ruwe hybride visuele tokens ( $V_{hy}$ ) te kijken (attenden). Ze kunnen alleen kijken naar de gecomprimeerde <voco> token.
Visuele Zelf-Aandacht: De visuele tokens (zowel discreet als continu) mogen naar elkaar kijken voordat aggregatie plaatsvindt. Dit stelt de <voco> token in staat om gecontextualiseerde visuele bewijslast te integreren.
Latente Extractie: De <voco> token comprimeert de 580-token sequentie tot een enkele latente vector $z$ , die dient als de enige visuele input voor de LLM.

2.3 Theoretische Fundering

De methode is gebaseerd op het Information Bottleneck (IB) principe. De auteurs stellen dat een enkele continue vector lijdt aan Entropy Domination, waarbij hoogfrequente details ( $D$ ) de beperkte capaciteit van de bottleneck verzadigen, waardoor de semantische informatie ( $S$ ) verdwijnt. Door discrete ankers als een "semantische prior" te introduceren, verlaagt HTC-VLM de entropiebarrière voor $S$ , waardoor de latent $z$ zijn capaciteit kan richten op het coderen van de residuele details $D$ . Dit wordt geformaliseerd via een nauwere Evidence Lower Bound (ELBO) vergeleken met continue-only baselines.

3. Belangrijkste Bijdragen

Representatieve Bottleneck Analyse: Het paper identificeert het "semantisch-detail capaciteitsconflict" in single-token compressie, en biedt informatie-theoretische bewijzen (Theorem 1) die verklaren waarom puur continue bottlenecks falen in het behouden van hoogwaardige semantiek onder extreme compressie.
Hybride Semantische-Ontstrengelingsframework: Een geprincipeerde architectuur die minimale discrete semantische ankers injecteert voorafgaand aan compressie, wat de gezamenlijke optimalisatie van discrete semantiek en continue verschijning mogelijk maakt.
Praktische Architectuur (HTC-VLM): Een instantie die een gemiddelde prestatiebehoud van 87,2% bereikt over zeven benchmarks onder een one-token budget, waarmee het de leidende continue baseline (VoCo-LLaMA) met 81,0% verslaat.
Uitgebreide Validatie: Uitgebreide studies naar token-budgetten (1–576), cross-architectuur generalisatie (Qwen-VL, LLaVA-NeXT), inferentie-efficiëntie en robuustheid tegen hyperparameters (codebook grootte, masking topologie).

4. Experimentele Resultaten

4.1 Prestatiebehoud

Geëvalueerd op zeven benchmarks (GQA, VQAv2, MMBench, MME, POPE, SEED-Bench, ScienceQA-Image), bereikte HTC-VLM een gemiddeld behoud van 87,2% ten opzichte van het volledige 576-token model. Dit presteert significant beter dan:

VoCo-LLaMA (Alleen continu): 81,0%
Gemiddelde Pooling: 64,1%
Q-Former: 57,2%

4.2 Robuustheid van Token-budget

Terwijl gestructureerde pruning-methoden (bijv. ToMe, PDrop) goed presteren bij matige compressie (64–192 tokens), verslechteren ze scherp in het ultra-lage token-regime ( $<32$ tokens). HTC-VLM blijft stabiel tot in het one-token regime, wat aantoont dat discrete ankers informatie-instorting voorkomen waar continue methoden falen.

4.3 Generalisatie

De hybride bottleneck wordt effectief overgedragen naar sterkere en structureel verschillende backbones:

Qwen-VL-Chat: 94,5% behoud (vs. 86,4% voor VoCo-LLaMA).
LLaVA-NeXT (Dynamic Resolution): 95,7% behoud (vs. 86,6% voor VoCo-LLaMA).

4.4 Efficiëntie en Latentie

Op een NVIDIA A100 GPU vermindert HTC-VLM de LLM prefill-latentie met 94,3% vergeleken met het standaard 576-token model. Hoewel de toevoeging van een lichte MGVQ-encoder een bescheiden overhead introduceert (~6,1ms), blijft de totale systeemlatentie (61,0ms) dicht bij de continuous-only baseline (51,9ms) en is deze aanzienlijk sneller dan pruning-gebaseerde methoden die meerdere tokens behouden.

4.5 Ablatie Studies

Discrete Ankers: Het verwijderen van ankers (Alleen continu) laat de prestaties dalen naar 81,0%; het gebruik van enkel discrete tokens laat het dalen naar ~33%.
Aantal Ankers: 4 tokens leveren optimale prestaties; 1 of 2 zijn onvoldoende, terwijl 8 redundantie introduceert.
Masking: De text-bottleneck mask (die visuele zelf-aandacht toestaat maar text-to-raw-visual blokkeert) is superieur aan een strikte star-graph mask, wat de noodzaak bevestigt van visuele context vóór compressie.

5. Betekenis en Claims

Het paper claimt dat HTC-VLM een praktische oplossing biedt voor de efficiëntie-getrouwheid afruil in VLM's. Door semantiek en details expliciet te ontstrengelen, maakt de hybride benadering extreme compressie (1 token) mogelijk zonder de semantische instorting die bij continuous-only methoden wordt waargenomen.

De auteurs benadrukken dat de prestatiewinsten voortkomen uit het structurele hybride ontwerp in plaats van fragiele hyperparameter-tuning. De discrete ankers fungeren als interpreteerbare semantische gidsen, die het compressieproces stabiliseren en de LLM in staat stellen effectief te redeneren, zelfs wanneer de visuele input is teruggebracht tot een enkele token. Het werk suggereert een toekomstige richting voor multimodale compressie: het ontwerpen van gestructureerde, taak-adaptieve bottlenecks die semantische interpreteerbaarheid behouden terwijl de token-kosten drastisch worden verlaagd.

Erkende Beperkingen: De methode introduceert een lichtgewicht MGVQ-encoder, wat betekent dat het niet strikt nul-overhead is vergeleken met continuous-only compressie. Daarnaast richt de huidige evaluatie zich op image-level VLM's; het uitbreiden naar lange video's of dense lokalisatie-taken kan verdere aanpassing vereisen.