💻 computer science

A Survey of Token Compression for Efficient Multimodal Large Language Models

Dit artikel presenteert de eerste systematische survey naar technieken voor tokencompressie voor efficiënte multimodale grote taalmodellen, waarbij bestaande methoden worden gecategoriseerd op basis van zowel hun doelmodaliteiten (beeld, video en audio) als hun onderliggende mechanismen om de huidige vooruitgang te consolideren en toekomstig onderzoek te begeleiden.

Oorspronkelijke auteurs: Kele Shao, Keda Tao, Kejia Zhang, Sicheng Feng, Mu Cai, Yuzhang Shang, Haoxuan You, Can Qin, Yang Sui, Huan Wang

Gepubliceerd 2026-02-03

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Kele Shao, Keda Tao, Kejia Zhang, Sicheng Feng, Mu Cai, Yuzhang Shang, Haoxuan You, Can Qin, Yang Sui, Huan Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente assistent hebt (een Multimodal Large Language Model, of MLLM) die tekst kan lezen, foto's kan bekijken, video's kan afspelen en audio kan beluisteren. Deze assistent is ongelooflijk getalenteerd, maar heeft een groot probleem: hij raakt overweldigd als je hem te veel informatie tegelijk geeft.

Beschouw de informatie die de assistent ontvangt als een stroom van "tokens" (kleine brokstukken data).

Een tekst-prompt is als een korte brief.
Een hoog-resolutie foto is als een brief die is opgeblazen tot een gigantische, gedetailleerde muurschildering.
Een video is als een bibliotheek van duizenden van die muurschilderingen, die elke seconde veranderen.
Audio is als een continue, hogesnelheidsstroom van geluidsgolven.

Wanneer je de assistent een film van 90 minuten voert, ziet hij niet zomaar "één film". Hij ziet 54 miljoen tokens. Dat is alsof je probeert een hele bibliotheek aan boeken te lezen in één enkele ademteug. Het "zelf-aandacht"-mechanisme (self-attention) van de assistent moet elke token met elke andere token vergelijken. De wiskunde hiervoor wordt zo zwaar, zo snel, dat de computer het geheugen vol krijgt of er eeuwig over doet om te antwoorden.

De Oplossing: Tokencompressie
Dit artikel is een uitgebreide gids (een survey) over hoe je deze assistent kunt leren efficiënter te zijn zonder zijn intelligentie te verliezen. De auteurs noemen dit Tokencompressie.

Denk aan tokencompressie als het inpakken van een koffer voor een reis.

Het Probleem: Je hebt een koffer vol kleding, maar 80% daarvan zijn duplicaten (zoals 50 identieke witte T-shirts) of dingen die je niet nodig hebt (zoals een zware winterjas voor een strandvakantie).
Het Doel: Je wilt alles wat belangrijk is in een kleinere tas passen zodat je sneller kunt reizen, zonder de dingen achter te laten die je eigenlijk wel nodig hebt.

Het artikel organiseert alle huidige methoden voor het "inpakken" van deze data op twee manieren: Wat voor soort data is het? en Hoe pakken we het in?

1. Inpakken op basis van Datatype (Het "Wat")

Verschillende soorten data hebben verschillende soorten "rommel" (redundantie).

Afbeeldingen (De Statische Foto):
- De Rommel: Een foto van een blauwe lucht heeft miljoenen blauwe pixels die allemaal exact hetzelfde zijn.
- De Oplossing: In plaats van elke individuele blauwe pixel te versturen, groepeert de computer ze. Het zegt: "Dit hele gebied is gewoon een blauwe lucht," en stuurt één token om het hele vlak te vertegenwoordigen.
Video (Het Bewegende Beeld):
- De Rommel: In een video van een pratend persoon blijft de achtergrond (een muur of een boom) precies hetzelfde terwijl de persoon licht beweegt.
- De Oplossing: De computer realiseert zich: "We hoeven de achtergrond niet 30 keer per seconde te versturen." Hij houdt de achtergrond één keer vast en stuurt alleen updates voor de bewegende delen. Het is als het versturen van een "wijzigingslogboek" (change log) in plaats van het hele tafereel elke frame opnieuw te versturen.
Audio (De Geluidsgolf):
- De Rommel: Een opname van een stem bevat vaak lange pauzes, stilte of een achtergrondruis die geen betekenis toevoegt.
- De Oplossing: De computer snijdt de stilte weg en voegt geluiden die op elkaar lijken samen, waarbij alleen de delen worden behouden waar de stem daadwerkelijk spreekt of de muziek verandert.

2. Inpakken op basis van Methode (Het "Hoe")

Het artikel groepeert de technieken die worden gebruikt voor dit inpakken in vier hoofdstrategieën:

De "Krimpkijker" (Transformatie-gebaseerd):
Stel je voor dat je een foto met een hoge resolutie neemt en deze simpelweg kleiner maakt. Je verliest wat detail, maar je behoudt de algemene vorm en kleuren. Dit gebeurt door de data wiskundig plat te drukken (zoals pooling of middeling) om de tokenlijst korter te maken.
Het "Groepsspel" (Gelijkenis-gebaseerd):
Stel je voor dat je een stapel van 1.000 rode Lego-steentjes hebt. In plaats van alle 1.000 te tellen, zeg je: "Hier is één rode steen, en er zijn nog 999 precies zoals deze." De computer vindt tokens die er zeer veel of klinken als elkaar en voegt ze samen tot één "representatieve" token.
De "Spotlight" (Aandachts-gebaseerd):
Stel je een leraar voor die naar een klas kijënt. De leraar geeft alleen aandacht aan de leerlingen die hun hand opsteken (de belangrijke tokens) en negeert de leerlingen die achterin de klas slapen. De computer kijkt naar zijn eigen "aandachtsscores" (hoeveel aandacht hij aan elk stukje data besteedt) en gooit de tokens weg die hij toch al negeert.
De "Vraaggids" (Query-gebaseerd):
Stel je voor dat je op zoek bent naar een specifieke naald in een hooiberg. In plaats van naar elk stukje hooi te kijken, vraag je: "Waar is de naald?" De computer gebruikt jouw vraag (de query) om alles weg te filteren dat niet overeenkomt met wat je vraagt, en houdt alleen de relevante tokens over.

Waarom dit ertoe doet

De auteurs leggen uit dat dit niet alleen gaat over het sneller maken van computers. Het gaat over het bruikbaar maken ervan.

Zonder compressie is een film van 90 minuten onmogelijk voor huidige modellen om in realtime te verwerken.
Met compressie kan het model de film "kijken", het plot begrijpen en vragen erover beantwoorden, terwijl het slechts een fractie van het geheugen gebruikt.

Het Nadeel (Uitdagingen)

Het artikel waarschuwt ook dat dit geen magie is. Als je de koffer te strak inpakt:

Je kunt details verliezen: Als je een foto te veel comprimeert, mis je misschien een klein maar belangrijk bordje op de achtergrond.
Het verbreekt de flow: In een video, als je te veel frames samenvoegt, kan de beweging schokkerig of verwarrend worden.
Het is lastig in te passen: Sommige van deze "inpak"-trucs zijn moeilijk te gebruiken met de snelste computerchips van vandaag, omdat ze vereisen dat de computer zaken anders berekent.

Samenvattend:
Dit artikel is een kaart voor onderzoekers. Het zegt: "We hebben een probleem: onze AI verzuipt in te veel data. Hier zijn alle verschillende manieren waarop we proberen het te leren om deze data te filteren, te groeperen en te verkleinen, zodat de AI daadwerkelijk kan functioneren in de echte wereld." Het organiseert deze methoden op basis van of ze naar afbeeldingen, video's of geluid kijken, en door de specifieke wiskundige trucs die ze gebruiken om de klus te klaren.

Technische Samenvatting: Een Survey naar Tokencompressie voor Efficiënte Multimodale Large Language Models

1. Probleemstelling

Multimodale Large Language Models (MLLM's) hebben opmerkelijke prestaties geleverd door complexe contexten te verwerken, waaronder hoogresolutiebeelden, uitgebreide videosequenties en lange audio-inputs. Deze capaciteit introduceert echter een significante computationele bottleneck: de kwadratische complexiteit ( $O(N^2)$ ) van self-attention mechanismen ten opzichte van het aantal input-tokens ( $N$ ).

In tegenstelling tot tekst, waarbij het aantal tokens beheersbaar is, genereren visuele en auditieve data sequenties die ordes van grootte langer zijn. Zo kan een video van 90 minuten ongeveer 54 miljoen tokens produceren, terwijl één hoogresolutieafbeelding of een audiobestand van 2 uur tienduizenden tot miljoenen tokens genereert. Deze discrepantie veroorzaakt ernstige latentie bij inferentie en een hoog geheugengebruik, wat de praktische inzetbaarheid van MLLM's belemmert. Bovendien bevat multimodale data aanzienlijke redundantie (ruimtelijk in afbeeldingen, spatio-temporeel in video, en temporeel/spectraal in audio), waarbij studies aangeven dat meer dan 50% van de tokens in typische MLLM-sequenties tijdens inferentie minimale aandacht ontvangt.

2. Methodologie en Taxonomie

Dit artikel presenteert de eerste systematische survey en synthese van tokencompressietechnieken specifiek voor MLLM's. De auteurs definiëren tokencompressie strikt als methoden die expliciet het aantal tokens verminderen dat naar opeenvolgende lagen wordt doorgegeven ( $M < N$ ), waarbij zij onderscheid maken met input-niveau sampling (bijv. frame-extractie) en attention-sparsity mechanismen die de sequentielengte behouden maar de computationele paden verminderen.

De survey categoriseert bestaande benaderingen via twee primaire lenzen:

A. Modaliteit-gecentreerde Categorisering

Erkennend dat redundantiepatronen verschillen per modaliteit, worden methoden gegroepeerd op basis van hun primaire focus op data:

Beeld-gecentreerde Compressie: Richt zich op ruimtelijke redundantie in statische visuele data. Naburige patches vertegenwoordigen vaak vergelijkbare texturen of kleuren.
Video-gecentreerde Compressie: Richt zich op spatio-temporele redundantie in dynamische sequenties, waarbij opeenvolgende frames uitgebreide achtergrondelementen en beperkte beweging delen.
Audio-gecentreerde Compressie: Behandelt temporele en spectrale redundantie in akoestische signalen, waarbij saillante informatie vaak geconcentreerd is in ijle segmenten tussen stilte of ruis.

B. Mechanisme-gecentreerde Categorisering

Naast modaliteit dissecteert het artikel methoden op basis van hun onderliggende algoritmische principes, die vaak modaliteiten overstijgen:

Transformatie-gebaseerd: Transformeert cross-modaliteit informatie direct om tokens te comprimeren door schaal of representatie te wijzigen (bijv. Pixel Unshuffle, Spatial/Temporal Pooling, Convolutie). Deze methoden behouden vaak de structurele representatie maar bieden beperkte flexibiliteit in compressieratio's.
Gelijkenis-gebaseerd: Identificeert en voegt tokens samen op basis van afstand of gelijkenis in een impliciete ruimte (bijv. K-Nearest Neighbors, clustering). Hoewel effectief, riskeren zij het verlies van fijnmazige ruimtelijke of temporele informatie als tokens te veel gegeneraliseerd worden.
Attention-gebaseerd: Maakt gebruik van de sparsity van attention mechanismen om tokens met lage attention scores te verwijderen (pruning). Deze kunnen worden toegepast binnen de Encoder (visie/audio encoders) of de Decoder (LLM backbone). Hoewel krachtig, kampen ze met uitdagingen bij implementatie vanwege incompatibiliteit met geoptimaliseerde acceleratiebibliotheken (zoals FlashAttention) die attention impliciet berekenen.
Query-gebaseerd: Gebruikt externe queries (prompts) om compressie te sturen, hetzij via Token Distillatie (leren om visuele/auditieve info te representeren met minder tokens) of Cross-Modal Selectie (het filteren van tokens op basis van relevantie voor tekst). Deze zijn zeer taakrelevant, maar kunnen moeite hebben met multi-turn conversaties waarbij de queries veranderen.

3. Belangrijkste Bijdragen

Eerste Gestructureerde Survey: Dit werk biedt de eerste uitgebreide taxonomie van tokencompressie specifiek voor MLLM's, waarmee de kloof tussen tekst-gecentreerde prompt-compressie en visie/audio-specifieke technieken wordt overbrugd.
Verenigd Framework: Het demonstreert dat ondanks modaliteit-specifieke redundanties, fundamentele algoritmische principes (belangidentificatie, redundantiekwantificering en token-merging/pruning) consistent zijn over visuele, temporele en auditieve domeinen.
Kritische Analyse van Trade-offs: Het artikel beschrijft de voor- en nadelen van elk mechanisme, zoals de parameter-vrije aard van pooling versus de leerbare abstractie van convolutie, en de efficiëntie van attention-gebaseerde pruning versus de incompatibiliteit met huidige hardware-accelerators.
Identificatie van Uitdagingen: De survey belicht kritieke hindernissen, waaronder prestatieverlies bij hoge compressieratio's (vooral in grotere modellen), het verlies van fijnmazige details die nodig zijn voor taken zoals OCR of temporal grounding, en de moeilijkheid van het integreren van dynamische pruning in multi-turn conversatiesystemen.

4. Resultaten en Observaties

Het artikel synthetiseert bevindingen uit talrijke state-of-the-art modellen en methoden (bijv. InternVL, Qwen2-VL, FastV, ToMe, HoliTom, SpeechPrune):

Efficiëntie vs. Prestaties: Significante tokenreductie is haalbaar met minimaal prestatieverlies. Zo behoudt het behouden van slechts 10-25% van de visuele tokens vaak competitieve prestaties op benchmarks zoals VQA2 en VideoMME. Echter, agressieve compressie leidt tot een scherpe daling in prestaties, met name in modellen met hogere representatiecapaciteiten (bijv. Qwen2.5-VL, LLaVA-OV-72B).
Taakgevoeligheid: Compressiestrategieën zijn niet universeel toepasbaar. Taken die een hoge informatiedichtheid vereisen (bijv. Optical Character Recognition) of precieze temporele redenering, lijden meer onder token-merging of pruning dan algemene visuele vraagbeantwoording.
Implementatiekloven: Veel attention-gebaseerde methoden zijn, hoewel theoretisch efficiënt, moeilijk in te zetten in real-world scenario's vanwege hun afhankelijkheid van expliciete attention scores, die ontoegankelijk zijn in gefuseerde, geoptimaliseerde inferentie-pipelines.

5. Betekenis en Toekomstige Richtingen

Het artikel stelt dat tokencompressie niet louter een post-optimalisatietechniek is, maar een cruciale enabler voor de schaalbaarheid van MLLM's. De betekenis ligt in:

One-Shot Long-Context Understanding: Door informatie te condenseren in dichte tokens, kunnen MLLM's volledige code-repositories of lange video's in één pass verwerken zonder architecturale overhaals nodig te hebben zoals RingAttention.
Verbeterde Modality Alignment: Compressiemethoden, met name query-gebaseerde distillatie, kunnen de alignment tussen multimodale inputs en taalrepresentaties verbeteren door laag-dens of irrelevante informatie te filteren.
Orthogonale Synergie: Het artikel merkt op dat tokencompressie (het reduceren van sequentielengte $N$ ) structureel orthogonaal is aan gewichtscompressie (het reduceren van modeldimensie $D$ ), wat suggereert dat het combineren van deze benaderingen (bijv. quantisatie + token pruning) gecomponeerde efficiëntiewinsten kan opleveren.

Geïdentificeerde Toekomstige Richtingen:

Joint Multimodal Compression: Verder gaan dan unimodale strategieën naar frameworks die cross-modale synergie exploiteren (bijv. audio-signalen gebruiken om video-tokens te prunen) voor Omni-LLM's.
Architectuurontwerp: Verschuiven van reactieve compressie naar het ontwerpen van modellen die intrinsiek rekening houden met data-redundantie tijdens de feature-abstractie.
Evaluatiestandaarden: Het artikel roept op tot nieuwe benchmarks die specifiek ontworpen zijn om de effectiviteit van tokencompressie te evalueren, waarbij verder wordt gekeken dan algemene VQA-metrics naar taken die fijnmazige temporele grounding en hoge fidelity-details vereisen.

Concluderend vormt deze survey een fundamentele bron voor onderzoekers en ontwikkelaars, door de huidige vooruitgang te consolideren en de weg te wijzen naar efficiënte, schaalbare en robuuste Multimodale Large Language Models.