💻 computer science

Adaptive Two-Stage Visual Token Pruning for Efficient Inference in Video-Language Models

Dit artikel stelt een post-hoc, training-vrije twee-fasen adaptieve token-pruningstrategie voor die eerst redundante frames elimineert en vervolgens de token-retentie dynamisch aanpast op basis van inter-frame correlaties, waarmee een reductie van 95% in berekening wordt bereikt terwijl de nauwkeurigheid van video-captioning met 7% wordt verbeterd bij 10% token-retentie.

Oorspronkelijke auteurs: Paribesh Regmi, Qingshuang Chen, Chi Zhang, Heba Aly, Yelin Kim, Hongda Mao

Gepubliceerd 2026-08-05

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Paribesh Regmi, Qingshuang Chen, Chi Zhang, Heba Aly, Yelin Kim, Hongda Mao

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een super slimme robot probeert te leren hoe hij de wereld moet begrijpen. Je geeft het een camera en een brein, en je vraagt het om naar een video te kijken en te vertellen wat er gebeurt. Dit is de wereld van "Vision-Language Models" (VLM's). Beschouw deze modellen als een team: één deel is de "ogen" (een vision encoder) die naar plaatjes kijkt en ze opbreekt in kleine puzzelstukjes die "tokens" worden genoemd. Het andere deel is de "hersenen" (een groot taalmodel) dat die tokens leest en een verhaal schrijft of een vraag beantwoordt.

Het probleem is dat video's enorm zijn. Een enkele afbeelding kan worden opgebreekt in honderden puzzelstukjes, en een video is simpelweg een stapel van veel afbeeldingen. Als je probeert een hele video aan het brein van de robot te voeren, raakt het overprikkeld. Het is alsof je probeert een boek van duizend pagina's in één seconde te lezen; de robot vertraagt, wordt moe en kan niet werken op kleine apparaten zoals telefoons of beveiligingscamera's. Wetenschappers hebben geprobeen dit op te lossen door wat puzzelstukjes weg te gooien, maar de meeste van hun methoden zijn als het gebruik van een koekjesvorm: ze snijden evenveel stukjes uit elke video, of het nu een saaie, stilstaande opname van een muur is of een actievolle achtervolging met auto's. Dit papier stelt een betere vraag: Wat als we slimmer zouden zijn over wat we weggooien, meer wegknippen wanneer dingen repetitief zijn en minder wanneer ze spannend zijn?

Het Verhaal van de Slimme Video-Snijder

De auteurs van dit paper, een team van Amazon, merkten op dat huidige methoden om video-AI te versnellen een beetje onhandig zijn. Ze behandelen elke video op dezelfde manier, door een vast aantal puzzelstukjes (tokens) weg te snijden, ongeacht wat er daadwerkelijk op het scherm gebeurt. Maar video's zijn speciaal; ze hebben "temporele redundantie", wat een chique manier is om te zeggen dat als je een video hebt van een kat die slaapt, frame 10 er bijna precies hetzelfde uitziet als frame 11, die er weer bijna hetzelfde uitziet als frame 12. De hersenkracht van de robot verspillen aan al die identieke frames is dwaas.

Om dit op te lossen, hebben het team een "Two-Stage Adaptive Visual Token Pruning" strategie uitgevonden. Denk aan een tweestaps schoonmaakploeg voor een rommelige kamer.

Fase 1: De Frame Filter
Eerst kijkt de methode naar de hele video en vraagt: "Welke frames zijn eigenlijk nieuw?" Als je een video hebt van een persoon die loopt, kunnen de eerste paar frames identiek zijn. Het algoritme werkt als een selectieve editor die de saaie, herhaalde frames volledig weggooit. Het houdt alleen de meest interessante momenten over, zoals een hoogtepuntversie. Dit is de "frame-level" pruning.

Fase 2: De Token Temmer
Nu heeft de robot een kortere video, maar elk overgebleven frame bestaat nog steeds uit duizenden kleine tokens. Hier gebeurt de magie. In plaats van een vast aantal tokens weg te snijden (zoals "houd altijd 50% over"), kijkt de methode naar de inhoud van de video om te beslissen hoeveel er wordt weggehaald.

Stel je voor dat de tokens in een frame een groep mensen zijn die praten. Als iedereen precies hetzelfde zegt (hoge redundantie), hoef je alleen maar naar één persoon te luisteren om de groep te begrijpen. Maar als iedereen iets totaal anders zegt (hoge diversiteit), moet je naar iedereen luisteren. De methode uit het paper doet precies dit: het analyseert de "correlatie" tussen de tokens. Het gebruikt een wiskundige truc genaamd "eigen-decomposition" om te meten hoeveel de tokens elkaar herhalen.

Als de video statisch en repetitief is (zoals een persoon die een bal een helling afrolt), laat de wiskunde een "steile verval" (steep decay) zien, wat betekent dat de tokens erg veel op elkaar lijken. Het systeem zegt dan: "Oké, we kunnen veel van deze weggooien!" en houdt slechts een fractie over. Maar als de video chaotisch en dynamisch is (zoals een achtervolging met auto's met veel camerabewegingen), laat de wiskunde een "langzaam verval" (slow decay) zien, wat betekent dat de tokens allemaal uniek zijn. Het systeem zegt: "Wacht even, we moeten bijna al deze tokens behouden!" en snijdt heel weinig weg.

De Resultaten: Snelheid zonder Struikelen
Het team heeft dit getest op verschillende populaire AI-modellen, waaronder LLaVA-Video, InternVL3 en Qwen2.5VL. Ze vergeleken hun slimme, adaptieve methode met andere "training-free" methoden (methoden die geen hertraining van de AI vereisen).

De resultaten waren indrukwekkend. Door hun tweestapsbenadering te gebruiken, konden ze de hoeveelheid wiskunde die de computer moest doen enorm verminderen—tot wel 95%—terwijl ze de AI nog steeds slim hielden. Sterker nog, bij een benchmark voor video-beschrijvingen (waar de AI beschrijft wat hij ziet), verbeterde hun methode de nauwkeurigheid zelfs met 7% wanneer ze slechts 10% van de tokens behielden.

Om dit in perspectief te plaatsen: als je een video hebt die normaal gesproken een uur lang door een supercomputer verwerkt moet worden, zou deze methode het in minuten kunnen laten draaien, en de robot begrijpt het misschien zelfs beter omdat hij zich concentreert op de belangrijke delen in plaats van verdwaald te raken in de ruis.

Waarom dit ertoe doet
Het paper voert expliciet argumenten aan tegen de "one-size-fits-all" benadering die door eerdere methoden werd gebruikt. Ze laten zien dat het gebruik van een vaste ratio (zoals altijd 30% van de data behouden) suboptimaal is, omdat verschillende video's verschillende hoeveelheden data nodig hebben. Hun methode is "post-hoc", wat betekent dat het werkt op bestaande modellen zonder dat ze opnieuw getraind hoeven te worden, waardoor het een "plug-and-play" upgrade is voor de huidige technologie.

De auteurs ontdekten dat deze adaptieve strategie consistent werkt over verschillende modelgroottes en videotypen. Ze testten zelfs verschillende wiskundige manieren om de "decay" van informatie te meten en ontdekten dat een exponentiële curve het beste bij de data paste, wat bevestigt dat hun manier van het meten van redundantie de meest nauwkeurige is.

Kortom, dit paper suggereert dat we niet grotere, tragere breinen hoeven te bouwen om video's te begrijpen. In plaats daarvan moeten we gewoon slimmer zijn over wat we ze voeren. Door te fungeren als een slimme editor die precies weet wanneer hij de saaie delen moet wegknippen en wanneer hij de spannende delen moet behouden, kunnen we video-AI snel genoeg maken om op alledaagse apparaten te draaien zonder het vermogen te verliezen om de wereld helder te zien.

Technische Samenvatting: Adaptieve Twee-Fase Visuele Token-Pruning voor Efficiënte Inferentie in Video-Taalmodellen

Probleemstelling

Vision-Language Models (VLM's) hebben sterke capaciteiten getoond in beeld- en video-begrip, maar kampen met aanzienlijke inferentie-latentie door de computationele kosten van het verwerken van duizenden visuele tokens. Dit probleem is bijzonder acuut bij videoverwerking, waarbij meerdere frames gelijktijdig geanalyseerd moeten worden. Zo kan een gemiddelde videofragment van 5 minuten ongeveer 11.000 tokens genereren, wat een kwadratische computationele overhead oplevert voor de Large Language Model (LLM) decoder die prohibitief is voor middelenbeperkte edge-apparaten.

Bestaande technieken voor token-reductie lijden aan twee primaire beperkingen:

Gebrek aan Temporele Bewustheid: De meeste methoden zijn ontworpen voor single-image inputs en houden geen rekening met temporele redundantie over videoframes heen.
Vaste Pruning-ratio's: Huidige benaderingen passen doorgaans een uniforme, vaste pruning-ratio toe op alle inputs. Dit is suboptimaal omdat de mate van redundantie sterk varieert tussen verschillende video's; een statische ratio verspilt ofwel rekenkracht aan redundante inhoud, of degradeert de prestaties door kritieke informatie te verwijderen in complexe scènes.

Methodologie

De auteurs stellen een nieuwe twee-fase adaptieve token-pruning strategie voor, specif dito voor video-inputs. Deze benadering is volledig post-hoc, wat betekent dat er geen extra training of fine-tuning van het onderliggende VLM vereist is.

1. Twee-fase Pruning-pipeline

De methode vermindert redundantie hiërarchisch:

Fase 1 (Frame-niveau/Temporele Pruning): Het systeem identificeert en verwijdert eerst redundante frames. Met behulp van een diversiteits-gebaseerd selectiemechanisme behoudt het een subset van frames die de meest informatieve visuele inhoud vastleggen, waardoor visueel gelijke frames die weinig nieuwe informatie toevoegen, effectief worden verwijderd.
Fase 2 (Token-niveau/Ruimtelijke Pruning): Binnen de behouden frames voert het systeem token-niveau pruning uit om ruimtelijke redundantie te elimineren.

2. Adaptieve Retentieverhouding

Een kerninnovatie is de dynamische bepaling van de token retentieverhouding ( $\beta$ ) in de tweede fase op basis van de specifieke inhoud van elke video. Het proces omvat:

Correlatie-analyse: De methode analyseert de lineaire correlatiestructuur van token-embeddings binnen de behouden frames.
Eigenwaarde-decompositie: Het construeert een correlatiematrix van de token-embeddings en voert eigenwaarde-decompositie uit. De resulterende eigenwaarden vangen de verklaarde variantie door verschillende componenten op.
Schatting van de Decay Rate: Het spectrum van de eigenwaarden wordt gefit met een exponentieel vervallende functie ( $\lambda_n = A e^{-\alpha n}$ $λ_{n} = A e^{- α n}$ ). De decay rate ( $\alpha$ $α$ ) dient als een kwantitatieve maatstaf voor redundantie:
- Een steile decay (hoge $\alpha$ ) duidt op hoge redundantie (weinig dominante eigenwaarden), wat suggereert dat er minder tokens nodig zijn.
- Een ondiepe decay (lage $\alpha$ ) duidt op hoge diversiteit, wat suggereert dat er meer tokens behouden moeten blijven.
Berekening van de Ratio: De retentieverhouding wordt gedefinieerd als omgekeerd evenredig aan de decay rate ( $\beta = \kappa / \alpha$ ), waarbij $\kappa$ een schaalcoëfficiënt is. Dit zorgt ervoor dat video's met een hoge redundantie agressiever worden gepruned, terwijl complexe video's meer tokens behouden.

Belangrijkste Bijdragen

Twee-fase Pipeline: Het ontwerp van een hiërarchisch pruningproces dat sequentieel zowel temporele redundantie (frame-selectie) als ruimtelijke redundantie (token-selectie) aanpakt, wat superieur is aan single-stage token pruning.
Inhoud-afhankelijke Adaptiviteit: De introductie van een data-gedreven mechanisme om de pruning-ratio te bepalen op basis van token-correlatie, waardoor de noodzaak voor handmatig gekozen, "one-size-fits-all" ratio's wordt geëlimineerd.
Training-vrije Efficiëntie: De methode bereikt significante computationele besparingen en verbeteringen in nauwkeurigheid zonder de training van aanvullende compressor-modules of het fine-tunen van het VLM vereist.

Experimentele Resultaten

De methode werd geëvalueerd op het LLaVA-Video model (7B parameters) en uitgebreid naar InternVL3 en Qwen2.5VL over vijf video-taal benchmarks (VideoDC, VideoChatGPT, NextQA, PerceptionTest, Video-MME).

Prestatiewinsten: De voorgestelde methode presteerde consequent beter dan state-of-the-art training-free baselines (inclusief PruMerge, FastV, DivPrune en LLaVA-Scissor).
- Op de VideoDC captioning benchmark bij 10% token-retentie, verbeterde de methode de nauwkeurigheid met +7% ten opzien van de baselines.
- Op VideoChatGPT behaalde het een verbetering van 2–4% bij lage retentie-ratio's.
Computationele Efficiëntie: De methode verminderde de computationele overhead aanzienlijk. Bij 10% token-retentie bereikte het een reductie van ~95,5% in TFLOPs terwijl de nauwkeurigheid gelijk bleef of verbeterde.
Schaalbaarheid: De aanpak toonde consistente prestatiewinsten over verschillende VLM-architecturen en parametergroottes (variërend van 1B tot 8B parameters).
Ablatie-studies: Experimenten bevestigden dat zowel het twee-fase ontwerp als de adaptieve retentieverhouding bijdragen aan de prestaties, waarbij de volledige methode beter presteerde dan varianten die single-stage pruning of vaste ratio's gebruiken. Bovendien bleek het exponentiële decay-model voor het schatten van redundantie superieur aan lineaire of kwadratische modellen.

Betekenis

Het artikel stelt dat dit werk een kritieke bottleneck aanpakt bij het inzetten van VLM's voor real-time en edge-applicaties. Door temporele redundantie expliciet te modelleren en pruning-niveaus aan te passen aan de specifieke inhoud van elke video, bereikt de methode een superieure balans tussen efficiëntie en semantische getrouwheid. De auteurs benadrukken dat hun aanpak een principiële manier biedt om het benodigde aantal tokens voor een gegeven visuele input te schatten, waardoor de inefficiënties van fixed-ratio strategieën en het informatieverlies geassocieerd met eenvoudige merging-technieken worden vermeden. De resultaten suggereren dat adaptieve, inhoud-bewuste pruning essentieel is voor het schalen van video-taalmodellen naar praktische, middelenbeperkte omgevingen.