Stateful Token Reduction for Long-Video Hybrid VLMs

Dit paper introduceert een stateful token-reductiemethode voor hybride video-VLM's die een progressieve vermindering en een taalbewuste scoring combineert om de voorverwerkingssnelheid aanzienlijk te verhogen zonder de nauwkeurigheid te verliezen.

De kern

Stel je voor dat je een Vision-Language Model (VLM) hebt. Dit is een slimme AI die video's kan kijken en er vragen over kan beantwoorden. Maar er is een groot probleem: als je een lange video (bijvoorbeeld een hele film of een documentatie van 2 uur) aan deze AI geeft, moet hij duizenden kleine stukjes beeld (token's) verwerken. Het is alsof je iemand vraagt om een heel boek woord voor woord te lezen, letter voor letter, terwijl je eigenlijk alleen maar de samenvatting wilt. Dit kost enorm veel tijd en rekenkracht.

De onderzoekers van NVIDIA hebben een nieuwe oplossing bedacht, specifiek voor een nieuw type AI-architectuur die ze "Hybrid VLM" noemen. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Overvolle Bus"

Stel je de AI voor als een bus die een lange reis maakt (de video).

• De oude manier: De bus stopt bij elke enkele passagier (elk beeldje) om te kijken of die belangrijk is. Als de bus vol zit, moet hij heel langzaam rijden.
• De huidige oplossing: Veel bestaande methoden proberen passagiers er vroeg in de rit uit te gooien als ze er "niet belangrijk" uitzien. Het probleem is dat je op dat moment nog niet weet wie er later belangrijk wordt. Het is alsof je iemand uit de bus gooit omdat hij nu slaapt, terwijl hij straks de enige is die de weg kent.

2. De Nieuwe Architectuur: De "Slimme Bus" (Hybrid VLM)

Deze nieuwe AI (Nemotron-Nano-V2) is anders opgebouwd. Hij heeft twee soorten "motoren":

1. De Attentie-motor: Kijkt heel goed naar details (zoals een mens die naar een foto kijkt).
2. De Mamba-motor: Dit is een nieuwere, slimme motor die informatie onthoudt terwijl hij rijdt. Hij bouwt een soort "geheugen" op van wat hij al heeft gezien, zelfs als hij niet naar elk detail blijft staren.

3. De Oplossing: "Staat-gebaseerde Token Reductie"

De onderzoekers hebben ontdekt dat je in deze nieuwe "Slimme Bus" passagiers (beeldjes) kunt verwijderen, maar dan op een slimme manier.

De twee belangrijkste ontdekkingen:

• De "Wie is belangrijk?"-verandering: Wat belangrijk is in de eerste minuut van de video, is niet per se belangrijk in de laatste minuut. Als je te vroeg te veel weggooit, mis je cruciale informatie.
• Het "Geheugen"-effect: Omdat de Mamba-motor een geheugen heeft, hoeft hij niet elk detail vast te houden. Als hij een passagier laat uitstappen, onthoudt hij nog steeds de essentie van die passagier in zijn geheugen. Het is alsof je een foto maakt van iemand voordat hij weggaat; je hoeft hem niet fysiek bij je te houden om te weten wie het was.

4. De Strategie: "Van Langzaam naar Snel" (Progressieve Reductie)

In plaats van direct aan het begin van de rit de helft van de passagiers eruit te gooien, doen ze het zo:

• Aan het begin: De bus is nog vol. Ze houden bijna iedereen binnen. Waarom? Omdat de AI nog niet weet wat er belangrijk wordt en het geheugen van de Mamba-motor moet eerst vollopen met informatie.
• Halverwege: Naarmate de bus verder rijdt en het geheugen gevuld is, beginnen ze langzaam passagiers te laten uitstappen.
• Aan het einde: Ze zijn nu heel agressief. Ze houden alleen de allerbelangrijkste passagiers over.

De Analogie:
Stel je voor dat je een lange film bekijkt.

• Fout: Je kijkt alleen naar de eerste 5 minuten en gooit de rest van de film weg omdat je denkt dat je het verhaal al snapt.
• Goed (Deze methode): Je kijkt eerst rustig naar de hele film (of een groot deel ervan) om de sfeer te snappen. Daarna maak je een samenvatting. Omdat je de sfeer al hebt opgeslagen in je hoofd (het geheugen), kun je de details van de eerste minuten weglaten zonder het verhaal te verliezen.

5. Het Resultaat: Sneller, maar net zo slim

Door deze methode te gebruiken, kunnen ze de AI 3,8 tot 4,2 keer sneller laten werken.

• Ze houden maar 25% van de beeldjes over (75% wordt verwijderd).
• Toch blijft de AI bijna net zo goed in het beantwoorden van vragen als zonder verwijdering.
• Als ze de AI nog een klein beetje extra trainen met deze snelle methode, wordt hij zelfs nog beter dan de oorspronkelijke, trage versie!

Samenvattend

De onderzoekers hebben een manier gevonden om een AI die lange video's bekijkt, veel sneller te maken zonder dat hij dom wordt. Ze gebruiken een slimme strategie waarbij ze de AI eerst laten "luisteren" en "onthouden", en pas later beginnen met het weglaten van details. Het is alsof je een lange lezing samenvat: je luistert eerst goed, en schrijft daarna pas de samenvatting op, in plaats van halverwege te stoppen met luisteren.

Technische samenvatting

Titel: Stateful Token Reduction for Long-Video Hybrid VLMs

Auteurs: Jindong Jiang et al. (NVIDIA)
Datum: 3 maart 2026

---

1. Het Probleem

Video-gebaseerde Vision-Language Models (VLMs) worden steeds vaker ingezet voor het begrijpen van lange video's. Dit introduceert echter een groot computationeel probleem: lange video's genereren duizenden visuele tokens, wat leidt tot hoge inferentiekosten, vooral tijdens de "prefilling"-fase (het verwerken van de invoer).

Bestaande methoden voor tokenreductie (het verwijderen of samenvoegen van redundante tokens) zijn voornamelijk ontworpen voor pure Transformer-architecturen. Deze methoden zijn vaak niet optimaal voor hybride architecturen die attention-blokken combineren met lineaire state-space blokken (zoals Mamba).

• Uitdaging: In hybride modellen verandert de relevantie van tokens vaak tussen de lagen. Aggressief vroegtijdig verwijderen van tokens (early pruning) is onbetrouwbaar omdat de "belangrijkheid" van een token niet stabiel blijft door het diepe netwerk heen.
• Specifiek voor Mamba: Mamba-blokken hebben een recurrente toestand (state) die informatie over tijd accumuleert. Bestaande methoden negeren vaak hoe tokenreductie binnen deze niet-attention blokken werkt, wat leidt tot suboptimale prestaties of informatieverlies.

2. Methodologie

De auteurs stellen een nieuwe aanpak voor die specifiek is afgestemd op hybride Mamba-Transformer modellen. De kern van de methode bestaat uit drie onderdelen:

A. Query-geconditioneerde Token Scoring

Om te bepalen welke tokens behouden moeten worden, wordt een score berekend op basis van de relevantie voor de tekstuele query (user prompt).

• Voor Attention-lagen: Er wordt gebruikgemaakt van standaard tekst-naar-visie attention-weights.
• Voor Mamba-lagen (State-Space): Omdat Mamba geen expliciete attention-matrix heeft, leiden de auteurs een impliciete attention-proxy af uit de geselecteerde state-space recurrentie. Ze analyseren de bijdrage van visuele tokens aan de output door de "decay"-term (die informatie van verre tokens verzwakt) te negeren en te focussen op de alignering tussen de query (tekst) en de key (visueel token). Dit maakt het mogelijk om tokens ook binnen Mamba-blokken te scoren en te reduceren.

B. Analyse van Sparsiteit en Stabiliteit

De auteurs analyseren twee cruciale eigenschappen:

1. Sparsiteit: Hoe geconcentreerd is de belangrijkheid? (Resultaat: Er is veel sparsiteit; een klein deel van de tokens draagt het meeste gewicht).
2. Stabiliteit over lagen: Blijft de rangschikking van belangrijke tokens gelijk door het netwerk? (Resultaat: Nee. De rangschikking verandert sterk, vooral in de vroege lagen. Dit maakt agressief vroegtijdig prunen riskant).

C. Progressieve Reductie (Low-to-High Schedule)

Gebaseerd op de analyse dat vroege scores onbetrouwbaar zijn en dat Mamba-blokken informatie kunnen "onthouden" via hun recurrente state, stellen de auteurs een progressieve reductie-schedule voor:

• Vroege lagen: Behoud meer tokens (lage reductie) omdat de state nog niet genoeg informatie heeft opgebouwd en de belangrijkheid onstabiel is.
• Late lagen: Pas agressieve reductie toe (hoog percentage verwijderen) omdat de recurrente state in Mamba-blokken al een samenvatting van eerdere informatie bevat. Dit werkt als compressie in plaats van permanent verlies (zoals bij pure Transformers).

3. Belangrijkste Bijdragen

1. Eerste analyse van tokenreductie in hybride VLMs: Het paper toont aan dat hybride modellen (Mamba + Transformer) anders reageren op reductie dan pure Transformers, mede dankzij de "memory effect" van Mamba.
2. Unified Scoring Mechanism: Een methode om tokenbelangrijkheid te berekenen voor zowel attention- als Mamba-blokken, waarbij een proxy voor attention wordt gebruikt voor de state-space blokken.
3. Progressieve Schedule: Een strategie die de reductie verspreidt over het diepte van het netwerk (van weinig naar veel), wat de onstabiele vroege lagen omzeilt en de stabiliteit van de Mamba-state benut.
4. Train-time Finetuning: Het tonen aan dat lichte finetuning onder reductie de prestaties zelfs kan verbeteren ten opzichte van de basislijn zonder reductie.

4. Resultaten

De methode is getest op het Nemotron-Nano-V2 VL 12B (hybride model) en vergeleken met Qwen3-VL 8B (pure Transformer) op benchmarks zoals VideoMME, LongVideoBench en LVBench.

• Snelheid: Bij een agressieve compressie (behoud van slechts 25% van de visuele tokens) wordt de prefilling-snelheid (TTFT) 3.8x tot 4.2x versneld.
• Nauwkeurigheid:
  • Zonder finetuning: De hybride behoudt bijna de basislijn-nauwkeurigheid (bijv. +0.01% op het gemiddelde).
  • Met train-time finetuning: De prestaties verbeteren zelfs ten opzichte van de basislijn zonder reductie (gemiddeld +1.37% verbetering).
• Vergelijking met Transformers: Pure Transformer-modellen lijden onder agressieve reductie (daling van ~3-4 punten in nauwkeurigheid), terwijl hybride modellen hier juist van profiteren door de state-memory.
• Schalbaarheid: De latentie groeit veel trager met de videolengte bij hybride modellen met reductie, waardoor inferentie op zeer lange video's (tot 512 frames) mogelijk wordt zonder Out-of-Memory (OOM) fouten.

5. Betekenis en Impact

Dit werk is significant omdat het de weg vrijmaakt voor efficiënte, schaalbare VLMs voor lange video's.

• Efficiëntie: Het maakt het mogelijk om lange video's te verwerken met een fractie van de huidige rekenkosten, wat essentieel is voor real-time toepassingen en kostbare inferentie.
• Architectuur-ontwerp: Het benadrukt dat hybride architecturen (zoals Mamba) niet alleen sneller zijn in doorvoer, maar ook robuuster zijn tegen tokenreductie, waardoor ze ideaal zijn voor lange contexttaken.
• Toekomst: De aanpak suggereert dat toekomstige VLMs niet alleen moeten vertrouwen op pure attention, maar dat hybride modellen met slimme, adaptieve reductiestrategieën de standaard kunnen worden voor multimodale lange-contexttaken.

Kortom, het paper bewijst dat door de unieke eigenschappen van state-space modellen te benutten (recurrente state) en een slimme, progressieve reductiestrategie toe te passen, men enorme snelheidswinst kan behalen zonder in te leveren op de kwaliteit van het begrip van lange video's.