Technische Samenvatting: Lineair Schalende Video VLMs voor Lange Video Begrip (StateKV)

1. Probleemstelling

Video Vision-Language Models (VLMs) worden steeds belangrijker voor langdurige en streaming toepassingen, zoals autonoom rijden en belichaamde robotica, die integratie van bewijslast over minuten of uren vereisen. Er bestaat echter een fundamentele bottleneck: de computationele kosten voor het verwerken van lange video's in standaard VLMs groeien kwadratisch ($O(N^2)$) met het aantal frames ($N$). Dit komt doordat dominante architecturen vertrouwen op spatiotemporele zelf-attentie, waarbij elk frame aandacht besteedt aan alle voorgaande video-tokens.

Bestaande efficiëntiestrategieën proberen dit te verzachten door:

1. Het subsampling van frames of tokens: Het reduceren van de inputgrootte verslechtert de prestaties vaak aanzienlijk, tenzij een groot deel van de tokens behouden blijft (bijv. ~60%).
2. Het comprimeren van de KV-cache: Agressieve compressie kan temporele en ruimtelijke signalen verliezen die nodig zijn voor redeneren.
3. Sliding-window/Recentie-gebaseerde heuristieken: Methoden zoals ReKV verwerken frames sequentieel met een vaste window van recente frames. Hoewel deze de prefill-complexiteit reduceren naar lineair ($O(N)$), vertrouwen ze op ad-hoc aannames dat de meest relevante informatie altijd recent is, wat vaak faalt in het vastleggen van langetermijn-afhankelijkheden die nodig zijn voor complexe redenering.

De uitdaging is om lineaire-tijd video prefill (constante kosten per frame) te bereiken zonder de nauwkeurigheid van volledige zelf-attentie op te offeren of architecturale wijzigingen en fine-tuning te vereisen.

2. Methodologie: StateKV

De auteurs introduceren StateKV, een methode voor inferentie die gefroren, vooraf getrainde lange-video VLMs aanpast aan lineaire-tijd video prefill. Het kerninzicht is dat de lange-video aandacht in vooraf getrainde VLMs sterk gestructureerd is: terwijl de meeste interacties binnen een frame plaatsvinden, concentreren langetermijn temporele interacties zich op een kleine set "temporele sink" tokens die traag evolueren over de tijd.

Kernaannames

StateKV is gebouwd op twee empirische aannames met betrekking tot de aandacht in vooraf getrainde VLMs:

1. Concentratie van Inter-frame Aandacht: Voor elk gegeven frame is de meerderheid van de nuttige cross-frame aandacht geconcentreerd op een kleine set historische tokens ($K \ll N$), ongeacht de totale videolengte.
2. Trage Evolutie van de Temporele Staat: De set van deze "sink" tokens evolueert traag. De nuttige staat voor frame $n+1$ kan goed worden benaderd door de staat van frame $n$ gecombineerd met de tokens van frame $n+1$.

Architectuur en Mechanisme

StateKV werkt via een twee-cache structuur per transformer-laag, waarbij een bevroren backbone wordt behouden:

1. Gedetailleerde Staat ($D_n$): Een volledige cache die alle visuele tokens van elk tot nu toe verwerkt frame opslaat. Deze cache wordt nooit bevraagd tijdens de prefill-fase, maar wordt bewaard voor de uiteindelijke tekstdecodering-fase om ervoor te zorgen dat er geen informatie verloren gaat tijdens de generatie.
2. Gecomprimeerde Staat ($C_n$): Een staat met een vaste capaciteit en recursieve aard (bijv. 1024 tokens) die alleen wordt gebruikt tijdens de video prefill-fase om cross-frame interacties te benaderen.

Het Proces:

• Streaming Prefill: Terwijl frames arriveren, verwerkt het model ze incrementeel. Frame $n$ besteedt aandacht aan de concatenatie van de huidige frame-tokens en de Gecomprimeerde Staat van frame $n-1$.
• Belangrijkheids-gebaseerde Selectie: Na het verwerken van frame $n$ wordt de Gecomprimeerde Staat bijgewerkt. Het model berekent aandachtsscores (video-only) voor alle kandidaat-tokens (de vorige gecomprimeerde staat + huidige frame-tokens). Het selecteert de top-$B$ tokens (waarbij $B$ het vaste budget is) om de nieuwe Gecomprimeerde Staat $C_n$ te vormen, waarbij tokens met een lage belangrijkheid worden verwijderd.
• Decoding: Zodra alle frames zijn verwerkt, begint de standaard autoregressieve tekstgeneratie. Cruciaal is dat de decodering conditioneel is op de Gedetailleerde Staat ($D_N$), die alle originele video-tokens bevat, waardoor de generatiefase toegang heeft tot de volledige context.

Dit ontwerp ontkoppelt de complexiteit van de video-encodering (lineair, $O(N)$) van de getrouwheid van de uiteindelijke generatie (volledige context).

3. Belangrijkste Bijdragen

• Lineaire-tijd Prefill zonder Fine-Tuning: StateKV stelt gefroren vooraf getrainde VLMs in staat om lange video's te verwerken met lineaire computationele complexiteit ($O(N)$) en constante kosten per frame, zonder architecturale wijzigingen of hertraining te vereisen.
• Geprincipeerde Approximatie van Volledige Aandacht: In tegenstelling tot sliding-window methoden die vertrouwen op recentie, gebruikt StateKV een belangrijkheids-gebaseerd mechanisme om "temporele sinks" door te geven. Dit biedt een meer geprincipeerde benadering van volledige zelf-attentie en legt langetermijn afhankelijkheden vast die recentie-gebaseerde heuristieken missen.
• Compute-Nauwkeurigheid Afweging: Door de benodigde FLOPs voor video prefill drastisch te verminderen, stelt StateKV gebruikers in staat om grotere modellen te draaien binnen hetzelfde compute-budget. De paper demonstreert dat een groter model met StateKV de prestaties kan evenaren van een kleiner model met volledige zelf-attentie bij een vergelijkbare of lagere computationele kosten.
• Empirische Validatie: De methode wordt gevalideerd over drie lange-video benchmarks (VideoMME, MLVU, OVOBench) en zeven modellen verspreid over drie families (InternVL3, Qwen-VL, Eagle2.5) en meerdere schalen (1B tot 8B parameters).

4. Resultaten

• Nauwkeurigheid vs. Volledige Zelf-Attentie: Over alle benchmarks en model-schalen heen blijft StateKV dicht bij de prestaties van volledige zelf-attentie (Full SA). Gemiddeld blijft het binnen ongeveer 1% van de Full SA-nauwkeurigheid, wat aanzienlijk beter presteert dan sliding-window baselines zoals ReKV (die vaak ~10 punten achterblijven).
• Superieur aan Recentie-gebaseerde Methoden: StateKV presteert consistent beter dan ReKV (een dominante sliding-window methode) over VideoMME, MLVU en OVOBench. De auteurs schrijven dit toe aan het feit dat langetermijn aandachtspatronen in VLMs niet puur recentie-gebaseerd zijn; ze vertrouwen vaak op persistente "ankers" uit verre frames die sliding windows weggooien.
• Schaalbaarheidsgedrag: Prestaties verbeteren monotoon naarmate de capaciteit van de gecomprimeerde staat ($B$) toeneemt. Grotere modellen vertonen een sterkere schaling met de cachegrootte en evenaren vaak de Full SA-nauwkeurigheid bij hogere budgetten.
• Computationele Efficiëntie:
  • StateKV vermindert de video-prefill FLOPs drastisch.
  • Break-even Analyse: Voor voldoende lange video's is het draaien van een groter model (bijv. InternVL3-8B) met StateKV computationeel goedkoper dan het draaien van een kleiner model (bijv. InternVL3-1B) met Full Self-Attention.
  • Voorbeeld: StateKV-8B met een cache-budget van 4096 bereikt 62,5% nauwkeurigheid op VideoMME tegen een compute-kosten die vergelijkbaar is met Full SA-1B (46,2% nauwkeurigheid), wat effectief ~16 punten nauwkeurigheid oplevert voor hetzelfde budget.

5. Betekenis en Claims

Het artikel positioneert StateKV als een praktische stap richting schaalbare lange-video begrip. De betekenis ligt in:

• Het Mogelijk Maken van Real-Time Streaming: Door een constante kosten per frame te bereiken, verwijdert StateKV de kwadratische bottleneck die momenteel real-time streaming toepassingen voor lange video's (bijv. een auto die een uur lang rijdt wordt moeilijker te bevragen dan een auto die net is begonnen) in de weg staat.
• Het Herdefiniëren van de Compute Frontier: De methode verschuift het paradigma van "comprimeren om te passen" naar "comprimeren om te benaderen". Het demonstreert dat belangrijkheid-gebaseerde geheugenretentie een sterkere benadering van volledige aandacht is dan strikte recentie, wat zorgt voor betere nauwkeurigheid bij vaste compute-budgetten.
• Generaliseerbaarheid: De aanpak wordt consistent overgedragen op verschillende modelfamilies en parameter-schalen zonder model-specifieke tuning te vereisen, wat suggereert dat de onderliggende aandachtstructuur (temporele sinks) een robuuste eigenschap is van huidige vooraf getrainde VLMs.

De auteurs erkennen beperkingen, waarbij zij opmerken dat de mechanistische validatie momenteel beperkt is tot bestaande modellen en geteste inputs. Zij suggereren dat toekomstig werk moet onderzoeken of deze aandachtspatronen standhouden over bredere backbones en video-regimes. Binnen de geteste scope biedt StateKV echter een robuuste, training-vrije oplossing voor het schaalbaarheidsprobleem van lange video's.