Going Down Memory Lane: Scaling Tokens for Video Stream Understanding with Dynamic KV-Cache Memory

Het paper introduceert MemStream, een methode die de token-begroting voor videostreams uitbreidt en een adaptieve selectiestrategie combineert met een trainingsvrije retrieval-mixture-of-experts om de prestaties van video-VQA-modellen aanzienlijk te verbeteren door fijnkorrelige spatiotemporele details te behouden.

De kern

Video's onthouden: Hoe MemStream een beter geheugen bouwt voor AI

Stel je voor dat je een AI hebt die een hele dag lang een video bekijkt, alsof het een ononderbroken film is. De taak van deze AI is om vragen te beantwoorden over wat er in die video gebeurt. Dit klinkt simpel, maar voor een computer is dit als proberen een heel boek uit je hoofd te onthouden terwijl je het in één adem doorleest.

De onderzoekers van deze paper (MemStream) hebben een probleem ontdekt met de huidige methoden en een slimme oplossing bedacht. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Overvolle Koffer"

Stel je voor dat de AI een koffer (het geheugen) heeft om de video op te slaan.

• Huidige methode: De AI probeert elk detail van elk beeldje in de video op te slaan. Ze vullen de koffer tot aan de rand met duizenden kleine foto's.
• Het probleem: Omdat de koffer zo vol zit, raakt de AI in de war. Het is alsof je in een kamer staat die zo vol staat met spullen dat je niet meer weet waar je moet zoeken. De AI begint te denken: "Oh, de laatste beelden die ik zag, die lijken het meest op wat ik zoek," en negeert de belangrijke beelden die 10 minuten eerder waren. Ze vergeten de fijne details (zoals hoeveel komkommers iemand pikt) omdat ze te veel ruis hebben.

2. De Oplossing: Slimme Verpakking (Adaptive Key Selection)

De onderzoekers zeggen: "Stop met alles op te slaan!" In plaats daarvan introduceren ze een slimme verpakker, genaamd AKS (Adaptive Key Selection).

• De Analogie: Stel je voor dat je een dagboek schrijft. In plaats van elke seconde op te schrijven wat je deed ("ik ademde, ik ademde, ik ademde..."), schrijf je alleen de belangrijke momenten op.
• Hoe het werkt: De AI kijkt naar de video en zegt: "Deze beelden zijn bijna hetzelfde als de vorige, dus die sla ik niet op. Maar dit beeld is anders en belangrijk, dus dat bewaar ik."
• Het resultaat: De koffer is nu veel lichter, maar bevat wel de juiste informatie. De AI kan zich nu beter herinneren wat er echt gebeurd is, zonder verstrikt te raken in herhalingen.

3. De Tweede Hulp: De "Expertgroep" (Mixture-of-Experts)

Zelfs met een lichte koffer kan de AI soms nog de verkeerde plek in de video zoeken. Soms is de AI zelf niet scherp genoeg om te zien wat er op het scherm staat.

• De Analogie: Stel je voor dat je een vraag hebt over een film. Je kunt het zelf proberen te onthouden (de interne AI), maar je kunt ook een vriend bellen die bekend is met films (een externe expert).
• Hoe het werkt: MemStream gebruikt niet alleen het geheugen van de AI, maar vraagt ook hulp aan andere, gespecialiseerde "experts" (andere slimme modellen) die heel goed zijn in het herkennen van beelden.
• De Samensmelting: De AI luistert naar haar eigen geheugen én naar de experts. Ze gebruiken een slimme methode (zoals een stemmenproces) om te beslissen: "Oké, de AI dacht dat het bij minuut 5 was, maar de expert zegt minuut 10. Laten we naar minuut 10 kijken." Dit zorgt voor een veel betrouwbaarder antwoord.

Wat is het resultaat?

Door deze twee stappen te combineren (een slimmere manier om de video op te slaan + hulp van experts), is de AI veel beter geworden in het beantwoorden van vragen over lange video's.

• Voorbeeld: Als de vraag is: "Hoeveel komkommers pakte de hoofdpersoon de tweede keer?", dan gaf de oude methode (ReKV) het verkeerde antwoord (6 stuks), omdat ze de verkeerde beelden zagen. De nieuwe methode (MemStream) zag precies het juiste moment en gaf het juiste antwoord (3 stuks).

Kortom: MemStream is als het geven van een beter geheugen aan een computer. Ze leren niet alleen om minder onnodige informatie op te slaan, maar ze leren ook om samen te werken met andere slimme systemen om de juiste antwoorden te vinden, zelfs in urenlange video's.

Technische samenvatting

Titel: Going Down Memory Lane: Scaling Tokens for Video Stream Understanding with Dynamic KV-Cache Memory

Auteurs: Vatsal Agarwal, Saksham Suri, Matthew Gwilliam, Pulkit Kumar, Abhinav Shrivastava.

---

1. Het Probleem

Het begrijpen van lange video's (Video Question Answering of VQA) via streaming vereist dat modellen informatie robuust coderen, opslaan en ophalen uit een continue videostream. Bestaande state-of-the-art benaderingen, zoals ReKV, gebruiken Key-Value (KV) caching om frame-informatie over de tijd op te slaan. Deze methoden hebben echter twee fundamentele beperkingen:

1. Verlies van detail bij schaling: Bestaande methoden gebruiken een beperkt aantal tokens per frame. Als men het token-budget per frame verhoogt om meer visuele details vast te leggen, neemt de prestatie juist af.
2. Tijdsbias (Temporal Bias): De auteurs ontdekten dat bij een hoger token-budget de query-frame gelijkenissscores systematisch toenemen naarmate de video vordert. Dit leidt ertoe dat het model voorkeurt geeft aan latere frames in de video, waardoor het relevante eerdere frames mist.
3. Redundantie: De gebruikte "sliding window attention" mechanismen worden minder selectief bij hogere token-budgetten. Dit resulteert in een toename van redundantie in de KV-features, waardoor het model moeite heeft om onderscheidende frame-representaties te coderen.
4. Onbetrouwbare interne ophaling: Interne retrieval (gebaseerd op de aandachtsmaps van het Large Language Model zelf) varieert sterk per laag; sommige lagen vinden de juiste frames, andere helemaal niet.

2. Methodologie: MemStream

De auteurs stellen MemStream voor, een trainingsvrij framework dat twee hoofdstadia combineert: Encodering en Retrieval.

A. Adaptive Key Selection (AKS) voor Encodering

Om het probleem van redundantie en tijdsbias op te lossen, introduceren ze een strategie voor sparse sliding-window attention:

• Principe: In plaats van alle tokens in het venster te behouden, selecteert AKS een representatieve subset die de kritieke spatiotemporale informatie behoudt.
• Mechanisme: Voor elke paar aangrenzende key-features ($K_t$ en $K_{t-1}$) wordt de patch-voor-patch cosine-similariteit berekend. Alleen de patches die het meest uniek zijn voor het huidige frame (d.w.z. de minst vergelijkbare met het vorige frame) worden behouden.
• Doel: Dit vermindert ruimtelijke en temporale redundantie in de KV-cache, waardoor de features discriminatiever worden en de tijdsbias wordt doorbroken.

B. Retrieval Mixture-of-Experts (MoE)

Om de onbetrouwbaarheid van de interne retrieval per laag op te lossen, combineren ze interne en externe signalen:

• Interne Retrieval: Gebruikt de aandachtsmaps van het MLLM (Qwen2.5-VL) om relevante frames te vinden.
• Externe Retrieval: Gebruikt externe vision-language modellen (zoals CLIP of PECore) om query-frame scores te genereren. Deze modellen zijn vaak beter in het vangen van fijne visuele details en semantische informatie.
• Fusie (RRF): In plaats van de scores direct te combineren, gebruiken ze Reciprocal Rank Fusion (RRF). Dit is een rangschikking-gebaseerde fusiestrategie die de overeenstemming tussen de interne en externe rankings versterkt en uitbijters (outliers) minimaliseert. Dit resulteert in een consistentere en nauwkeurigere ophaling van frames over alle lagen heen.

3. Belangrijkste Bijdragen

1. Analyse van KV-Cache Beperkingen: Een grondige analyse die aantoont dat het simpelweg verhogen van het token-budget voor bestaande KV-cache-methoden leidt tot een daling in retrieval-kwaliteit en vraagbeantwoording, veroorzaakt door tijdsbias en verhoogde redundantie.
2. Adaptive Key Selection (AKS): Een nieuwe strategie voor het comprimeren en selecteren van tokens binnen een sliding window, die redundantie elimineert zonder lokale spatiotemporale informatie te verliezen.
3. Trainingsvrije Retrieval MoE: Een efficiënte methode om externe vision-modellen te integreren met interne attention-mechanismen via RRF, zonder extra training van het basismodel.

4. Resultaten

MemStream werd geëvalueerd op diverse benchmarks voor lange video's (CG-Bench, LVBench, VideoMME) en streaming benchmarks (RVS-Ego, RVS-Movie), vergeleken met de state-of-the-art ReKV (met Qwen2.5-VL-7B).

• Offline VQA:
  • +8.0% verbetering op CG-Bench.
  • +8.5% verbetering op LVBench.
  • +2.4% verbetering op VideoMME (Long subset).
  • De combinatie van AKS en MoE leverde de beste resultaten op, waarbij AKS alleen al een aanzienlijke verbetering gaf en de MoE-fusie dit verder versterkte.
• Online VQA:
  • MemStream overtrof ReKV met 3.6% op RVS-Ego met minimale toename in latentie.
  • De methode behoudt een hoge doorvoersnelheid (ongeveer 8.5 FPS) en een beheersbaar geheugengebruik.
• Kwalitatieve Resultaten: In voorbeelden (zoals het tellen van komkommers in een video) gaf MemStream het juiste antwoord (3 komkommers) terwijl ReKV een fout antwoord gaf (6 komkommers), wat wijst op een betere ophaling van de relevante tijdssegmenten.

5. Betekenis en Conclusie

Dit paper is significant omdat het een fundamenteel probleem in het streamen van video's naar LLMs aanpakt: de trade-off tussen token-dichtheid en retrieval-kwaliteit.

• Het weerlegt de aanname dat "meer tokens" altijd beter is voor KV-cache systemen, en laat zien dat selectiviteit (via AKS) cruciaal is.
• Het introduceert een nieuwe paradigma voor retrieval in multimodale modellen door interne en externe expert-systemen te combineren zonder extra training.
• De methode maakt het mogelijk om lange video's efficiënter en nauwkeuriger te begrijpen, wat essentieel is voor toepassingen zoals real-time video-analyse en geavanceerde VQA-systemen.

Kortom, MemStream lost het probleem van "vergeten" of "verkeerd herinneren" van video-informatie op door slimme compressie en het versterken van retrieval-signalen via een ensemble van modellen.