Thinking in Streaming Video

Dit paper introduceert ThinkStream, een framework dat realtime video-redenering mogelijk maakt door een 'kijken-denken-spreken'-paradigma te combineren met een compacte geheugenmethode en versterkt leren, waardoor latentie en rekenkosten aanzienlijk worden verlaagd ten opzichte van bestaande batch-gebaseerde benaderingen.

De kern

Stel je voor dat je een vriend bent die samen met iemand door een lange, ononderbroken film kijkt. De meeste slimme computers (AI) doen het zo: ze wachten tot de hele film voorbij is, kijken dan terug naar alles wat ze hebben gezien, en geven pas dan een antwoord. Dit is als wachten tot de hele film voorbij is voordat je zegt: "Oh, die man had een rode hoed!" Het werkt, maar het is traag en kost veel energie, vooral als de film uren duurt.

Het nieuwe systeem uit dit paper, genaamd ThinkStream, doet het anders. Het is als een slimme vriend die terwijl de film draait, continu denkt en reageert.

Hier is hoe het werkt, vertaald in alledaagse termen:

1. De "Kijken-Denken-Praten" Dans

In plaats van te wachten, gebruikt ThinkStream een ritme dat ze "Kijken-Denken-Praten" noemen:

• Kijken: De computer kijkt naar een klein stukje van de video (bijvoorbeeld 1 seconde).
• Denken: Direct daarna maakt de computer een korte gedachte: "Ah, ik zie een man die een mes pakt."
• Beslissen: De computer vraagt zich af: "Heb ik genoeg info om nu iets te zeggen?"
  • Als het antwoord nee is, zegt hij niets en blijft hij kijken ().
  • Als het antwoord ja is, zegt hij het direct ().

Dit is als een conversatie waarbij je niet wacht tot iemand alles heeft verteld, maar tussendoor al reageert op wat je net hebt gehoord.

2. De Slimme Herinnering (De "Gedachten-Notitie")

Het grootste probleem bij het kijken naar een lange video is het geheugen. Als je elke seconde van een 1 uur durende video onthoudt, wordt je brein (of computergeheugen) overbelast.

ThinkStream lost dit op met een truc genaamd RCSM (Redenering als Gedrukte Herinnering).

• Het oude probleem: Je onthoudt elk detail van de video (elke pixel, elke beweging). Dat is alsof je elke foto van een vakantiealbum in je hoofd probeert te houden.
• De ThinkStream-oplossing: In plaats van alle oude foto's te bewaren, schrijft de computer een korte samenvatting van wat er gebeurde.
  • Voorbeeld: In plaats van 1000 beelden van een man die loopt, onthoudt de computer alleen de gedachte: "De man liep naar de keuken."
  • De oude beelden worden weggegooid (vergeten), maar de gedachte blijft bewaard als een stevige anker. Zo blijft het geheugen klein, maar is de betekenis van wat er gebeurde nog steeds intact.

3. De Trainer (De "Leraar met een Vinkjeslijst")

Hoe leer je een computer om dit slim te doen? Ze gebruiken een methode genaamd Reinforcement Learning (versterkend leren), maar dan speciaal voor streaming.
Stel je een trainer voor die een vinkjeslijst heeft:

1. Vorm: Heb je je gedachten in de juiste volgorde gezet? (Ja/Nee).
2. Tijdstip: Heb je op het juiste moment gepraat? (Niet te vroeg, niet te laat).
3. Juistheid: Is je antwoord correct?

De computer krijgt punten voor goed gedrag en straf voor fouten. Na veel oefening leert de computer precies wanneer hij moet "nadenken" en wanneer hij moet "spreken", zonder dat hij de draad kwijtraakt.

4. Waarom is dit cool?

• Snelheid: Omdat het niet wacht tot het einde, kan het direct reageren. Het is als een live-commentator in plaats van een filmrecensent die pas na de bioscoopbezoek schrijft.
• Geheugen: Het kan urenlang video's bekijken zonder vast te lopen, omdat het alleen de "essentie" onthoudt en de rest vergeet.
• Resultaat: Tests tonen aan dat dit systeem veel beter is dan bestaande systemen die wachten tot het einde, en het werkt zelfs beter dan veel grotere, duurdere modellen.

Kortom: ThinkStream is als een super-slimme, attente vriend die samen met jou naar een video kijkt, tussendoor slimme opmerkingen maakt, en nooit de draad kwijtraakt, zelfs niet als de video urenlang doorgaat.

Technische samenvatting

-blok). Het model integreert nieuwe bewijzen met de bestaande context en actualiseert zijn begrip van de scène. 3. **Speak:** Een beslissing nemen: * : Niet genoeg bewijs; blijf observeren. * `: Genoeg bewijs verzameld; geef een antwoord.

B. Reasoning-Compressed Streaming Memory (RCSM)
Om het probleem van groeiende geheugeneisen op te lossen, introduceert het paper RCSM.

• Principe: In plaats van alle historische visuele tokens (die groot en rijk aan details zijn) in de KV-cache te bewaren, worden verouderde visuele tokens verwijderd.
• Compressie: De tussenliggende redeneersporen (de <think>-tokens) worden bewaard als compacte semantische geheugen. Deze redeneertraces fungeren als "semantische ankers" die de essentiële betekenis van eerdere visuele gebeurtenissen vasthouden zonder de hoge kosten van de originele visuele data.
• Resultaat: De contextgrootte blijft stabiel, zelfs bij lange video's, omdat de visuele tokens worden vervangen door compacte redeneertraces.

C. Streaming Reinforcement Learning met Verifieerbare Beloningen (RLVR)
Om het model te trainen om dit gedrag te vertonen, gebruiken de auteurs een RLVR-schema:

• Reward Functie: Bestaat uit drie componenten:
  1. Accuracy Reward: Correctheid van het antwoord.
  2. Format Reward: Strikte naleving van de <think>/<silent>/<response> structuur.
  3. Time Reward: Beloning voor het reageren op het juiste tijdstip (niet te vroeg, niet te laat).
• Training: Het model wordt geoptimaliseerd via Group Relative Policy Optimization (GRPO) om incrementeel te redeneren en de timing van antwoorden te synchroniseren met de stroom van informatie.

D. Efficient Streaming Inference Backend
Om de hoge doorvoer te garanderen, is een aangepaste inferentie-engine gebouwd op CUDA Graphs. Deze engine ondersteunt dynamische updates van de KV-cache (het verwijderen van oude visuele tokens) met minimale kernel-launch overhead, wat essentieel is voor real-time prestaties.

3. Belangrijkste Bijdragen

1. Watch–Think–Speak Paradigma: Een nieuw raamwerk dat videobegrip formuleert als een incrementeel redeneer- en interactieproces, waarbij het model continu zijn interpretatie bijwerkt en zelf bepaalt wanneer het moet antwoorden.
2. ThinkStream Framework & RCSM: Een unificatie van redenerende multimodale modellen met een geheugentechniek die redeneertraces gebruikt als gecomprimeerd semantisch geheugen, waardoor lange video's mogelijk zijn zonder lineaire geheugengroei.
3. RLVR Training: Een trainingsstrategie met verifieerbare beloningen die het model leert om gestructureerd te redeneren en op het juiste moment te reageren.
4. Dataset & Infrastructuur: De creatie van een groot dataset met tijdsgebonden redeneertraces (110K voor cold-start, 9K voor RLVR) en een efficiënte inferentie-backend voor schaalbare implementatie.

4. Resultaten

Experimenten op diverse benchmarks tonen aan dat ThinkStream aanzienlijk beter presteert dan bestaande modellen:

• Streaming Benchmarks: ThinkStream-3B (een compact model van 3 miljard parameters) behaalt een gemiddelde score van 59.66 op de OVO-Bench, wat aanzienlijk hoger is dan de basis-modellen (Qwen2.5-VL-3B: 51.00) en grotere online modellen zoals Streamo-3B (51.64).
• Real-time Prestaties: Op de StreamingBench Real-Time benchmark scoort ThinkStream-3B 75.00, wat beter is dan gespecialiseerde open-source modellen en zelfs concurrerend met gesloten modellen zoals GPT-4o (73.28).
• Offline Capabiliteit: Ondanks de agressieve verwijdering van visuele tokens, behoudt het model sterke prestaties op offline video-benchmarks (bijv. VideoMME: 61.9), wat aantoont dat de semantische compressie effectief is.
• Efficiëntie: De custom CUDA Graph-engine zorgt voor een 5x snelheidswinst in token-decoding vergeleken met standaard implementaties. De latentie blijft stabiel onder de 0.5s (vereist voor 2 FPS input), zelfs naarmate de video langer wordt, terwijl basismodellen hun latentie lineair laten toenemen.

5. Betekenis en Impact

Dit werk is een doorbraak in het gebied van multimodale AI voor real-time toepassingen. Het lost het fundamentele dilemma op tussen diep redeneren (wat veel context en tijd vereist) en real-time responsiviteit (wat lage latentie en beperkt geheugen vereist).

• Toepassingen: Het maakt het mogelijk voor interactieve assistenten, robotica en bewakingssystemen om continu te "denken" en te handelen in dynamische omgevingen zonder te wachten tot een video eindigt.
• Efficiëntie: Door redenering te gebruiken als geheugen, toont het aan dat semantische abstractie efficiënter is dan het bewaren van ruwe data, wat de weg vrijmaakt voor langere en complexere interacties met AI-agenten.

Kortom, ThinkStream bewijst dat het mogelijk is om complexe, incrementele redenering uit te voeren in real-time videostreams met een stabiel geheugengebruik en lage latentie.