💬 NLP

Harnessing Streaming Video in the Wild

Dit artikel pakt de beperkingen van bestaande Vision-Language-modellen aan bij het verwerken van onbegrensde videostreams door een uitgebreid framework te introduceren dat bestaat uit een gespecialiseerde trainingsdataset (Streaming-Train-248K), een plug-and-play deploymentsysteem (Streaming Harness) dat proactieve interactie, langetermijngeheugen en realtime verwerking mogelijk maakt, en een nieuwe benchmark (Streaming-Eval) om de verschuiving van offline video-begrip naar inzetbare streaming-intelligentie te bevorderen.

Oorspronkelijke auteurs: Dingyu Yao, Shuhuan Gu, Qingyi Si, Junhao Zhou, Chenxu Yang, Chuanyu Qin, Naibin Gu, Zheng Lin, Weiping Wang, Nan Duan, Jiaqi Wang

Gepubliceerd 2026-06-09

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Dingyu Yao, Shuhuan Gu, Qingyi Si, Junhao Zhou, Chenxu Yang, Chuanyu Qin, Naibin Gu, Zheng Lin, Weiping Wang, Nan Duan, Jiaqi Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je naar een live sportuitzending kijkt. Je hebt een slimme assistent naast je zitten.

De Oude Manier (Offline Video):
De meeste huidige AI-assistenten zijn als iemand die een opgenomen wedstrijd bekijkt nadat deze is afgelopen. Ze kunnen pauzeren, terugspoelen en de hele wedstrijd analyseren voordat ze zeggen: "Wauw, wat een geweldig doelpunt!" Ze zijn erg goed in het analyseren van het verleden, maar ze kunnen niet met je praten terwijl de wedstrijd bezig is. Als je ze tijdens de wedstrijd een vraag stelt, kunnen ze bevriezen, of ze kunnen gaan gokken wat er gaat gebeuren (wat een hallucinatie is), of ze kunnen gewoon blijven praten wanneer er niets interessants gebeurt.

De Nieuwe Manier (De Oplossing van dit Papier):
De auteurs van dit papier, "Harnessing Streaming Video in the Wild", hebben een systeem gebouwd dat een AI verandert in een real-time, live commentator die uren aan video kan verwerken zonder moe te worden of dingen te vergeten. Ze noemen dit een "unified stack" omdat ze drie grote problemen tegelijk hebben opgelost: de hersenen, het geheugen en de testomgeving.

Hier hebben ze het gedaan, met behulp van eenvoudige analogieën:

1. De Hersenen: Leren om "Zwijgen" (Streaming-Train-248K)

Het Probleem: Als je een AI leert om video te beschrijven, probeert deze vaak elke enkele seconde te beschrijven. Het is als een verteller die zegt: "De bal is rood. De bal beweegt. De bal beweegt nog steeds. De bal beweegt..." Het is irritant en verspilt tijd.
De Oplossing: Het team heeft een enorme dataset van 248.000 videoclips gemaakt. Ze leerden de AI een nieuwe truc: Stilte.

Ze gaven de AI twee speciale "knoppen": één om te Spreken en één om Stil te Zijn.
Ze trainden de AI om alleen op "Spreken" te drukken wanneer er iets belangrijks gebeurt (zoals een doelpunt of een grappig moment) en op "Stilte" te drukken wanneer er niets nieuws gebeurt.
Het Resultaat: De AI leerde zich te gedragen als een professionele sportcommentator die weet wanneer hij moet praten en wanneer hij de menigte in stilte moet laten juichen.

2. Het Systeem: De "Slimme Bibliothecaris" (Streaming Harness)

Het Probleem: Zelfs een slim brein heeft een goed geheugen nodig. Als je een film van 2 uur kijkt, raakt een AI meestal na 10 minuten het geheugen kwijt. Het is alsof je probeert een gesprek van 2 uur in je hoofd te houden zonder iets op te schrijven; je vergeet het begin tegen de tijd dat je bij het einde bent. Ook moet real-time video snel zijn. Als de AI 5 seconden nodig heeft om na te denken, is de video al verder gegaan.
De Oplossing: Ze hebben een "plug-and-play" systeem gebouwd genaamd Streaming Harness. Denk aan dit als een Slimme Bibliothecaris met drie planken:

Het Kortetermijngeheugen (Onmiddellijk): Houdt de laatste paar minuten video vast in hoge detail (zoals ruwe beelden).
Het Middentermijngeheugen (Samenvatting): Wanneer de kortetermijnplank vol is, schrijft de bibliothecaris een snelle samenvatting van wat er is gebeurd en legt de ruwe beelden weg.
Het Langetermijngeheugen (Het Archief): Wanneer de middentermijnplank vol is, combineert de bibliothecaris die samenvattingen tot een enorme, georganiseerde tijdlijn.
De Magische Truk: Dit systeem is ontworpen om te werken met "vLLM" (een super-snelle motor). Het is alsof de bibliothecaris oude aantekeningen hergebruikt in plaats van telkens het hele boek opnieuw te lezen. Dit houdt de AI snel (minder dan 1 seconde om te reageren), zelfs na 12 uur video.

3. De Test: De "Live Stress Test" (Streaming-Eval)

Het Probleem: Voorheen testten mensen video-AI door ze een korte clip te geven en één vraag te stellen. Het is alsoal een marathonloper testen door hem 100 meter te laten rennen. Dat vertelt je niet of hij 26 mijl kan rennen.
De Oplossing: Ze hebben een nieuwe benchmark ontwikkeld genaamd Streaming-Eval.

In plaats van korte clips gebruikten ze lange, rommelige, real-world video's (zoals kookprogramma's, doe-het-zelf projecten en live sport).
Ze testten de AI op zes verschillende vaardigheden:
- Proactief: Sprak het op het juiste moment?
- Punctuatie (Tijdigheid): Wachtte het op het juiste moment?
- Contextueel: Herinnerde het zich wat er 10 minuten geleden werd gezegd?
- Verleden/Toekomst/Heden: Kan het vragen beantwoorden over het verleden, de toekomst of het nu?
Ze hebben ook een nieuwe score-regel uitgevonden (SW-F1) die de AI straft als het te vroeg of te laat antwoordt, en niet alleen als de feiten niet kloppen.

De Resultaten

Toen ze hun "Streaming-Native" AI (dezelfde die getraind is om stil te zijn) in hun "Streaming Harness" (het geheugensysteem) plaatsten, waren de resultaten indrukwekkend:

Geheugen: Het kon details onthouden van 12 uur geleden.
Snelheid: Het bleef snel (onder de 1 seconde) zelfs na 2 uur video.
Prestaties: Het versloeg top-tier, dure, gesloten AI-modellen (zoals Claude Opus, GPT-5 en Gemini) bij het beschrijven van live video en het beantwoorden van vragen daarover.

In Samenvatting:
Het papier stelt dat ze een compleet pakket hebben gebouwd om AI te veranderen van een "post-game analist" naar een "live broadcast partner". Ze hebben het geleerd wanneer het moet praten, gaven het een geheugen dat urenlang meegaat zonder te vertragen, en creëerden een nieuwe manier om te testen of het daadwerkelijk de realiteit van eindeloze, live videostreams aankan.

Technische Samenvatting: Het benutten van streamingvideo in de vrije natuur

1. Probleemformulering

Huidige Vision-Language Models (VLM's) hebben aanzienlijk succes bereikt bij offline taken voor video-begrip (bijv. videovraag beantwoorden, temporele gronding), waarbij het model een volledige, vooraf opgenomen clip verwerkt om een one-shot respons te genereren. Echter, een groeiende klasse van real-world toepassingen—zoals video-gespreksassistenten, live commentaar, online surveillance en belichaamde robots—werkt met onbegrensde videostreams.

In deze "in-the-wild" scenario's worden de fundamentele aannames van offline verwerking geschonden:

Causale beperking: Het model moet reageren op basis van uitsluitend eerder waargenomen frames, zonder toegang tot toekomstige inhoud.
Onbegrensde lengte: Streams kunnen uren duren, wat het onmogelijk maakt om alle visuele tokens in het geheugen te behouden.
Latentiebeperkingen: Responsies moeten in real-time worden gegenereerd (sub-seconde latentie) om gesynchroniseerd te blijven met binnenkomende frames.
Proactieve interactie: Het systeem moet beslissen wanneer het spreekt en wanneer het stil blijft, in plaats van output te genereren voor elk frame of te wachten op een gebruikersvraag.

Bestaande methoden pakken doorgaans slechts één of twee van deze vereisten aan (bijv. geheugencompressie of latentie-optimalisatie) in isolatie, en missen een verenigd framework dat simultaan proactieve interactie, langetermijngeheugen en real-time inferentie ondersteunt. Bovendien reduceren bestaande benchmarks de evaluatie vaak tot single-turn, offline-stijl queries, waardoor ze falen in het beoordelen van kernstreaminggedragingen zoals het herinneren van verre bewijslast of het behouden van coherentie over verschillende beurten heen.

2. Methodologie

De auteurs stellen een verenigde stack voor bestaande uit drie componenten: een trainingsdataset/doelstelling, een inferentie-framework (Harness) en een evaluatiebenchmark.

2.1 Streaming-Native VLM Training (Backbone)

Om VLM's aan te passen aan streaming-interactie, introduceren de auteurs Streaming-Train-248K, een hoogwaardige dataset met per-seconde frame-tekst uitlijning.

Data Constructie: De dataset aggregeert 248K samples uit diverse bronnen (bijv. EpicKitchens, Ego4D, LiveWhisperX), die dagelijks leven, werk en outdoor scenario's dekken. Elk één-seconde segment is gekoppeld aan ofwel een expliciete respons of een stilte-token, voorzien van tijdstempels.
Taak Taxonomie: Taken zijn gecategoriseerd in Narratie (het uitzenden van beschrijvingen alleen voor saillante gebeurtenissen) en Vragen Beantwoorden (gecategoriseerd op basis van antwoord-invariantie/variant en timing van bewijs: backward, present, forward).
Trainingsdoelstelling: Om de ernstige klassenonbalans aan te pakken waarbij stilte-tokens de respons-tokens veruit overtreffen, wordt een gewogen loss-functie gebruikt. Continuaties van stilte worden naar beneden bijgesteld ( $w_{repeated\_silence} < 1$ ), terwijl de overgang van stilte naar respons wordt opgewaardeerd ( $w_{response} > 1$ ). Dit moedigt het model aan om te leren wanneer het effectief de stilte moet doorbreken.
Special Tokens: Het model wordt getraind om twee controle-tokens uit te zenden: </response> (om te antwoorden of te narreren) en </silence> (om stil te blijven), wat per-seconde proactieve besluitvorming mogelijk maakt.

2.2 StreamingHarness (Deployment Infrastructuur)

StreamingHarness is een plug-and-play inferentie-framework ontworpen om elke VLM uit te rusten met streaming-capaciteiten. Het adresseert geheugen- en latentiebeperkingen via drie mechanismen:

Drie-lagen Geheugenbeheer:
- Korte termijn: Houdt de meest recente $T_s$ seconden aan ruwe visuele tokens vast (bijv. 200s).
- Middellange termijn: Comprimeert het verleden van de korte-termijn chunks naar tekstuele samenvattingen ( $T_m$ seconden).
- Lange termijn: Consolideert de middellange samenvattingen agressief tot blokken ( $T_l$ seconden), begrensd aan een vast aantal blokken met FIFO-evictie.
- Resultaat: Ondersteunt tot 12 uur context zonder onbegrensde geheugengroei.
Prefix-Aware KV Cache:
- Ontworpen voor compatibiliteit met efficiënte inferentie-engines zoals vLLM.
- Het systeem voert een eenmalige prefill uit van de "Memory Text" (gecomprimeerde historie) aan het begin van elke chunk.
- Vervolgstappen hergebruiken de gecachte Key-Value (KV) staten van het geheugen en voorgaande beurten, waarbij alleen het nieuwe frame en de respons worden berekend. Dit maakt sub-seconde latentie mogelijk, zelfs over lange contexten.
Event-Driven Response Triggering:
- De harness roept de backbone elke seconde aan.
- Het model beoordeelt of de huidige bewijslast (huidig frame + context) een respons rechtvaardigt. Als er geen nieuwe informatieve inhoud beschikbaar is, zendt het </silence> uit; anders genereert het een gegronde respons.

2.3 Streaming-Eval (Benchmark)

Om real-streaming capaciteiten te meten, introduceren de auteurs Streaming-Eval, een benchmark die 138 video's over 15 categorieën dekt (bijv. Sport, Koken, Nieuws).

Evaluatie Assen:
- Streaming Interactie: Beoordeelt Proactieve (wanneer te spreken), Punctuële (timing) en Contextuele (coherentie over beurten) gedragingen.
- Streaming Begrip: Beoordeelt redeneren over Backward (verleden), Present (heden) en Forward (toekomst relatief aan de query) bewijslast.
Metrieken:
- Narratie: Geëvalueerd via de win-rate tegenover menselijke/LLM-judges waarbij tempo, toon en consistentie met de ground-truth ASR worden vergeleken.
- Vragen Beantwoorden: Gebruikt SW-F1 (Streaming Weighted F1), een metriek die foutieve antwoorden en verkeerd getimede responsies gezamenlijk straft (antwoorden uitzenden wanneer stilte vereist is of de antwoord-window missen). Het kent hogere gewichten toe aan True Positives en False Negatives om correctheid te prioriteren terwijl "altijd-reageren"-gedrag wordt ontmoedigd.

3. Belangrijkste Bijdragen

Streaming-Train-248K: Een grootschalige dataset met per-seconde uitlijning en een op maat gemaakte trainingsdoelstelling om Streaming-Native VLM's te creëren die in staat zijn tot proactieve interactie.
StreamingHarness: Een plug-and-play systeem dat 12-uurs geheugenretentie, sub-seconde latentie en proactieve interactie (per-seconde besluitvorming) biedt, compatibel met vLLM.
Streaming-Eval: Een uitgebreide benchmark en metriek-suite (SW-F1) ontworpen om modellen te evalueren op real-world streaming-taken, bewegend voorbij single-turn offline paradigma's.
State-of-the-Art Prestaties: De voorgestelde stack (8B Streaming-Native VLM + StreamingHarness) behaalt superieure resultaten vergeleken met sterke closed-source modellen (bijv. Claude Opus 4.6, GPT 5.4, Gemini 3.1 Pro) in zowel narratie- als QA-taken.

4. Experimentele Resultaten

Narratie: Het 8B streaming-native model uitgerust met StreamingHarness behaalde een gemiddelde win-rate van 61,4% tegenover vier closed-source baselines. Het presteerde significant beter in het produceren van natuurlijke, live-broadcast-stijl commentaren, waarbij het de "over-narratie" en hallucinaties vermeed die gebruikelijk zijn bij offline-geadapteerde modellen.
Vragen Beantwoorden: Op de Streaming-Eval QA-taken behaalde het voorgestelde systeem substantiële winsten in Backward (het ophalen van verre bewijslast) en Forward (het uitstellen van respons tot bewijs verschijnt) taken. De SW-F1 scores waren significant hoger dan alle baselines, wat de effectiviteit van het geheugensysteem en de proactieve training aantoont.
Efficiëntie: In een 2-uurs sportwedstrijd-test behield de volledige StreamingHarness een Time-to-First-Token (TTFT) en End-to-End latentie consequent onder de 1 seconde (de real-time drempel). In contrast hiermee stabiliseerden sliding window-benaderingen rond de ~4 seconden, terwijl full attention-methoden binnen enkele minuten de contextlimieten overschreden. De prefix-aware KV cache was cruciaal voor het reduceren van de latentie van ~4s naar <1s.
Ablatie:
- Het aanpassen van de stilte-repetitie gewicht ( $w_{repeated\_silence}$ ) toonde aan dat een waarde van 0,8 de beste balans bood, wat voorkwam dat het model te veel aan stilte committeerde terwijl het voortijdige responsies vermeed.
- Het toevoegen van StreamingHarness aan offline modellen verbeterde hun prestaties op Backward-taken aanzienlijk, wat de waarde van het framework bevestigt als een algemeen bruikbare verbetering voor langdurig begrip.

5. Betekenis

Het artikel betoogt dat de overgang van offline video-begrip naar inzetbare streaming intelligentie een holistische aanpak vereist die modelcapaciteit, infrastructuur en evaluatie tegelijkertijd adresseert. Door de data, de harness en de benchmark open-source te maken, beogen de auteurs de vooruitgang van de community te versnellen in het bouwen van VLM's die effectief kunnen opereren in onbegrensde, real-time omgevingen. Het werk demonstreert dat met de juiste trainingsdoelstellingen en inferentie-architectuur, zelfs kleinere (8B) modellen superieure resultaten kunnen behalen dan massieve closed-source systemen in streaming-scenario's, terwijl ze strikte latentiebeperkingen handhaven.