💻 computer science

RIVER: A Real-Time Interaction Benchmark for Video LLMs

Dit paper introduceert RIVER Bench, een nieuw real-time interactiebenchmark voor video-LLMs die modellen evalueert op hun vermogen tot retrospectief geheugen, live-perceptie en proactieve anticipatie, en een algemene verbeteringsmethode voorstelt om de beperkingen van bestaande offline modellen in online video-interactie aan te pakken.

Oorspronkelijke auteurs: Yansong Shi, Qingsong Zhao, Tianxiang Jiang, Xiangyu Zeng, Yi Wang, Limin Wang

Gepubliceerd 2026-03-05

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Yansong Shi, Qingsong Zhao, Tianxiang Jiang, Xiangyu Zeng, Yi Wang, Limin Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een filmkijker bent die een hele film in één keer kan zien en daarna perfect kan vertellen wat er gebeurd is. Dat is wat de huidige slimme AI-modellen (zoals GPT-4o) goed kunnen: ze kijken naar de hele video, slaan alles op in hun geheugen en beantwoorden daarna vragen.

Maar wat als je die AI wilt gebruiken als een live-assistent terwijl de film nog draait? Stel je voor dat je door een museum loopt met een bril op je hoofd, en je vraagt: "Wat zag ik net voorbij die schilderij?" of "Zeg me iets als die dief de deur uitgaat!"

Hier komt het probleem: de meeste AI's zijn gewend om de hele film te "swipen" voordat ze iets zeggen. Ze zijn niet getraind om live mee te kijken, te onthouden wat er net gebeurde, en direct te reageren op wat er nu of straks gaat gebeuren.

Dit paper introduceert RIVER Bench, een nieuwe testomgeving om te kijken hoe goed AI's dit "live-gedrag" kunnen.

1. De Drie Superkrachten voor een Live-Assistent

De auteurs zeggen dat een goede live-AI drie dingen moet kunnen, en ze hebben een testbedacht om dit te meten:

Het Verleden Onthouden (Retro-Memory):
- Analogie: Stel je voor dat je met een vriend door een stad loopt. Je vraagt: "Waar hebben we net die rare blauwe auto gezien?"
- De AI moet kunnen terugkijken in zijn korte-termijngeheugen en zeggen: "Twee minuten geleden, bij de bakker."
- Veel huidige modellen vergeten dit snel of raken de draad kwijt als de video te lang is.
Het Heden Waarnemen (Live-Perception):
- Analogie: Je loopt door de stad en vraagt: "Wat is de kleur van het bord dat we nu passeren?"
- De AI moet direct reageren op wat er op dit exacte moment op het scherm gebeurt, zonder te wachten tot de video voorbij is.
De Toekomst Voorspellen (Pro-Response):
- Analogie: Je zegt tegen je assistent: "Blijf kijken, en zeg het me direct als die man een tas laat vallen."
- De AI moet de video blijven scannen en op het juiste moment ingrijpen. Dit is als een alarm dat afgaat op het precieze moment dat iets gebeurt, niet eerder en niet later.

2. De Test: RIVER Bench

De onderzoekers hebben een enorme verzameling video's en vragen samengesteld (RIVER Bench) om deze drie vaardigheden te testen. Ze hebben video's van verschillende lengtes gebruikt, van korte clips tot hele lange films.

Wat ontdekten ze?

De "Offline" Modellen: De slimme modellen die we nu kennen, zijn als studenten die een heel boek uit hun hoofd leren voordat ze een examen doen. Ze zijn goed in vragen over de hele film, maar als je ze vraagt om live mee te kijken, raken ze in paniek. Ze vergeten snel wat er net gebeurde of reageren te laat.
Het Geheugenprobleem: Als een video te lang is, raken deze modellen hun geheugen kwijt. Het is alsof ze een emmer water hebben die te vol raakt; als er nieuw water (nieuwe beelden) bij komt, stroomt het oude water (oude herinneringen) eruit.
De Oplossing: De onderzoekers hebben een nieuwe manier bedacht om deze modellen te trainen. Ze hebben een "korte-termijn en lange-termijn geheugen" systeem toegevoegd.
- Analogie: Stel je voor dat de AI een notitieblok heeft. Alles wat nu gebeurt, schrijft hij in zijn hoofd (korte termijn). Alles wat eerder gebeurde, schrijft hij in een boekje (lange termijn) en vat hij samen. Zo kan hij zich herinneren wat er 10 minuten geleden gebeurde, zonder dat zijn hoofd volloopt.

3. Waarom is dit belangrijk?

Vroeger dachten we dat AI alleen maar goed was in het analyseren van films achteraf. Maar de toekomst ligt in live interactie:

Een robot die je helpt in de keuken en direct waarschuwt als je een mes vastpakt.
Een navigatiesysteem in je auto dat live reageert op wat er op de weg gebeurt.
Een assistent voor mensen met een visuele beperking die live beschrijft wat er om hen heen gebeurt.

Conclusie:
Dit paper is als een nieuwe rijbewijstest voor AI's. Het laat zien dat de huidige modellen nog niet klaar zijn voor het echte, live werk. Maar met de nieuwe test (RIVER Bench) en de nieuwe trainingsmethode (het slimme geheugensysteem), kunnen we AI's bouwen die niet alleen kijken, maar echt meedoen in het moment.

Kortom: we gaan van AI's die "naar de film kijken" naar AI's die "met je mee naar de film lopen".

Probleemstelling

Multimodale Large Language Models (MLLMs) hebben indrukwekkende prestaties laten zien in het begrijpen van video's, maar bijna alle bestaande modellen opereren volgens een offline paradigma. Dit betekent dat ze de volledige video eerst moeten verwerken voordat ze een antwoord kunnen geven. Dit beperkt hun toepasbaarheid in real-time interactieve scenario's, zoals augmented reality-navigatie of robotbesturing, waar systemen visuele input moeten verwerken terwijl ze tegelijkertijd tijdgebonden dialogen voeren.

Bestaande benchmarks adresseren de dynamische eisen van online toepassingen onvoldoende. Ze meten vaak niet de tijdsafhankelijke degradatie van het geheugen (vergeten) of de balans tussen antwoordnauwkeurigheid en -tijdstip. Er is een gebrek aan een gestandaardiseerd kader om te evalueren hoe goed modellen kunnen omgaan met:

Retrospectief geheugen: Het onthouden van gebeurtenissen uit het verleden.
Live-perceptie: Het begrijpen van de huidige visuele context.
Proactieve respons: Het anticiperen op en reageren op toekomstige gebeurtenissen.

Methodologie: RIVER Bench

De auteurs introduceren RIVER Bench (Real-tIme intERaction Bench-mark for Video LLMs), een nieuw evaluatiekader dat is ontworpen om de real-time interactieve vaardigheden van MLLMs te testen via streamende video.

1. Interactieve Taken (De drie pijlers):
Het benchmark kiest voor een tijdsgerichte benadering waarbij vragen, aanwijzingen (cues) en antwoorden specifieke tijdstippen hebben:

Retro-Memory: Het model moet antwoorden op vragen over gebeurtenissen die in het verleden hebben plaatsgevonden ( $t_V < t'$ ). De prestaties worden gemeten op basis van het tijdsinterval (kort, medium, lang, zeer lang) om het "vergeten"-gedrag te kwantificeren.
Live-Perception: Het model moet direct reageren op vragen over de huidige of zeer recente visuele input ( $t' \le t_V \le t$ ). Dit test de capaciteit voor real-time multimodale begrip.
Pro-Response: Het model moet de video-stream continu monitoren en precies reageren wanneer een door de gebruiker gespecificeerde voorwaarde wordt voldaan ( $t_V > t$ ). Dit omvat zowel "Instant" (eenmalig antwoord bij een gebeurtenis) als "Streaming" (continue beschrijving van de scène).

2. Data Constructie:
RIVER Bench is samengesteld uit diverse bestaande datasets (Vript-RR, LVBench, LongVideoBench, Ego4D, QVHighlights). De data is zorgvuldig gefilterd en geherstructureerd om:

Vragen te koppelen aan exacte tijdstippen.
Dubbelzinnige of te algemene vragen te verwijderen.
Zorgen dat antwoorden afhankelijk zijn van visuele context (niet alleen taalkennis).
De dataset bevat 1.067 video's met 4.278 vragen, verdeeld over verschillende video-lengtes (van seconden tot uren).

3. Evaluatiemetrics:

Voor meerkeuzevragen wordt exacte matching gebruikt; voor open vragen wordt een LLM (Qwen2.5-72B) ingezet voor consistentie-evaluatie.
Voor Pro-Response wordt een nieuwe Response Accuracy Metric voorgesteld. Deze straalt een volledige score toe als het antwoord binnen een tolerantievenster rond het ware tijdstip valt. Vroege reacties (false alarms) krijgen een score van 0, terwijl late reacties lineair afnemen in waarde, wat de praktische bruikbaarheid weerspiegelt.

4. Model Aanpassing (Online Inference):
Om offline modellen (zoals VideoChat2, InternVL2.5) geschikt te maken voor online taken, stellen de auteurs een framework voor met:

Sliding Window: Verwerking van video met 1 fps.
Long-Short Term Memory: Een module die recente frames (kortetermijn) en gecomprimeerde, historische frames (langetermijn) combineert. Langetermijngeheugen wordt beheerd via een "nearest-neighbor averaging" strategie om redundantie te verminderen en geheugen te besparen.
Contextuele Prompts: Het systeem voegt tijdsstempels en samenvattingen van het geheugen expliciet toe aan de systeem-prompt.

Kernbijdragen

Definitie van Online Video Begrip: De auteurs definiëren formeel de interactieve vorm van online video-comprehensie en introduceren RIVER Bench als de eerste benchmark die retrospectief geheugen, live-perceptie en proactieve respons gelijktijdig en kwantitatief evalueert.
Geheugen- en Anticipatie-module: Ze presenteren een generieke methode (Long-Short Term Memory) die modellen in staat stelt visuele informatie dynamisch te behouden, wat essentieel is voor lange video's zonder geheugenoverloop.
Specifiek Trainingsdataset: Er is een gespecialiseerd dataset geconstrueerd voor het fine-tunen van modellen op online interactie. Dit dataset verbetert de proactieve responscapaciteit aanzienlijk.

Resultaten

De evaluatie omvatte vier categorieën modellen: gesloten bronmodellen (GPT-4o, Gemini), open-source offline modellen, bestaande online modellen en modellen getraind met het nieuwe dataset.

Offline vs. Online: Offline modellen presteren goed bij vragen over de hele video, maar falen in strikte real-time scenario's. Ze vertonen een sterke afname in prestaties naarmate het tijdsinterval tot de gebeurtenis groter wordt (vergeten).
Prestatieverbetering: Modellen die zijn aangepast met de voorgestelde online inference pipeline (sliding window + geheugen) presteren aanzienlijk beter dan hun native tegenhangers, vooral bij Live-Perception en Retro-Memory taken.
Pro-Response: Bestaande online modellen (zoals VideoLLM-Online) presteren onder de verwachtingen op de benchmark, waarschijnlijk door overfitting op offline trainingsdata. Na fine-tuning op het RIVER dataset verbeterde de nauwkeurigheid voor proactieve taken met 11,28% ten opzichte van de baseline.
Geheugencurve: Modellen met geheugenmodules vertonen een veel stabielere retentie binnen een uur dan modellen zonder geheugen, hoewel dit anders is dan het menselijke Ebbinghaus-vergetenpatroon.
Uitdagingen: Modellen presteren het slechtst op vragen die causale redenering vereisen (Causal Cues), wat aangeeft dat integratie van visuele perceptie met gebeurtenisattributie nog een uitdaging is.

Betekenis en Toekomst

RIVER Bench vult een kritieke lacune in de literatuur door een gestandaardiseerde manier te bieden om real-time interactieve video-LLMs te evalueren. Het paper toont aan dat het huidige "offline" paradigma ontoereikend is voor toekomstige toepassingen zoals robots en AR.

De voorgestelde methoden (geheugenmodules en gespecialiseerde trainingsdata) bieden een blauwdruk voor het bouwen van robuuste, real-time interactieve systemen. De auteurs wijzen echter ook op beperkingen, zoals het ontbreken van audio in de huidige dataset, en plannen om in de toekomst geluid te integreren, aangezien dit cruciaal is voor natuurlijke real-time interactie.

De dataset en code zijn openbaar beschikbaar gesteld om verdere onderzoek in dit opkomende veld te stimuleren.