Technische Samenvatting: SelectStream

Probleemstelling

Het begrijpen van videostreams vereist Vision-Language Models (VLM's) om vragen te beantwoorden op elk gewenst moment tijdens een lopende videostream, waarbij gebruik wordt gemaakt van enkel de geobserveerde prefix, onderhevig aan vaste budgetten voor geheugen, context en berekening. Hoewel recent werk heeft geprobeerd dit op te lossen door externe geheugenbanken, retrieval-modules of visuele tokencompressie toe te voegen, vertrouwen deze methoden vaak op de aanname dat "rijker geheugen" automatisch leidt tot beter begrip.

De auteurs stellen dat willekeurige injectie van historie de perceptie van de huidige scène kan verwateren, een fenomeen waarbij relevante bewijslast wordt vermengd met irrelevante inhoud, wat het vermogen van het model om te redeneren verzwakt. Daarentegen falen eenvoudige recent-window baselines (die oudere bewijslast weggooien) wanneer cruciale informatie buiten de directe context ligt. De kernuitdaging is niet óf er geheugen gebruikt moet worden, maar hoe dit selectief toe te wijzen: beslissen wanneer nieuwe bewijslast wordt geschreven, wat te bewaren als de capaciteit vol is, hoe bewijslast te ophalen voor een specifieke query, en hoeveel historische context te ontsluiten tijdens de generatie zonder dat de context window groeit met de lengte van de stream.

Methodologie: SelectStream

SelectStream is een selectief latent-geheugenframework dat streaminggeheugen formuleert als gebudgeteerde online latente bewijstoewijzing. Het werkt op een bevroren VLM-backbone en beheert de historie via een dynamische latente bewijs-graaf ($G_t = (M_t, E_t)$) in plaats van het opnieuw afspelen van ruwe frames of het omzetten van de historie naar tekstuele samenvattingen. Het systeem wordt beheerd door drie gecoördineerde mechanismen:

1. Surprise-driven Adaptive Windowing (SAW) – Wanneer te schrijven

SAW bepaalt wanneer een videosegment wordt gesloten en naar het geheugen wordt geschreven. In plaats van vaste intervallen, wijst het grove geheugene entries toe aan stabiele intervallen en fijnere resolutie nabij verrassende transities.

• Mechanisme: Het berekent een verrassingsscore ($s_t$) op basis van aandachtverschuivingen (JS-divergentie van aandachtkaarten) en featureveranderingen (cosinusafstand van geprojecteerde embeddings).
• Triggers: Een segment wordt gesloten wanneer het een minimale lengte ($L_{min}$) bereikt en aan één van de drie voorwaarden voldoet: een verrassingspiek ($\bar{s}_t > \theta_{high}$), geaccumuleerde verrassingsenergie die een budget ($B_s$) overschrijdt, of wanneer de maximale segmentlengte ($L_{max}$) is bereikt.

2. Latent Visual Memory (LVM) – Wat te bewaren

LVM beheert een geheugen met een vaste capaciteit waar geprojecteerde visuele embeddings worden opgeslagen als latente knopen.

• Schrijven: Wanneer een segment wordt gesloten, wordt de embedding vergeleken met actieve knopen. Als deze semantisch vergelijkbaar en laag in verrassing zijn, wordt een bestaande knoop bijgewerkt via een gated update mechanisme (om directe vervanging van nuttige historie te voorkomen). Zo niet, dan wordt een nieuwe knoop aangemaakt.
• Consolidatie: Wanneer het geheugenbudget ($N$) wordt overschreden, voert het systeem prioriteitsbehoudende consolidatie uit. Het voegt het paar knopen samen met de kleinste straf, wat een balans vindt tussen semantische redundantie (gelijkenis) en prioritiefactoren (verrassing, toegangsrequentie en recentheid). Dit zorgt ervoor dat verrassende of veelgebruikte bewijslast behouden blijft.

3. Query-conditioned Graph Attention Reasoning (GAR) – Hoe te lezen

Wanneer een query arriveert, haalt het model een compacte subgraaf op in plaats van te redeneren over de volledige historie.

• Routing: De query wordt gecodeerd en gebruikt om actieve knopen te scoren. Een subgraaf wordt gerouteerd vanuit top-$k$ seeds door temporele en semantische randen, beperkt door een subgraafbudget ($B$).
• Redeneren: Een Graph Attention Network (GAR) verfijnt de toestand van de knopen door het aggregeren van temporele en semantische context van buren.
• Injectie: De top-$M$ verfijnde knopen worden gekalibreerd en geïnjecteerd als latente bewijstokens in de decoder van de bevroren VLM. Dit stelt de VLM in staat om toegang te krijgen tot historische bewijslast zonder dat de context lengte proportioneel groeit met de duur van de stream.

Belangrijkste Bijdragen

1. Formulering: Het artikel formuleert selectief herinneren in streaming video als een probleem van gebudgeteerde online latente bewijstoewijzing, waarbij expliciet wordt ingegaan op de afweging tussen het behouden van de perceptie van de huidige scène en het ontsluiten van langetermijnhistorie.
2. Architectuur (SelectStream): Een dynamische latente-geheugenarchitectuur die geprojecteerde VLM-embeddings in een graaf met vaste capaciteit schrijft. Het maakt gebruik van verrassingsgestuurde windowing voor adaptief schrijven, prioriteitsbewuste consolidatie voor behoud, en query-geconditioneerde graafredenering voor retrieval.
3. Interface: Een ontwerp dat gekalibreerde latente bewijstokens injecteert in een bevroren VLM, waardoor het herafspelen van ruwe frames of tekstuele samenvatting wordt vermeden, waardoor een begrensde inferentiekosten wordt gehandhaafd, ongeacht de lengte van de stream.

Experimentele Resultaten

SelectStream werd geëvalueerd op streaming en offline video-benchmarks met behulp van Qwen2.5-VL-7B en Qwen3-VL-8B backbones.

• Streaming Benchmarks:
  • StreamingBench: Behaalde een nauwkeurigheid van 82,67% (Qwen3-VL-8B), waarmee het sterke recent-window baselines (bijv. Qwen3-VL-8B + 4f met 80,59%) en eerdere streaming geheugenmethoden verslaat.
  • OVO-Bench: Behaalde een algehele nauwkeurigheid van 67,03%. Opvallend genoeg verbeterde het de Backward Tracing (BT) scores aanzienlijk (van 54,00% naar 62,20% op Qwen3-VL-8B), wat een superieur vermogen aantoont om voorgaande visuele context te benutten terwijl een hoge Real-Time Visual Perception (82,76%) behouden blijft.
• Offline Benchmarks:
  • Op VideoMME, MLVU en MVBench behaalde SelectStream een gemiddelde nauwkeurigheid van 74,4% (Qwen3-VL-8B), wat aantoont dat de methode algemene video-begrip vermogens behoudt en geen offline prestaties opoffert voor streaming efficiëntie.
• Efficiëntie:
  • Het model handhaaft een bijna vlakke query-latentie (TTFT) en piek GPU-geheugen naarmate het aantal verwerkte frames toeneemt, aangezien de actieve geheugenstatus begrensd wordt door $N$ en retrieval begrensd wordt door $B$ en $M$.

Betekenis en Claims

Het artikel claimt dat SelectStream het "bewijsvraagstuk van verwatering" aanpakt dat inherent is aan ongerichte geheugeninjectie. Door de huidige observatie direct zichtbaar te houden voor de bevroren VLM en historische informatie enkel via een compact, query-geconditioneerd bewijsbudget te ontsluiten, bereikt het model een superieure afweging tussen langetermijngeheugen en perceptie van de huidige scène.

De auteurs positioneren SelectStream als een schaalbare richting voor streaming video-begrip onder vaste middelen. De resultaten suggereren dat selectief latent geheugen voordelen biedt die verder gaan dan simpelweg het meest recente frames behouden, wat robuust historisch afhankelijk redeneren mogelijk maakt zonder de computationele overhead van groeiende context windows. Het framework is ontworpen als een algemene geheugenlaag voor bevroren video-language backbones, waarbij online geheugenbeheer wordt gescheiden van de query-time generatie.