Technisches Resümee: SelectStream

Problemstellung

Das Verständnis von Videostreams erfordert Vision-Language-Modelle (VLMs), die in der Lage sind, Anfragen zu jedem beliebigen Zeitpunkt eines laufenden Videostreams zu beantworten, wobei sie nur auf den beobachteten Präfix zurückgreifen können, unterliegt einem festen Speicher-, Kontext- und Rechenbudget. Während jüngere Arbeiten versucht haben, dies durch das Hinzufügen externer Speicherbänke, Retrieval-Module oder visueller Token-Kompression zu lösen, beruhen diese Methoden oft auf der Annahme, dass ein „reichhaltigerer Speicher“ automatisch zu einem besseren Verständnis führt.

Die Autoren argumentieren, dass eine wahllose Injektion von Historie die Wahrnehmung der aktuellen Szene verwässern kann – ein Phänomen, bei dem relevante Beweise mit irrelevantem Inhalt vermischt werden, was die Fähigkeit des Modells zu logischen Schlussfolgerungen schwächt. Umgekehrt scheitern einfache Recent-Window-Baselines (die ältere Beweise verwerfen) dann, wenn kritische Informationen außerhalb des unmittelbaren Kontexts liegen. Die Kernherausforderung besteht nicht darin, ob man Speicher verwendet, sondern wie man ihn selektiv zuweist: zu entscheiden, wann neue Beweise geschrieben werden, was zu bewahren ist, wenn die Kapazität erschöpft ist, wie Beweise für eine spezifische Abfrage abgerufen werden und wie viel historischen Kontext während der Generierung exponiert werden soll, ohne dass sich das Kontextfenster mit der Stream-Länge vergrößert.

Methodik: SelectStream

SelectStream ist ein Framework für selektiven latenten Speicher, das das Streaming-Gedächtnis als budgetierte Online-Zuweisung latenter Beweise formuliert. Es operiert auf einem eingefrorenen VLM-Backbone und verwaltet die Historie durch einen dynamischen latenten Beweisgraphen ($G_t = (M_t, E_t)$), anstatt rohe Frames wieder abzuspielen oder die Historie in Textzusammenfassungen umzuwandeln. Das System wird durch drei koordinierte Mechanismen gesteuert:

1. Surprise-driven Adaptive Windowing (SAW) – Wann schreiben?

SAW bestimmt, wann ein Videosegment geschlossen und in den Speicher geschrieben wird. Anstatt fester Intervalle weist es grobe Speicher-Einträge an stabile Intervalle zu und eine feinere Auflösung in der Nähe überraschender Übergänge.

• Mechanismus: Es berechnet einen Überraschungswert ($s_t$) basierend auf Aufmerksamkeitsverschiebungen (JS-Divergenz von Attention-Maps) und Merkmalsänderungen (Cosinus-Distanz projektierter Embeddings).
• Trigger: Ein Segment wird geschlossen, wenn es eine Mindestlänge ($L_{min}$) erreicht und eine der drei Bedingungen erfüllt ist: ein Überraschungsschub ($\bar{s}_t > \theta_{high}$), die akkumulierte Überraschungsenergie ein Budget ($B_s$) überschreitet oder die maximale Segmentlänge ($L_{max}$) erreicht ist.

2. Latent Visual Memory (LVM) – Was bewahren?

LVM verwaltet einen Speicher mit fester Kapazität, in dem projektierte visuelle Embeddings als latente Knoten gespeichert werden.

• Schreiben: Wenn ein Segment geschlossen wird, wird dessen Embedding mit aktiven Knoten verglichen. Wenn es semantisch ähnlich und gering in der Überraschung ist, aktualisiert es einen bestehenden Knoten über einen Gated-Update-Mechanismus (der den direkten Ersatz nützlicher Historie verhindert). Andernfalls wird ein neuer Knoten erstellt.
• Konsolidierung: Wenn das Speicherbudget ($N$) überschritten wird, führt das System eine prioritätsbewusste Konsolidierung durch. Es fusioniert das Paar von Knoten mit der geringsten Strafe, was eine Balance zwischen semantischer Redundanz (Ähnlichkeit) und Prioritätsfaktoren (Überraschung, Zugriffshäufigkeit und Aktualität) herstellt. Dies stellt sicher, dass überraschende oder häufig aufgerufene Beweise erhalten bleiben.

3. Query-conditioned Graph Attention Reasoning (GAR) – Wie lesen?

Wenn eine Abfrage eintrifft, ruft das Modell einen kompakten Subgraphen ab, anstatt über die gesamte Historie zu schlussfolgern.

• Routing: Die Abfrage wird kodiert und verwendet, um aktive Knoten zu bewerten. Ein Subgraph wird von Top-$k$-Seeds durch temporale und semantische Kanten geroutet, begrenzt durch ein Subgraph-Budget ($B$).
• Reasoning: Ein Graph Attention Network (GAR) verfeinert die Knotenzustände, indem es den temporalen und semantischen Kontext von Nachbarn aggregiert.
• Injektion: Die Top-$M$ verfeinerten Knoten werden kalibriert und als latente Beweis-Token in den Decoder des eingefrorenen VLM injiziert. Dies ermöglicht es dem VLM, auf historische Beweise zuzugreifen, ohne dass sich die Kontextlänge proportional zur Stream-Dauer vergrößert.

Zentrale Beiträge

1. Formulierung: Die Arbeit formuliert das selektive Erinnern in Streaming-Videos als Problem der budgetierten Online-Zuweisung latenter Beweise und adressiert explizit den Zielkonflikt zwischen der Beibehaltung der Wahrnehmung der aktuellen Szene und dem Zugriff auf die langfristige Historie.
2. Architektur (SelectStream): Eine dynamische latente Speicherarchitektur, die projektierte VLM-Embeddings in einen Graphen mit fester Kapazität schreibt. Sie nutzt eine überraschungsgesteuerte Fensterung für adaptives Schreiben, prioritätsbewusste Konsolidierung zur Bewahrung und eine abfragegesteuerte Graph-Argumentation zur Abfrage.
3. Schnittstelle: Ein Design, das kalibrierte latente Beweis-Token in einen eingefrorenen VLM injiziert, wodurch das Abspielen roher Frames oder die Textzusammenfassung vermieden wird, was eine gebundene Inferenzkosten-Rate unabhängig von der Stream-Länge gewährleistet.

Experimentelle Ergebnisse

SelectStream wurde auf Streaming- und Offline-Video-Benchmarks unter Verwendung von Qwen2.5-VL-7B und Qwen3-VL-8B Backbones evaluiert.

• Streaming-Benchmarks:
  • StreamingBench: Erreichte eine Genauigkeit von 82,67 % (Qwen3-VL-8B) und übertraf damit starke Recent-Window-Baselines (z. B. Qwen3-VL-8B + 4f mit 80,59 %) sowie bisherige Streaming-Memory-Methoden.
  • OVO-Bench: Erreichte eine Gesamtgenauigkeit von 67,03 %. Bemerkenswerterweise verbesserte es die Backward Tracing (BT) Scores signifikant (von 54,00 % auf 62,20 % bei Qwen3-VL-8B), was die überlegene Fähigkeit demonstriert, den vorangegangenen visuellen Kontext zu nutzen, während eine hohe Echtzeit-Visuelle Wahrnehmung (82,76 %) beibehalten wird.
• Offline-Benchmarks:
  • Auf VideoMME, MLVU und MVBench erreichte SelectStream eine durchschnittliche Genauigkeit von 74,4 % (Qwen3-VL-8B), was zeigt, dass die Methode die allgemeinen Fähigkeiten zum Videoverständnis bewahrt und keine Offline-Performance zugunsten der Streaming-Effizienz opfert.
• Effizienz:
  • Das Modell hält eine nahezu flache Abfrage-Latenz (TTFT) und GPU-Speicherspitzen aufrecht, während die Anzahl der verarbeiteten Frames steigt, da der aktive Speicherzustand durch $N$ begrenzt ist und das Retrieval durch $B$ und $M$ begrenzt wird.

Bedeutung und Behauptungen

Das Paper behauptet, dass SelectStream das Problem der „Beweisverwässerung“ löst, das der wahllosen Injektion von Speicher inhärent ist. Indem es die aktuelle Beobachtung direkt für den eingefrorenen VLM sichtbar hält und historische Informationen nur durch ein kompaktes, abfragegesteuertes Beweis-Budget zugänglich macht, erreicht das Modell einen überlegenen Kompromiss zwischen langfristigem Gedächtnis und der Wahrnehmung der aktuellen Szene.

Die Autoren positionieren SelectStream als eine skalierbare Richtung für das Streaming-Video-Verständnis unter festen Ressourcenbeschränkungen. Die Ergebnisse legen nahe, dass selektiver latenter Speicher Vorteile bietet, die über das bloße Beibehalten der neuesten Frames hinausgehen, und ein robustes historisches Denken ermöglicht, ohne den Rechenaufwand wachsender Kontextfenster. Das Framework ist als allgemeine Speicherschicht für eingefrorene Video-Language-Backbones konzipiert, welche das Online-Speichermanagement von der Abfrage-Zeit-Generierung trennt.