🤖 machine learning

ProtoKV: Streaming Video Understanding under Delayed Query with Summary-State Memory

ProtoKV ist ein Framework zum Verständnis von Streaming-Videos, das die Herausforderung verzögerter Abfragen durch die Beibehaltung eines konstanten Speicher-Footprints mittels eines hybriden Ansatzes aus exaktem Near-Window-KV-Caching und einem Kapazitäts-fixierten Summary-State-Speicher für historische Inhalte adressiert, wodurch die Genauigkeit gegenüber Token-Retention-Baselines mit zunehmender Verzögerung der Abfragen signifikant verbessert wird.

Ursprüngliche Autoren: Le Tu Ngoc Minh (KAIST), Jinyeong Lim (KAIST), Dongsu Han (KAIST)

Veröffentlicht 2026-06-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Le Tu Ngoc Minh (KAIST), Jinyeong Lim (KAIST), Dongsu Han (KAIST)

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie beobachten einen sehr langen, kontinuierlichen Videostream, wie etwa einen 24-Stunden-Überwachungskamera-Feed. Ihre Aufgabe ist es, Fragen zu beantworten, die sich auf das beziehen, was in diesem Video passiert ist. Das Problem? Sie haben ein winziges Gehirn (begrenzten Computerspeicher) und können das Video nicht anhalten, um zurückzuspulen und alles erneut anzusehen. Sie müssen weiter zusehen, während Sie darauf warten, dass jemand eine Frage stellt, die vielleicht Minuten oder sogar Stunden nach einem bestimmten Ereignis erfolgt.

Dies ist die Herausforderung des Streaming Video Understanding (Verständnis von Videostreams).

Das Problem: Das „vergessliche“ Gehirn

Die meisten aktuellen Systeme versuchen, dies zu lösen, indem sie ein „gleitendes Fenster“ (sliding window) der letzten paar Minuten des Videos in ihrem Speicher behalten.

Die Analogie: Stellen Sie sich vor, Sie halten einen Eimer Wasser (Ihr Gedächtnis). Während neues Wasser (Videobilder) hineinfließt, müssen Sie altes Wasser herauslassen, um den Eimer nicht überlaufen zu lassen.
Der Fehler: Wenn ein entscheidendes Ereignis stattfindet (wie ein Dieb, der eine Brieftasche stiehlt) und danach 20 Minuten lang langweilige Aufnahmen folgen, bevor jemand fragt: „Hast du den Dieb gesehen?“, ist das alte Wasser (der Dieb) bereits aus dem Eimer geschüttet worden. Das System vergisst die Antwort.

Andere Systeme versuchen, eine Liste von „wichtigen Momenten“ (Tokens) zu speichern, die sie gesichert haben. Aber wenn das Video lang ist, müssen sie ständig entscheiden, welche gespeicherten Momente sie wegwerfen müssen, um Platz für neue zu schaffen. Wenn sie den falschen Moment wegwerfen, ist die Antwort für immer verloren.

Die Lösung: ProtoKV (Das „Zusammenfassungs-Notizbuch“)

Die Autoren schlagen ein neues System namens ProtoKV vor. Anstatt zu versuchen, jedes einzelne Frame oder nur einige spezifische Momente zu speichern, nutzt ProtoKV ein zweiteiliges Gedächtnissystem, das wie ein intelligentes Notizbuch funktioniert.

1. Die „nahe Vergangenheit“ (Das exakte Fenster)

Für den aktuellsten Teil des Videos (sagen wir, die letzten paar Minuten) behält ProtoKV eine perfekte, hochauflösende Kopie von allem.

Die Analogie: Dies ist wie das Besitzen eines klaren, hochauflösenden Fotos von dem, was in den letzten 5 Minuten passiert ist. Wenn Sie eine Frage zu „jetzt gerade“ stellen, ist die Antwort direkt dort, kristallklar.

2. Die „ferne Vergangenheit“ (Die Prototypen-Bank)

Für alles, was vor diesem aktuellen Fenster passiert ist, hört ProtoKV auf, einzelne Frames zu speichern. Stattdessen erstellt es Zusammenfassungen.

Die Analogie: Stellen Sie sich vor, Sie beobachten einen Umzug. Sie erinnern sich nicht an jedes einzelne Gesicht von vor 2 Stunden. Stattdessen erinnern Sie sich: „Da war eine Marschkapelle“, „da war ein Wagen mit einer riesigen Katze“ und „da war eine Gruppe von Menschen in roten Hemden“.
Wie es funktioniert: ProtoKV gruppiert ähnliche Dinge zu „Prototypen“.
- Wenn eine Person geht, erstellt ProtoKV eine Zusammenfassung „Gehende Person“.
- Wenn diese Person 10 Minuten lang geht, speichert das System nicht 10 Minuten Video. Es aktualisiert einfach die Zusammenfassung „Gehende Person“ zu: „Diese Person ist schon seit langer Zeit am Gehen“.
- Es behält auch eine „Residuen“-Notiz (Restwert): „Die meiste Zeit ging die Person normal, aber gelegentlich winkte sie.“ Dies erfasst die Varianz, ohne jeden einzelnen Schritt speichern zu müssen.

Der magische Trick: Das „Geister-Token“

Wenn schließlich eine Frage eintrifft (z. B. „Was hat die Person im roten Hemd vor 30 Minuten gemacht?“), muss das System diese Information an das KI-Modell übergeben. Aber das Modell erwartet, tatsächliche Videoframes zu sehen, nicht nur eine Zusammenfassung.

ProtoKV verwendet einen cleveren Trick namens Pseudo-Tokens.

Die Analogy: Stellen Sie sich vor, Sie haben eine Zusammenfassung, die besagt: „Riesenkatzen-Wagen“. Um dies dem KI-Modell zu zeigen, erstellt ProtoKV ein paar „Geister“-Videoframes, die basierend auf den Zusammenfassungsnotizen so aussehen wie der „Riesenkatzen-Wagen“.
Diese Geister sind keine echten Frames; sie sind mathematische Rekonstruktionen der Zusammenfassung. Das KI-Modell sieht diese Geister und behandelt sie genau wie echte Videoframes.
Entscheidend ist: Das System zählt, wie viele reale Momente in diese Zusammenfassung eingeflossen sind. Wenn die „Riesenkatzen-Wagen“-Zusammenfassung aus 500 echten Sekunden Video erstellt wurde, sagt das System der KI: „Dieser Geist repräsentiert 500 Sekunden an Beweisen“, damit die KI diesem Fragment mehr Aufmerksamkeit schenkt.

Warum das besser ist

Die Autoren behaupten, dass ProtoKV bei der Beantwortung von Fragen über Dinge, die lange zurückliegen (hoher „Delay“/Verzug), viel besser abschneidet als andere Methoden.

Alte Methode (Gleitendes Fenster): Wenn das Ereignis vor 30 Minuten stattfand, hat das System es bereits gelöscht. Die Genauigkeit sinkt auf Null.
Alte Methode (Token-Retention): Das System versuchte, spezifische Momente zu speichern, musste aber einige löschen, um Platz zu schaffen. Es könnte genau den Moment gelöscht haben, in dem der Dieb auftauchte.
ProtoKV: Es löscht niemals das Konzept des Ereignisses. Es komprimiert es lediglich in eine Zusammenfassung. Selbst nach 30 Minuten neuem Video ist die „Dieb“-Zusammenfassung noch da, aktualisiert mit neuen Details, bereit, wieder in ein „Geister“-Frame verwandelt zu werden, damit die KI die Frage beantworten kann.

Die Ergebnisse

Die Autoren haben dies auf mehreren Video-Benchmarks getestet. Sie fanden heraus, dass:

Genauigkeit: ProtoKV deutlich höhere Werte (bis zu 12,5 Punkte besser) bei Fragen zu Ereignissen erzielte, die lange zurücklagen.
Stabilität: Während die Zeitspanne zwischen dem Ereignis und der Frage größer wurde, blieb die Leistung von ProtoKV stabil, während andere Methoden einbrachen.
Geschwindigkeit: Es beantwortet Fragen genauso schnell wie andere Methoden, da die „Zusammenfassung“ klein ist und problemlos in den Computerspeicher passt, sodass das System nicht verlangsamt wird.

Kurz gesagt: ProtoKV löst das Problem des „Vergessens“, indem es aufhört, den Versuch zu unternehmen, jedes Detail zu merken, und stattdessen die Geschichte dessen speichert, was passiert ist. Dies ermöglicht es dem System, Fragen über die ferne Vergangenheit zu beantworten, ohne einen Supercomputer-Speicher zu benötigen.

Technisches Resümee: ProtoKV

Problemstellung

Das Verständnis von Videostreams (Streaming Video Understanding, SVU) erfordert Systeme, die kontinuierliche Videoströme verarbeiten und asynchrone Abfragen in Echtzeit unter strengen GPU-Speicher- und Latenzbeschränkungen beantworten können. Eine kritische Herausforderung in diesem Szenario ist die verzögerte Abfrage (delayed query): Entscheidende visuelle Hinweise können kurzzeitig und früh in einem Stream erscheinen, aber die Abfrage erfolgt erst signifikant später, nachdem viele nachfolgende Frames verarbeitet wurden.

Unter begrenztem Speicher stehen Standardansätze vor einem Dilemma:

Sliding Window (SWA): Behält nur die jüngsten Token bei, was eine konstante Speicherkapazität garantiert, aber Beweise unwiederbringlich verliert, sobald sie das Fenster verlassen.
Token-Retention/Kompression: Versucht, eine Teilmenge historischer Token aufzubewert. Mit zunehmender Verzögerung ( $\Delta$ ) zwischen Beweis und Abfrage leiden diese Methoden jedoch unter dem „Post-Evidence Update Pressure“. Entscheidende Hinweise werden oft verdrängt oder verwässert, da diese Methoden abfrageagnostische Retention-Entscheidungen treffen müssen, ohne zu wissen, welche zukünftigen Token relevant sein werden. Sobald eine spezifische Token-Instanz verworfen wird, geht der damit verbundene feingranulare Hinweis verloren.

Das Paper argumentiert, dass die Darstellung ferner Historie als eine Menge beibehaltener Token-Instanzen unter langen Verzögerungen unzuverlässig ist. Stattdessen benötigt das System einen Mechanismus, der die Evidenz vergangener Ereignisse bewahrt, anstatt spezifische Token-Instanzen, um eine graduelle Verschlechterung mit zunehmender Verzögerung zu ermöglichen.

Methodik: ProtoKV

ProtoKV ist ein Speicher-Mechanismus mit konstantem Footprint, der für Streaming-Video-LLMs entwickelt wurde. Er verschiebt die Darstellung der fernen Historie von der Token-Retention hin zu einem Summary-State-Ansatz unter Verwendung eines zweistufigen Online-Zustands:

1. Zweistufige Architektur

Near Window (Exakt): Ein Ringpuffer ( $B_{near}$ ), der die exakten Key-Value-Paare (KV) der jüngsten $W$ Frames speichert. Dies bewahrt feingranulare, zeitlich lokale Evidenz ohne Approximation.
Far Memory (Summary State): Eine Festkapazitäts-Prototypenbank ( $B_{far}$ ) der Größe $K_{max}$ , die ältere, evozierte Historie aggregiert. Anstatt Token-Instanzen zu speichern, speichert sie objektzentrierte Prototypen.

2. Online-Update-Mechanismus

Während des Fortschreitens des Videostreams werden Tokens aus dem Near Window entfernt und über eine kontinuitätsbewusste Zuweisung (continuity-aware assignment) in das Far Memory absorbiert:

Zuweisung: Evozierte Tokens werden einem Prototyp $k$ $k$ zugewiesen, indem eine Online-Kostenfunktion minimiert wird, die Folgendes kombiniert:
- Ähnlichkeit im Key-Raum (Clustering von Tokens mit ähnlichen Keys).
- Räumliche Kontinuität (Erzwingung einer track-konsistenten Assoziation mittels räumlicher Koordinaten).
- Staleness-Kontrolle (Abschreckung der Zuweisung zu Prototypen, die kürzlich nicht aktualisiert wurden).
Prototypen-Update: Sobald ein Token zugewiesen wurde, wird der Prototyp als persistenter Summary-State aktualisiert:
- Zentren: Key- und Value-Zentren ( $c_k, p_k$ ) werden mittels exponentieller gleitender Mittelwerte (EMA) aktualisiert.
- Masse: Ein Zähler ( $n_k$ ) verfolgt die Anzahl der absorbierten Tokens.
- Residuen-Statistiken: Um den Verlust distinktiver Hinweise durch einfache Mittelwertbildung zu verhindern, pflegt ProtoKV Product-Quantization (PQ)-basierte Histogramme der Residuen ( $r_K = K - c_k, r_V = V - p_k$ ). Dies erfasst die Intra-Prototyp-Diversität, ohne einzelne Token-Codes zu speichern.
- Wartung: Die Bank durchläuft eine leichte Wartung, einschließlich Massen-Abfall (mass decay) für inaktive Prototypen, Zusammenführung redundanter Prototypen und Recycling leerer Slots.

3. Query-Zeit-Interface: Pseudo-Token-Synthese

Zum Zeitpunkt der Abfrage stellt ProtoKV das Far Memory dem Standard-Attention-Mechanismus ohne architektonische Änderungen zur Verfügung:

Pseudo-Tokens: Jeder Prototyp wird in $S$ Pseudo-KV-Tokens synthetisiert. Diese werden konstruiert, indem das Zentrum des Prototyps mit repräsentativen Residuen-Mustern kombiniert wird, die aus den gespeicherten PQ-Histogrammen dekodiert wurden.
Mass-Aware Bias: Um die Multiplizität der durch einen Prototyp zusammengefassten Tokens zu berücksichtigen, wird ein Log-Massen-Bias ( $b_k = \log n_k$ ) zu den Attention-Logits hinzugefügt. Dies stellt sicher, dass Prototypen, die mehr Evidenz repräsentieren, einen proportional stärkeren Einfluss ausüben.
Fixer Kontext: Der finale Kontext besteht aus den exakten Near-Window-Tokens plus der begrenzten Anzahl an Pseudo-Tokens ( $L_{context} = W + K_{max} \cdot S$ ), was eine konstante Query-Zeit-Latenz und einen konstanten Speicherverbrauch unabhängig von der Stream-Länge gewährleistet.

Zentrale Beiträge

Far-Memory-Mechanismus: Einführung einer Festkapazitäts-, spatiotemporal konsistenten Prototypenbank, die mit Residuen-Statistiken erweitert ist, um die ferne Historie zusammenzufassen, und damit von der Retention von Token-Instanzen abweicht.
Pseudo-Token-Synthese: Eine trainingsfreie Methode zur Synthese begrenzter Pseudo-KV-Tokens mit massenbewusster Gewichtung, die es der Standard-Attention ermöglicht, auf Evidenz der fernen Historie zuzugreifen, während ein konstanter Query-Zeit-Footprint beibehalten wird.
Delayed-Query-Protokoll: Ein retrospektives Query-Filterprotokoll zur Evaluierung der Robustheit von SVU gegenüber zunehmenden Abfrageverzögerungen bei gleichbleibender Ground Truth.

Experimentelle Ergebnisse

ProtoKV wurde auf vier Streaming-Video-Benchmarks (RVS-Ego, RVS-Movie, OVO-Bench, StreamingBench) unter Verwendung der Backbones LLaVA-OV-7B und Qwen2.5-VL-7B evaluiert.

Performance: Bei identischem Speicherbudget übertrifft ProtoKV Sliding-Window-Baselines und Token-Retention-Methoden (z. B. InfiniPot-V). Es erreicht bis zu 12,5 Prozentpunkte höhere Genauigkeit als Token-Retention-Baselines in Regimes mit langer Verzögerung.
Robustheit gegenüber Verzögerung: Während alle Methoden mit zunehmender Abfrageverzögerung ( $\Delta$ ) degradieren, weist ProtoKV signifikant flachere Degradationskurven auf. Die Performance-Lücke vergrößert sich mit steigendem $\Delta$ , was zeigt, dass der Summary-State-Ansatz entscheidende Hinweise unter anhaltendem Post-Evidence Update Pressure besser bewahrt.
Effizienz: ProtoKV behält eine konkurrenzfähige Time-To-First-Token (TTFT) bei der Abfrage und eine geringere End-to-End-Latenz im Vergleich zu Offloading-/Retrieval-basierten Baselines (z. B. ReKV) bei, die unter Retrieval-Overhead leiden.
Offline-Performance: Bei der Anwendung auf Offline-Video-Understanding-Benchmarks (VideoMME, MLVU) bleibt ProtoKV mit State-of-the-Art-Kompression-Methoden konkurrenzfähig, was darauf hindeutet, dass sein Nutzen über reine Streaming-Szenarien hinausgeht.

Bedeutung und Ansprüche

Das Paper behauptet, dass ProtoKV ein grundlegendes Problem im Streaming Video Understanding adressiert: die Sprödigkeit von Token-Retention-Strategien unter langen Verzögerungen. Durch den Wechsel von der Retention spezifischer Token-Instanzen zur Aufrechterhaltung eines Summary-State der fernen Historie ermöglicht ProtoKV, dass spärliche, entscheidende Hinweise viele nachfolgende Updates überleben können, ohne überschrieben oder verwässert zu werden.

Die Autoren betonen, dass dieses Design speziell für verzögerte Abfragen (delayed queries) maßgeschneidert ist, bei denen Antworten von vergangenen Ereignissen abhängen und nicht von instantanem visuellem Inhalt. Die Ergebnisse legen nahe, dass für interaktive Systeme, die eine permanente, abfrageagnostische Wartung mit festem On-Device-Footprint erfordern, die Darstellung der fernen Historie als kompakter, objektzentrierter Summary-State ein effektiverer Arbeitspunkt ist als Sliding Windows oder Token-Selektion. Die Arbeit unterstreicht den Wert von Summary-State-Speichern für stabile Streaming-Systeme unter anhaltendem Update-Druck.