💻 computer science

Towards a Dynamic and Fixed-budget Memory Bank for Efficient Streaming Video Understanding

Dieses Paper schlägt CausalMem vor, einen trainingsfreien Ansatz, der eine dynamische Speicherbank mit festem Budget mittels Online-Updates semantischer Basen konstruiert, um strömende Videoinformationen effizient zu komprimieren und zu bewahren, wobei es bestehende Methoden sowohl bei Streaming- als auch bei Offline-Video-Verständnisaufgaben signifikant übertrifft und gleichzeitig eine Token-Komprimierung von über dem 20-fachen erreicht.

Ursprüngliche Autoren: Baiyang Song, Yuli Lin, Qiong Wu, Tao Chen, Jun Peng, Xiao Chen, Yiyi Zhou, Rongrong Ji

Veröffentlicht 2026-06-25

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Baiyang Song, Yuli Lin, Qiong Wu, Tao Chen, Jun Peng, Xiao Chen, Yiyi Zhou, Rongrong Ji

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einen Live-Nachrichtenkanal rund um die Uhr auf Ihrem Handy zu verfolgen, aber der Speicher Ihres Handys ist winzig. Jedes Mal, wenn eine neue Szene erscheint, versucht Ihr Handy, ein Bild davon zu speichern. Wenn Sie jedes einzelne Frame speichern, wird Ihr Handy in Sekundenschnelle voll sein und so langsam werden, dass es nicht einmal mehr Ihre Fragen dazu beantworten kann, was gerade passiert.

Dies ist das Problem, das CausalMem für KI-Modelle löst, die Videos beobachten.

Hier ist die Erklärung des Papers, unter Verwendung einfacher Metaphern:

Das Problem: Das „Endlose Scrollen“ vs. der „kleine Rucksack“

Aktuelle KI-Modelle (genannt MLLMs) sind großartig darin, Videos zu verstehen, haben aber einen großen Fehler, wenn es um das Streaming geht (das Anschauen eines Videos, während es passiert, Frame für Frame).

Das Problem: Während das Video abläuft, versucht die KI, sich an alles zu erinnern. Es ist, als würde man versuchen, einen Rucksack zu tragen, der mit jedem Schritt, den man macht, schwerer wird. Irgendwann ist der Rucksack so schwer (zu viele Daten), dass die KI zusammenbricht (Speicherplatzmangel) oder sich zu langsam bewegt, um Fragen zu beantworten.
Der Haken: Man kann nicht einfach das ganze Video zuerst anschauen, um zu entscheiden, was wichtig ist (wie ein Mensch, der einen Film schaut und danach die besten Szenen auswählt). Bei einem Live-Stream weiß man nicht, was als Nächstes kommt. Man muss Entscheidungen in Echtzeit treffen.

Die Lösung: Der „Kluge Bibliothekar“

Die Autoren haben eine neue Methode namens CausalMem entwickelt. Stellen Sie sich dies als einen klugen Bibliothekar vor, der ein sehr kleines, fest definiertes Bücherregal (den „Memory Bank“) verwaltet.

Das feste Regal: Unabhängig davon, wie lang das Video ist (1 Minute oder 10 Stunden), hält das Bücherregal eine bestimmte Anzahl von Büchern (ein festes Budget an „Tokens“). Es wird niemals größer.
Die „Semantische Basis“ (Die mentale Landkarte des Bibliothekars): Wenn neue Frames eintreffen, speichert die KI sie nicht einfach blind. Sie baut eine „mentale Landkarte“ der Hauptthemen und Formen auf, die sie bisher gesehen hat. Dies wird als Online Semantic Basis bezeichnet.
- Analogie: Stellen Sie sich vor, der Bibliothekar kennt das allgemeine „Gefühl“ der bisherigen Geschichte. Wenn eine neue Szene nur mehr vom Gleichen ist (redundant), weiß der Bibliothekar: „Das habe ich schon in meinem Kopf, das muss ich nicht aufschreiben.“
Der „Residuen“-Check (Was ist neu?): Das System berechnet das „Residuum“ oder die „Restinformation“.
- Analogie: Wenn die neue Szene nur ein blauer Himmel ist und der Bibliothekar bereits ein Bild eines blauen Himmels hat, ist das „Residuum“ winzig. Diese Szene ist redundant und wird weggeworfen.
- Zeigt die neue Szene jedoch eine plötzliche Explosion oder einen neuen Charakter, ist das „Residuum“ riesig. Diese Szene ist informativ und bekommt einen Platz im Regal.
Die „Rezentheit“-Regel: Das System erinnert sich auch daran, dass aktuelle Ereignisse wichtig sind. Selbst wenn eine Szene nicht super einzigartig ist, bleibt sie für eine Weile im Regal, wenn sie gerade erst passiert ist, damit die KI nicht vergisst, was jetzt gerade geschieht.

Das Ergebnis: Ein super-effizienter Speicher

Das Paper behauptet, dass sie durch diesen „Klugen Bibliothekar“-Ansatz in der Lage sind:

Daten zu komprimieren: Sie können ein 1-stündiges Video ansehen und es mit nur 12.000 „Tokens“ speichern (eine winzige Menge an Daten). Das ist eine 20-fache Kompression im Vergleich zum Speichern von allem.
Platz zu sparen: Der genutzte Speicher beträgt nur etwa 82 MB (ungefähr die Größe einiger hochauflösender Fotos), was für eine Stunde Video winzig ist.
Schneller zu arbeiten: Da die KI nicht versucht, Millionen von Frames zu verarbeiten, beantwortet sie Fragen viel schneller und verbraucht weniger Rechenleistung.
Präzise zu sein: Selbst mit diesem winzigen Speicher versteht die KI das Video besser als andere Methoden. Sie erzielte bei Tests sowohl für Live-Streaming als auch für voraufgezeichnete Videos höhere Werte.

Zusammenfassend

CausalMem ist wie ein menschliches Gehirn, das einen Live-Stream beobachtet. Anstatt jede einzelne Sekunde jedes Frames zu speichern, erinnert es sich an die Schlüsselmomente, die neuen Informationen und die aktuellen Ereignisse, während es den langweiligen, repetitiven Hintergrund vergisst. Dies geschieht, ohne dass es neu trainiert werden muss, was bedeutet, dass es in bestehende KI-Modelle integriert werden kann, um diese beim Beobachten langer Live-Videos deutlich besser zu machen.

Technische Zusammenfassung: CausalMem für effizientes Streaming-Video-Verständnis

Problemstellung

Aktuelle multimodale Large Language Models (MLLMs) stehen vor erheblichen Herausforderungen beim Streaming-Video-Verständnis. Die primären Schwierigkeiten ergeben sich aus zwei Faktoren:

Unbegrenztes Token-Wachstum: Streaming-Szenarien beinhalten potenziell unendlich lange Videos, was zu einer linearen Akkumulation von visuellen Token führt, die die Kontextgrenzen und Speicherbudgets bestehender MLLMs überschreitet (z. B. erzeugt ein zweistündiges Video bei 1 FPS über 700.000 Token).
Unvorhersehbarkeit: Im Gegensatz zur Offline-Verarbeitung verfügt das Video-Streaming nicht über Zugriff auf zukünftige Frames oder Benutzeranfragen im Voraus. Dies macht globale, auf Redundanz basierende Kompressionsmethoden und textgesteuerte Schätzstrategien unanwendbar, da diese nicht-kausale Informationen erfordern.

Bestehende Lösungen, wie etwa KV-Cache-Kompression oder Token-Pruning, verlassen sich oft auf den globalen Videozugriff oder spezifische Abfrage-Steuerungen und scheitern daher daran, einen dynamischen Mechanismus mit festem Budget bereitzustellen, der unter strikter Kausalität operiert.

Methodik: CausalMem

Das Paper schlägt CausalMem vor, einen neuartigen, trainingsfreien Ansatz, der darauf ausgelegt ist, eine dynamische, aber budgetierte visuelle Gedächtnisbank aufzubauen. Die Methode arbeitet unter strikter Kausalität, was bedeutet, dass sie Frames sequenziell verarbeitet, ohne Kenntnis über zukünftige Inhalte zu haben. Der Kernmechanismus besteht aus zwei Hauptkomponenten:

1. Online-Semantische Basis

Um die Redundanz eingehender visueller Token ohne zukünftiges Wissen abzuschätzen, unterhält CausalMem eine Online-Semantische Basis ( $B$ ), die die primären Semantiken des beobachteten Videostreams dynamisch modelliert.

Initialisierung: Die Basis wird aus den visuellen Token des ersten Frames mittels einer kompakten Singulärwertzerlegung (SVD) initialisiert, um dominante semantische Vektoren zu extrahieren.
Dynamische Aktualisierung: Wenn neue Frames eintreffen, werden die visuellen Token auf die aktuelle Basis projiziert. Das Residuum (die Differenz zwischen dem Original-Token und seiner Rekonstruktion) repräsentiert die neuartigen Informationen.
- Token mit großen Residuen (geringe Redundanz) werden als Kandidaten ausgewählt.
- Diese Kandidaten durchlaufen eine QR-Zerlegung, um neue orthogonale Basisvektoren zu extrahieren.
- Die Basis wird aktualisiert, indem die top- $q$ am stärksten aktiven Vektoren beibehalten werden, wobei die Aktivität über einen exponentiellen gleitenden Durchschnitt der instantanen Aktivierungswerte verfolgt wird. Dies stellt sicher, dass die Basis sich an die sich entwickelnde Semantik anpasst und gleichzeitig kompakt bleibt.

2. Dynamische Visuelle Gedächtnisbank

CausalMem unterhält eine Gedächtnisbank ( $M$ ) mit fester Größe und einem vordefinierten Token-Budget ( $b$ ).

Einfügung: Neue visuelle Token des aktuellen Frames werden temporär der Gedächtnisbank hinzugefügt.
Kompression & Selektion: Wenn die Bank das Budget überschreitet, werden die Token basierend auf zwei Faktoren für die Beibehaltung bewertet:
1. Redundanz-Score: Berechnet auf Basis der Residuen-Norm des Tokens relativ zur Online-Semantischen Basis. Token mit höheren Residuen (informativer) werden bevorzugt.
2. Temporale Rezenz: Ein Score basierend auf dem Zeitstempel des Tokens, um sicherzustellen, dass sich das Gedächtnis sanft an den sich entwickelnden Stream anpasst.
Aktualisierung: Die am besten bewerteten Token werden beibehalten, um die aktualisierte Gedächtnisbank zu bilden, während andere verworfen werden. Dies stellt sicher, dass die Bank stets die informativsten und zeitlich relevantesten Token innerhalb des festen Budgets enthält.

Zentrale Beiträge

Neuartige Perspektive: Die Studie betrachtet effizientes Streaming-Video-Verständnis durch die Linse einer dynamischen Gedächtnisbank mit festem Budget unter strikter Kausalität und adressiert damit die Einschränkungen bestehender Offline- oder abfrageabhängiger Methoden.
Trainingsfreier Mechanismus: CausalMem ist eine Plug-and-Play-Methode, die kein Retraining des zugrunde liegenden MLLM erfordert. Sie nutzt eine Online-Semantische Basis, um Redundanz zu schätzen und die Gedächtnisbank dynamisch zu aktualisieren.
Effizienz und Erhaltung: Die Methode erreicht eine hohe visuelle Token-Kompression (z. B. >20× für stundenlange Videos), während sie die primären Semantiken bewahrt und innerhalb eines festen Speicher-Footprints operiert (z. B. ~82 MB für 12k Token).

Experimentelle Ergebnisse

Die Autoren validierten CausalMem auf zwei repräsentativen MLLMs (LLaVA-OneVision und Qwen2.5-VL) sowohl in Streaming- als auch in Offline-Benchmarks.

Streaming-Benchmarks: Auf OVO-Bench und StreamingBench erzielte CausalMem durchschnittliche Genauigkeitsgewinne von +3,2 % bzw. +3,0 % im Vergleich zur Baseline und übertraf damit bestehende Streaming-Methoden wie StreamingTOM, LiveVLM und ReKV.
Offline-Benchmarks: Selbst bei der Anwendung auf Offline-Aufgaben unter strikter Kausalität (Simulation von Streaming-Bedingungen) zeigte CausalMem eine überlegene Leistung und übertraf spezialisierte Offline-Kompressionsmethoden auf Video-MME, MLVU, LongVideoBench und LVBench.
Effizienz: Die Methode reduziert den GPU-Speicherbedarf und die Inferenzzeit im Vergleich zu Baselines, bei denen die Token-Anzahl linear ansteigt, erheblich. Sie skaliert besser mit steigenden Frame-Zahlen und behält stabile Inferenzzeiten bei.
Vergleich mit SOTA: Bei der Anwendung auf Qwen2.5-VL erreichte die Methode eine Leistung, die mit fortschrittlichen proprietären Modellen wie Gemini 1.5 Pro und GPT-4o vergleichbar ist oder diese auf spezifischen Streaming-Benchmarks sogar übertrifft.

Bedeutung und Ansprüche

Das Paper behauptet, dass CausalMem das „unlösbare Problem“ des effizienten Streaming-Video-Verständnisses für bestehende MLLMs erfolgreich adressiert. Seine Bedeutung liegt in:

Begrenzte Berechnung: Es ermöglicht die Verarbeitung beliebig langer Videostreams mit begrenztem Rechen- und Speicheraufwand, eine kritische Anforderung für reale Streaming-Anwendungen.
Semantische Erhaltung: Durch die Nutzung einer Online-Semantischen Basis maximiert die Methode den Informationsgewinn innerhalb eines begrenzten Speicherplatzes und ahmt effektiv die Fähigkeit des menschlichen Gehirns nach, Redundanzen zu filtern und gleichzeitig relevante Informationen zu behalten.
Generalisierbarkeit: Als trainingsfreier Ansatz kann CausalMem problemlos in verschiedene MLLMs integriert werden, um deren Streaming-Fähigkeiten zu verbessern, ohne dass umfangreiches Fine-Tuning oder architektonische Änderungen erforderlich sind.

Die Autoren kommen zu dem Schluss, dass CausalMem eine robuste Lösung für die Aufrechterhaltung einer kompakten, aber informativen visuellen Gedächtnisbank bietet, was es MLLMs ermöglicht, die dynamische Natur von Streaming-Videoinhalten effektiv zu handhaben.