💻 computer science

Linear Scaling Video VLMs for Long Video Understanding

Das Papier stellt StateKV vor, eine Methode zur Inferenzzeit, die es vortrainierten Video-Vision-Language-Modellen ermöglicht, ein Video-Prefilling in linearer Zeit mit rekurrenten Zuständen fester Kapazität zu erreichen, wodurch die Skalierbarkeit und Genauigkeit gegenüber bestehenden Streaming-Approximationen signifikant verbessert wird, ohne dass architektonische Änderungen oder ein Fine-Tuning erforderlich sind.

Ursprüngliche Autoren: Cristobal Eyzaguirre, Jiajun Wu, Juan Carlos Niebles

Veröffentlicht 2026-06-01

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Cristobal Eyzaguirre, Jiajun Wu, Juan Carlos Niebles

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Problem: Die „Gedächtnisüberlastung“ der KI

Stellen Sie sich vor, Sie schauen einen Film mit einem Freund, der über ein fotografisches Gedächtnis verfügt, aber eine sehr spezifische Art hat, sich Dinge zu merken. Jedes Mal, wenn eine neue Szene (ein Frame) läuft, schaut Ihr Freund nicht nur die neue Szene; er schaut sich jede einzelne vorherige Szene vom Anfang des Films noch einmal komplett an, und zwar alle gleichzeitig, um zu sehen, wie die neue Szene mit den alten zusammenhängt.

Der Film: Ein langes Video (wie eine 1-stündige Autofahrt oder ein ganzes Sportspiel).
Der Freund: Ein Video-Vision-Language-Modell (VLM), eine KI, die Videos anschaut und Fragen dazu beantwortet.
Das Problem: Wenn der Film 10 Minuten lang ist, muss Ihr Freund für jede neue Sekunde 10 Minuten Videomaterial erneut anschauen. Wenn der Film 1 Stunde lang ist, muss er für jede neue Sekunde eine Stunde Videomaterial erneut anschauen.

Dies nennt man quadratisches Skalieren. Je länger der Film wird, desto massiver explodiert die Arbeit, die Ihr Freund verrichten muss. Es ist, als würde man versuchen, ein Buch zu lesen, bei dem man, um Seite 100 zu verstehen, jedes Mal die Seiten 1 bis 99 erneut lesen muss, wenn man umblättert. Irgendwann wird die Aufgabe unmöglich in Echtzeit zu bewältigen.

Die alten Lösungen: „Das Zusammenfassungs-Buch“

Um dies zu beheben, versuchten frühere Methoden, den Freund intelligenter zu machen, indem sie den Film zusammenfassten.

Der Ansatz: „Lass uns einfach die letzten 5 Minuten behalten“ oder „L Lass uns 90 % der Frames wegwerfen und nur die wichtigsten behalten.“
Der Fehler: Das ist so, als würde man Ihren Freund bitten, eine Zusammenfassung des Films zu schreiben, dabei aber nur die aktuellsten Sätze zu behalten. Er könnte einen entscheidenden Wendepunkt vor 20 Minuten übersehen, der erklärt, was gerade passiert. Oder wenn er zu viele Frames wegwirft, verliert er die Details, die nötig sind, um knifflige Fragen zu beantworten. Es ist ein Kompromiss: Man spart Zeit, verliert aber an Genauigkeit.

Die neue Lösung: StateKV (Der „Intelligente Assistent“)

Die Autoren führen eine neue Methode namens StateKV ein. Anstatt die KI zu zwingen, alles erneut anzuschauen oder Informationen wegzuwerfen, geben sie ihr einen intelligenten Assistenten mit einem speziellen zweiteiligen Gedächtnissystem.

Stellen Sie sich die KI als einen Detektiv vor, der ein Rätsel löst, während er eine einstündige Überwachungsaufnahme sieht.

1. Das „Detaillierte Notizbuch“ (Der rote Cache)

Die KI führt ein vollständiges, detailliertes Notizbuch über jeden einzelnen Frame, den sie bisher gesehen hat. Sie wirft nichts weg. Wenn der Detektiv (die KI) am Ende den Bericht schreiben muss (die Frage beantwortet), kann er dieses gesamte Notizbuch durchblättern, um die exakten Details zu finden, die er benötigt. Dies stellt sicher, dass die endgültige Antwort präzise ist.

2. Das „Spickzettel in der Tasche“ (Der blaue Zustand)

Hier liegt der magische Trick. Während die KI das Video schaut (den Stream verarbeitet), kann sie das ganze Notizbuch nicht im Kopf tragen. Deshalb nutzt sie einen kleinen Spickzettel in der Tasche.

Wie es funktioniert: Während das Video läuft, schaut die KI auf die neue Szene und fragt sich: „Welche Teile der Vergangenheit sind tatsächlich wichtig, um diese neue Szene zu verstehen?“
Die Auswahl: Sie wählt eine winzige, feste Anzahl von „super wichtigen“ Momenten aus der Vergangenheit aus (genannt temporal sinks) und schreibt sie auf den Spickzettel. Das könnte das Gesicht eines bestimmten Charakters von vor 10 Minuten sein oder ein spezifischer Soundeffekt.
Das Update: Wenn die nächste Szene kommt, aktualisiert die KI den Spickzettel. Sie behält das Wichtige, das immer noch relevant ist, und tauscht das aus, das nicht mehr benötigt wird, um Platz für neue wichtige Details zu schaffen.

Das Ergebnis: Die KI muss die neue Szene während des Sehens nur mit diesem winzigen Spickzettel vergleichen. Dadurch bleibt der Arbeitsaufwand konstant, egal wie lang das Video ist. Es ist, als müsste der Detektiv nur einen Blick auf eine 3-Zoll-Indexkarte werfen, um mit der Geschichte verbunden zu bleiben, anstatt das ganze Buch erneut zu lesen.

Warum das eine große Sache ist

Das Paper behauptet drei Hauptsiege für StateKV:

Es ist schnell und linear: Da die KI während des Sehens nur den kleinen Spickzettel prüft, wächst die Zeit, die sie für die Verarbeitung des Videos benötigt, linear (1 Stunde dauert doppelt so lange wie 30 Minuten). Es explodiert nicht wie bei der alten Methode.
Es ist genau: Im Gegensatz zu den alten „Zusammenfassungs“-Methoden, die Daten wegwarfen, behält StateKV das vollständige Notizbuch für die endgültige Antwort. Es vereinfacht nur den Prozess des Sehens, nicht das Ergebnis.
Es ist schlauer als „Rezentheit“: Alte Methoden sagten oft einfach: „Erinnere dich an die letzten 5 Minuten.“ StateKV ist klüger; es sagt: „Erinnere dich an die wichtigsten Momente, selbst wenn sie 40 Minuten her sind.“ Das Paper zeigt, dass die KI sich natürlich auf diese spezifischen „Anker“-Momente konzentriert und StateKV diese perfekt erfasst.

Die „Budget“-Analogie

Stellen Sie sich vor, Sie haben ein festes Budget (Rechenleistung), um ein Auto zu kaufen.

Alte Methode: Sie kaufen ein kleines, billiges Auto (ein kleines KI-Modell), das schnell fahren kann, aber nicht viel Gepäck transportieren kann (geringe Genauigkeit).
StateKV-Methode: Da StateKV so effizient ist, sparen Sie genug Geld, um ein großes, luxuriöses SUV (ein viel größeres, klügeres KI-Modell) zu kaufen, das eine riesige Menge an Gepäck (hohe Genauigkeit) für den gleichen Preis wie das kleine Auto transportieren kann.

Zusammenfassung

StateKV ist eine Methode, die es der KI ermöglicht, stundenlange Videos in Echtzeit zu schauen, ohne dass ihr ein „Brain Fog“ (Gehirnnebel) beschleicht. Dies geschieht, indem sie eine kleine, dynamische Zusammenfassung nutzt, um während des Sehens mit der Geschichte verbunden zu bleiben, aber gleichzeitig eine vollständige, detaillierte Aufzeichnung behält, um später Fragen zu beantworten. Es ist schneller als die alten Wege und klüger als der Ansatz „Erinnere dich einfach an die letzten paar Minuten“.

Technisches Resümee: Linear skalierende Video-VLMs für das Verständnis langer Videos (StateKV)

1. Problemstellung

Video-Vision-Language-Modelle (VLMs) werden für Langzeit- und Streaming-Anwendungen, wie etwa autonomes Fahren und eingebettete Robotik, die eine Integration von Evidenzen über Minuten oder Stunden hinweg erfordern, zunehmend kritisch. Es besteht jedoch ein grundlegender Flaschenhals: Die Rechenkosten für die Verarbeitung langer Videos in Standard-VLMs steigen quadratisch ( $O(N^2)$ ) mit der Anzahl der Frames ( $N$ ). Dies liegt daran, dass dominante Architekturen auf räumlich-zeitlicher Selbstaufmerksamkeit (Spatiotemporal Self-Attention) beruhen, bei der jeder Frame zu allen vorherigen Video-Token aufmerksam wird.

Bestehende Effizienzstrategien versuchen, dies zu mildern durch:

Subsampling von Frames oder Token: Die Reduzierung der Eingangsgröße führt oft zu einer signifikanten Verschlechterung der Leistung, sofern nicht ein großer Teil der Token (z. B. ~60 %) beibehalten wird.
Komprimierung des KV-Caches: Aggressive Komprimierung kann zeitliche und räumliche Hinweise verlieren, die für das logische Schließen notwendig sind.
Sliding-Window-/Rezentheitsbasierte Heuristiken: Methoden wie ReKV verarbeiten Frames sequenziell unter Verwendung eines festen Fensters aktueller Frames. Obwohl diese die Prefill-Komplexität auf linear ( $O(N)$ ) reduzieren, beruhen sie auf Ad-hoc-Annahmen, dass die relevantesten Informationen immer aktuell sind, was oft dazu führt, dass komplexe Abhängigkeiten über lange Zeiträume hinweg nicht erfasst werden können.

Die Herausforderung besteht darin, einen linearen Video-Prefill (konstante Kosten pro Frame) zu erreichen, ohne die Genauigkeit der vollen Selbstaufmerksamkeit zu opfern oder architektonische Änderungen und Fine-Tuning zu erfordern.

2. Methodik: StateKV

Die Autoren führen StateKV ein, eine Methode zur Inferenzzeit, die vortrainierte Long-Video-VLMs an einen linearen Video-Prefill anpasst. Die zentrale Erkenntung ist, dass die Langzeit-Aufmerksamkeit in vortrainierten VLMs hochstrukturiert ist: Während die meisten Interaktionen innerhalb eines Frames stattfinden, konzentrieren sich die langfristigen zeitlichen Interaktionen auf eine kleine Menge von „Temporal Sink“-Token, die sich über die Zeit nur langsam verändern.

Kernannahmen

StateKV basiert auf zwei empirischen Annahmen bezüglich der Aufmerksamkeit in vortrainierten VLMs:

Konzentration der Inter-Frame-Aufmerksamkeit: Für einen gegebenen Frame konzentriert sich die Mehrheit der nützlichen Cross-Frame-Aufmerksamkeitsmasse auf eine kleine Menge historischer Token ( $K \ll N$ ), unabhängig von der Gesamtlänge des Videos.
Langsame Evolution des temporalen Zustands: Der Satz dieser „Sink“-Token entwickelt sich langsam. Der nützliche Zustand für Frame $n+1$ kann gut durch den Zustand von Frame $n$ in Kombination mit den Token von Frame $n+1$ approximiert werden.

Architektur und Mechanismus

StateKV operiert über eine Zwei-Cache-Struktur pro Transformer-Layer und behält dabei ein eingefrorenes Backbone bei:

Detaillierter Zustand ( $D_n$ ): Ein Cache mit voller Länge, der alle visuellen Token jedes bisher verarbeiteten Frames speichert. Dieser Cache wird während der Prefill-Phase niemals abgefragt, aber für die abschließende Text-Dekodierungsphase bewahrt, um sicherzustellen, dass während der Generierung keine Informationen verloren gehen.
Komprimierter Zustand ( $C_n$ ): Ein rekurrenter Zustand mit fester Kapazität (z. B. 1024 Token), der nur während der Video-Prefill-Phase verwendet wird, um Cross-Frame-Interaktionen zu approximieren.

Der Prozess:

Streaming Prefill: Während die Frames eintreffen, verarbeitet das Modell sie inkrementell. Frame $n$ achtet auf die Konkatenation der Token des aktuellen Frames und des komprimierten Zustands von Frame $n-1$ .
Bedeutungsorientierte Selektion: Nach der Verarbeitung von Frame $n$ wird der komprimierte Zustand aktualisiert. Das Modell berechnet die Aufmerksamkeitswerte (nur Video) für alle Kandidaten-Token (der vorherige komprimierte Zustand + aktuelle Frame-Token). Es wählt die Top- $B$ Token aus (wobei $B$ das feste Budget ist), um den neuen komprimierten Zustand $C_n$ zu bilden, wobei Token mit geringer Bedeutung verworfen werden.
Dekodierung: Sobald alle Frames verarbeitet sind, beginnt die standardmäßige autoregressive Textgenerierung. Entscheidend ist, dass die Dekodierung auf dem detaillierten Zustand ( $D_N$ ) konditioniert, der alle Original-Video-Token enthält, wodurch sichergestellt wird, dass die Generierungsphase Zugriff auf den vollen Kontext hat.

Dieses Design entkoppelt die Komplexität der Video-Kodierung (linear, $O(N)$ ) von der Treue der finalen Generierung (voller Kontext).

3. Wichtige Beiträge

Lineare-Zeit-Prefill ohne Fine-Tuning: StateKV ermöglicht es eingefrorenen, vortrainierten VLMs, lange Videos mit linearer Rechenkomplexität ( $O(N)$ ) und konstanten Kosten pro Frame zu verarbeiten, ohne architektonische Modifikationen oder Retraining zu erfordern.
Prinzipielle Approximation der vollen Aufmerksamkeit: Im Gegensatz zu Sliding-Window-Methoden, die auf Rezentheit basieren, nutzt StateKV einen bedeutungsorientierten Mechanismus, um „Temporal Sinks“ weiterzuführen. Dies bietet eine fundiertere Approximation der vollen Selbstaufmerksamkeit und erfasst langfristige Abhängigkeiten, die durch rezentheitsbasierte Heuristiken verpasst werden.
Compute-Genauigkeits-Tradeoff: Durch die drastische Reduzierung der für den Video-Prefill benötigten FLOPs erlaubt StateKV Praktikern, größere Modelle innerhalb desselben Rechenbudgets laufen zu lassen. Die Arbeit zeigt, dass ein größeres Modell mit StateKV ein kleineres Modell mit voller Selbstaufmerksamkeit bei ähnlichen oder geringeren Rec Kosten übertreffen kann.
Empirische Validierung: Die Methode wird über drei Long-Video-Benchmarks (VideoMME, MLVU, OVOBench) und sieben Modelle aus drei Familien (InternVL3, Qwen-VL, Eagle2.5) sowie über mehrere Skalen (1B bis 8B Parameter) hinweg validiert.

4. Ergebnisse

Genauigkeit vs. volle Selbstaufmerksamkeit: Über alle Benchmarks und Modellskalen hinweg bleibt StateKV nahe an der Leistung der vollen Selbstaufmerksamkeit (Full SA). Im Durchschnitt bleibt es in etwa 1 % der Full-SA-Genauigkeit entfernt und übertrifft Sliding-Window-Baselines wie ReKV (die oft um ~10 Punkte zurückliegen) deutlich.
Überlegenheit gegenüber rezentheitsbasierten Methoden: StateKV übertrifft ReKV (eine dominante Sliding-Window-Methode) konsistent über VideoMME, MLVU und OVOBench. Die Autoren führen dies darauf zurück, dass die langfristigen Aufmerksamkeitsmuster in VLMs nicht rein rezentheitsbasiert sind; sie hängen oft von persistenten „Ankern“ aus fernen Frames ab, die Sliding-Windows verwerfen.
Skalierungsverhalten: Die Leistung verbessert sich monoton, wenn die Kapazität des komprimierten Zustands ( $B$ ) steigt. Größere Modelle zeigen eine stärkere Skalierung mit der Cache-Größe und erreichen bei hohen Budgets oft die Full-SA-Genauigkeit.
Recheneffizienz:
- StateKV reduziert die Video-Prefill-FLOPs drastisch.
- Break-even-Analyse: Für ausreichend lange Videos ist das Ausführen eines größeren Modells (z. B. InternVL3-8B) mit StateKV rechentechnisch günstiger als das Ausführen eines kleineren Modells (z. B. InternVL3-1B) mit voller Selbstaufmerksamkeit.
- Beispiel: StateKV-8B mit einem Cache-Budget von 4096 erreicht 62,5 % Genauigkeit auf VideoMME bei einem Rechenaufwand, der ähnlich hoch ist wie Full SA-1B (46,2 % Genauigkeit), was effektiv einen Gewinn von ~16 Punkten an Genauigkeit für dasselbe Budget bedeutet.

5. Bedeutung und Ansprüche

Das Paper positioniert StateKV als einen praktischen Schritt in Richtung skalierbarem Verständnis langer Videos. Seine Bedeutung liegt in:

Ermöglichung von Echtzeit-Streaming: Durch das Erreichen konstanter Kosten pro Frame eliminiert StateKV den quadratischen Flaschenhals, der derzeit Echtzeit-Streaming-Anwendungen für lange Videos (z. B. ein Auto, das eine Stunde lang fährt, ist schwieriger abzufragen als eines, das gerade erst gestartet ist) ausschließt.
Neudefinition der Rechengrenze: Die Methode verschiebt das Paradigma von „Komprimieren, um zu passen“ zu „Komprimieren, um zu approximieren“. Sie zeigt, dass eine bedeutungsorientierte Speicherretention eine stärkere Approximation der vollen Aufmerksamkeit darstellt als strikte Rezentheit, was bei festen Rechenbudgets eine bessere Genauigkeit ermöglicht.
Generalisierbarkeit: Der Ansatz überträgt sich konsistent über verschiedene Modellfamilien und Parameterskalen hinweg, ohne modellspezifisches Tuning zu erfordern, was darauf hindeutet, dass die zugrunde liegende Attentionsstruktur (Temporal Sinks) eine robuste Eigenschaft aktueller vortrainierter VLMs ist.

Die Autoren räumen Einschränkungen ein und merken an, dass die mechanistische Validierung derzeit auf bestehende Modelle und Test-Inputs beschränkt ist. Sie schlagen vor, in zukünftiger Arbeit zu untersuchen, ob diese Aufmerksamkeitsmuster auch über breitere Backbones und Video-Regime hinweg Bestand haben. Innerhalb des getesteten Rahmens bietet StateKV jedoch eine robuste, trainingsfreie Lösung für das Skalierungsproblem langer Videos.