💬 NLP

StreamingVLM: Real-Time Understanding for Infinite Video Streams

StreamingVLM ist ein vereinheitlichtes Vision-Language-Modell-Framework, das durch die Abstimmung des Trainings auf das Streaming-Inferenz mittels einer neuartigen KV-Cache-Wiederverwendungsstrategie und Supervised Fine-Tuning auf überlappenden Chunks ein Echtzeit-Verständnis unendlicher Videostreams ermöglicht und dabei eine State-of-the-Art-Leistung bei Langzeit-Benchmarks unter Beibehaltung geringer Latenz erzielt.

Ursprüngliche Autoren: Ruyi Xu, Guangxuan Xiao, Yukang Chen, Liuning He, Yao Lu, Song Han

Veröffentlicht 2026-06-02

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Ruyi Xu, Guangxuan Xiao, Yukang Chen, Liuning He, Yao Lu, Song Han

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Freund ein Live-Sportspiel am Telefon zu beschreiben. Sie wollen genau erzählen, was gerade jetzt passiert – ein Tor, ein Foul, ein Jubel – ohne den Anschluss zu verlieren, und Sie wollen das über Stunden hinweg tun können, ohne dass Ihr Gehirn müde wird oder Sie vergessen, wer das erste Tor geschossen hat.

Das ist das Problem, das StreamingVLM für Computer löst.

Das Problem: Computer werden überfordert

Aktuelle KI-Modelle, die Videos ansehen (genannt Vision-Language-Modelle), sind wie Schüler, die versuchen, ein Buch zu lesen.

Der „Vollkonzentrierte“ Schüler: Dieser Schüler versucht, das gesamte Buch von Seite 1 bis Seite 1.000 jedes Mal zu lesen, wenn er nur einen einzigen Satz sagen möchte. Wenn das Buch länger wird, dauert das ewig und schließlich geht dem Schüler der Platz auf dem Schreibtisch (Speicher) aus und er stürzt ab.
Der „Gleitendes-Fenster“-Schüler: Dieser Schüler schaut nur auf die letzten paar Seiten. Wenn er sich an etwas von Seite 10 erinnern muss, muss er diese Seiten immer wieder aufs Neue aufschlagen und lesen. Das ist langsam und führt dazu, dass er den Fluss der Geschichte vergisst.

Beide Methoden versagen, wenn das Video „unendlich“ ist (wie eine Live-Übertragung, die niemals endet).

Die Lösung: StreamingVLM

Die Autoren haben eine neue KI namens StreamingVLM entwickelt. Stellen Sie sich dies als einen super-effizienten Sportkommentator vor, der eine besondere Art hat, seine Notizen zu organisieren.

So funktioniert es, unter Verwendung einfacher Analogien:

1. Der „Notizbuch“-Trick (Der KV-Cache)

Anstatt zu versuchen, das ganze Spiel zu behalten oder nur die letzten 5 Sekunden, nutzt StreamingVLM ein intelligentes Notizbuch-System:

Der „Anker“ (Attention Sinks): Es behält ein paar wichtige Notizen vom allerersten Anfang (wie die Teamnamen und den Spielstand beim Anpfiff), damit es nie den Kontext verliert, wer gerade spielt.
Die „Aktuelle Historie“ (Text Window): Es behält eine lange Liste der letzten paar Sätze, die es gesprochen hat, damit es den Fluss des Gesprächs im Gedächtnis behält.
Das „Live-Geschehen“ (Vision Window): Es behält nur die visuellen Details der letzten paar Sekunden des Spiels (die Spieler, die rennen, der Ball, der sich bewegt), weil das entscheidend ist, was gerade jetzt passiert.

Ältere visuelle Details (wie ein Spielzug von vor 10 Minuten) werden vorsichtig aussortiert, um Platz für neue zu schaffen, aber der „Anker“ und die „Aktuelle Historie“ bleiben sicher verwahrt. Dies hält den Speicherverbrauch der Komputer niedrig und stabil, egal wie lang das Video ist.

2. Der „Training“-Trick

Man kann eine KI nicht lehren, ein 10-stündiges Spiel zu beobachten, wenn man ihr während des Trainings nur 1-minütige Clips zeigt. Die Autoren haben dies mit einem cleveren Trick gelöst:

Sie zeigten der KI kurze, überlappende Clips von Sportspielen (wie 24-Sekunden-Stücke, die sich um 12 Sekunden überlappen).
Sie brachten der KI bei, auf alles innerhalb dieses kurzen Stücks zu achten.
Da sich die Stücke überlappen, lernt die KI, das Ende eines Stücks mit dem Anfang des nächsten zu verbinden, wodurch sie effektiv lernt, wie sie einen kontinuierlichen Stream verarbeitet, ohne jemals während des Trainings ein 10-stündiges Video gesehen zu haben.

3. Der „Nummerierungs“-Trick (Contiguous RoPE)

Normalerweise werden die Seitenzahlen in einem Notizbuch unordentlich, wenn man alte Seiten löscht (Seite 1, 2, 3... und plötzlich plötzlich Seite 100). Das verwirrt die KI. StreamingVLM verwendet ein spezielles „Um-Nummerierungs“-System. Wenn es alte visuelle Daten löscht, beschriftet es die verbleibenden Seiten sofort neu, sodass sie immer noch 1, 2, 3, 4... nummeriert sind. Dies verhindert, dass die KI verwirrt wird, wann Dinge passiert sind, selbst nach Stunden des Videos.

Die Ergebnisse: Ein Marathonläufer

Das Team testete diese neue KI an einem neuen Benchmark namens Inf-Streams-Eval, der aus Sportspielen besteht, die im Durchschnitt über 2 Stunden lang sind.

Geschwindigkeit: Sie kann das Spiel in Echtzeit ansehen und darüber sprechen (etwa 8 Frames pro Sekunde) auf einem einzigen leistungsstarken Computerchip. Sie hinkt nicht hinterher.
Speicher: Sie kann über 3 Stunden lang kommentieren, ohne den Anfang des Spiels zu vergessen oder abzustürzen.
Qualität: Im Vergleich zu Top-Modellen (wie GPT-4o mini) gewann StreamingVLM in direkten Vergleichen für Sportkommentare 66 % der Fälle. Es klingt natürlicher und erinnert sich besser an das Spiel.
Bonus: Obwohl sie nur auf Sportkommentaren trainiert wurde, verbesserte sie sich auch bei allgemeinen Videofragen, was beweist, dass die Methode ein allgemeines Upgrade für das Verständnis von Videos ist.

Zusammenfassend

StreamingVLM ist wie ein unermüdlicher Sportkommentator mit einem magischen Gedächtnis. Er erinnert sich an den Anfang des Spiels, konzentriert sich intensiv auf das Geschehen, das gerade jetzt stattfindet, und vergisst die langweiligen Teile von vor 10 Minuten, um Platz zu sparen. Dies ermöglicht es ihm, einen unendlichen Videostream in Echtzeit zu beobachten und zu beschreiben – etwas, das frühere Computer nicht leisten konnten, ohne überfordert zu werden.

Technisches Resümee: StreamingVLM

Problemstellung

Vision-Language Models (VLMs) stehen vor einem kritischen Engpass bei der Ermöglichung von Echtzeit-Assistenten und autonomen Agenten: der Unfähigkeit, nahezu unendliche Videoströme zu verarbeiten, ohne prohibitive Latenz- und Speicherkosten zu verursachen. Bestehende Ansätze leiden unter spezifischen Kompromissen:

Full Attention (Vollständige Aufmerksamkeit): Führt zu quadratischer Rechenkomplexität ( $O(T^2)$ ) und Speicherüberlauf (OOM), wenn die Videolänge zunimmt, was die Leistung jenseits des während des Trainings festgelegten Kontextfensters verschlechtert.
Sliding Window (ohne Überlappung): Hält den Speicher begrenzt, führt aber häufig zu einem Reset des Kontextes, was die langfristige Kohärenz unterbricht.
Sliding Window (mit Überlappung): Bewahrt die Kohärenz, erfordert jedoch eine redundante Neuberechnung der Attention für jedes neue Fenster, was zu einer hohen Latenz führt, die eine Echtzeit-Inferenz verhindert.

Darüber hinaus besteht eine Diskrepanz zwischen Training und Inferenz. Das Training auf extrem langen Kontexten ist rechentechnisch prohibitiv, dennoch müssen Modelle zur Inferenzzeit über unendliche Ströme schlussfolgern können. Aktuelle Strategien zur Eviktierung (Verwerfung) des Key-Value (KV)-Caches sind oft nicht mit der Trainingsphase abgestimmt, was zu Instabilitäten führt, wenn Modelle, die auf kurzen Videos trainiert wurden, versuchen, lange Ströme zu verarbeiten.

Methodik

Das Paper stellt StreamingVLM vor, ein vereinheitlichtes Framework, das darauf ausgelegt ist, das Training mit dem Streaming-Inferenz-Prozess abzugleichen, um ein stabiles Echtzeit-Verständnis unendlicher visueller Eingaben zu ermöglichen. Der Ansatz besteht aus drei Kernkomponenten:

1. Inferenz-Schema: Kompakter KV-Cache & Kontinuierliches RoPE

StreamingVLM verwendet eine spezialisierte Inferenzstruktur, um einen kompakten Zustand aufrechtzuerhalten und gleichzeitig den notwendigen Kontext zu bewahren:

Streaming-bewusster KV-Cache: Anstatt den gesamten Verlauf neu zu berechnen oder zu verwerfen, nutzt das Modell spezifische Zustände wieder:
- Attention Sinks: Ein fester Satz initialer Token (System-Prompts und frühe Texte) wird beibehalten, um die Attention-Mechanismen zu stabilisieren.
- Langes Textfenster: Ein Fenster mit den jüngsten Text-Token wird beibehalten, um das langfristige narrative Gedächtnis zu bewahren.
- Kurzes Visionsfenster: Nur ein kurzes Fenster mit den jüngsten Visions-Token (z. B. die letzten 16 Sekunden) wird beibehalten, um laufende Handlungen zu verfolgen. Ältere Visions-Token werden zuerst verworfen.
Kontinuierliches RoPE: Um Positionsdrift zu verhindern, wenn Token verworfen werden, wendet das Modell kontinuierliche Rotary Positional Embeddings (RoPE) an. Wenn frühere Token entfernt werden, werden die Indizes nachfolgender und eingehender Token so verschoben, dass sie numerisch kontinuierlich zum letzten beibehaltenen Token bleiben. Dies stellt sicher, dass die Positionswerte innerhalb der während des Trainings gesehenen Verteilung bleiben, selbst wenn die Videolänge die gesamte Fenstergröße überschreitet. Für Visions-Token, die 3D-Embeddings verwenden, wird ein kontinuierliches 3D-RoPE angewendet.

2. Trainingsstrategie: Überlappende Full-Attention

Um Streaming-Fähigkeiten zu vermitteln, ohne auf prohibitiv langen Kontexten zu trainieren, schlagen die Autoren eine Supervised Fine-Tuning (SFT)-Strategie vor, die das Attention-Muster der Inferenzzeit imitiert:

Überlappende Chunks: Lange Videoströme werden in aufeinanderfolgende Chunks mit zeitlicher Überlappung unterteilt.
Full Attention innerhalb der Chunks: Innerhalb jedes Chunks wird Full Attention angewendet. Dies ermöglicht es dem Modell, die „Recency Bias“ (Rezenz-Verzerrung) und die Interaktion zwischen dem Attention Sink, dem langen Textfenster und dem kurzen Visionsfenster zu erlernen.
Interleaved Vision-Text: Im Gegensatz zu Standard-VLMs, die alle Visions-Token vor den Text setzen, verzahlt diese Strategie Visions- und Text-Token in 1-Sekunden-Intervallen. Der Loss wird nur auf Textpositionen berechnet, die mit der Narration übereinstimmen. Falls in einer Sekunde keine Narration existiert, wird ein Platzhalter-Token verwendet. Dies lehrt das Modell, die Generierung mit dem Strom zu synchronisieren, und zu lernen, wann es sprechen muss und wann es schweigen sollte.

3. Datenkurations-Pipeline

Die Autoren konstruierten Inf-Streams-Train und Inf-Streams-Eval:

Datenerfassung: Über 6.000 Stunden Sportkommentare (Basketball, Fußball, Eishockey, Baseball, American Football) wurden gesammelt.
Bereinigung: Eine LLM-basierte Pipeline filterte Nicht-Spiel-Inhalte (Werbung, Monologe) heraus und korrigierte ASR-Fehler (z. B. Spielernamen), was zu hochwertigen Video-Kommentar-Paaren führte.
SFT vs. Annealing: Es wurden zwei Datensätze erstellt. Der SFT-Datensatz nutzt die überlappende Chunking-Methode, um das Streaming-Muster zu lehren. Ein separater „High-Quality Annealing“-Datensatz konzentriert sich strikt auf reale Spielgeschehen (16–64s Clips), um die Qualität der unmittelbaren Kommentierung zu verfeinern.

Kernbeiträge

StreamingVLM Framework: Ein vereinheitlichtes Modell, das Training und Inferenz abgleicht, um unendliche Videoströme mit stabiler, niedriger Latenz zu verarbeiten.
Neuartiger Inferenz-Mechanismus: Die Kombination aus Attention Sinks, asymmetrischer KV-Cache-Retention (langer Text/kurze Vision) und kontinuierlichem RoPE zur Aufrechterhaltung der Kohärenz ohne quadratische Kosten.
Training-Inferenz-Alignment: Eine einfache SFT-Strategie unter Verwendung überlappender Chunks mit Full Attention, die das Modell effektiv befähigt, über lange Ströme zu schlussfolgern, ohne dass Daten mit extrem langem Kontext benötigt werden.
Inf-Streams Benchmark: Die Einführung von Inf-Streams-Eval, einem Benchmark mit Videos, die im Durchschnitt über 2 Stunden lang sind und eine dichte, pro-Sekunde Frame-Text-Ausrichtung aufweisen, was die Lücke bestehender Benchmarks schließt, die oft auf Retrieval oder Zusammenfassungen statt auf Echtzeit-Streaming basieren.

Experimentelle Ergebnisse

Evaluierungen auf Inf-Streams-Eval und anderen Standard-Benchmarks zeigen signifikante Verbesserungen:

Captioning-Leistung: Auf Inf-Streams-Eval erreicht StreamingVLM eine Gewinnrate von 66,18 % gegenüber GPT-4o mini und übertrifft damit Baselines wie LiveCC-7B-Instruct und das Basismodell Qwen-2.5-VL-7B-Instruct deutlich. Es hält einen kohärenten Kommentar über mehr als 2 Stunden aufrecht, während Full-Attention-Modelle nach 2–5 Minuten degradieren und Sliding-Window-Modelle die Kohärenz verlieren.
Effizienz: Das Modell hält eine stabile Echtzeit-Leistung von bis zu 8 FPS auf einer einzelnen NVIDIA H1-GPU aufrecht. Im Gegensatz zu Sliding-Window-Methoden mit Überlappung (die aufgrund der Neuberechnung eine hohe Latenz aufweisen) oder Full Attention (die auf OOM stoßen), hält StreamingVLM die Latenz niedrig und konstant.
Generalisierung (VQA): Bemerkenswerterweise verbessert die SFT-Strategie ohne spezifisches VQA-Fine-Tuning die allgemeinen Video-Verständnisfähigkeiten. StreamingVLM verbessert die Leistung auf LongVideoBench um +4,30 und auf OVOBench Realtime um +5,96 im Vergleich zum Basismodell.
Ablationsstudien:
- Kontinuierliches RoPE ist essenziell; natives RoPE führt aufgrund von Positionsindex-Overflow bei unendlichen Streams zu einem starken Leistungsabfall.
- Eviktierungsstrategie: Das Beibehalten eines Textfensters und eines Attention Sinks bei gleichzeitiger Verwerfung älterer Texte ist entscheidend für die Leistung.
- Visionsfenster: Ein 16-sekündiges Visionsfenster bietet das optimale Gleichgewicht zwischen Action-Tracking und Effizienz.

Bedeutung und Ansprüche

Das Paper behauptet, dass StreamingVLM einen Schritt in Richtung menschlicher Intelligenz bei VLMs darstellt, indem es ermöglicht, Videochunks in Echtzeit zu verstehen und stabil über unendliche Ströme zu schlussfolgern. Die Bedeutung liegt in:

Praktischer Implementierung: Die Fähigkeit, stabilen Echtzeit-Kommentar und Verständnis für Anwendungen wie autonomes Fahren, eingebettete Agenten und Echtzeit-Assistenten bereitzustellen, die zuvor durch Latenz- und Speicherbeschränkungen behindert wurden.
Methodischer Paradigmenwechsel: Weg von dem Paradigma „Trainiere auf langen Kontexten“ oder „einfache Sliding Windows“ hin zu einem vereinheitlichten Ansatz, bei dem das Training auf kurzen, überlappenden Chunks das unendliche Streaming effektiv simuliert.
Benchmarking: Die Veröffentlichung von Inf-Streams-Eval setzt einen neuen Standard für die Evaluierung von Echtzeit-Verständnis auf Frame-Ebene in langanhaltenden Videos und geht damit über statische Retrieval-Aufgaben hinaus.

Die Autoren betonen, dass ihr Ansatz kein Training auf prohibitiv langen Kontexten erfordert und dennoch State-of-the-Art-Leistung auf unendlichen Strömen erzielt, wodurch die Lücke zwischen theoretischen VLM-Fähigkeiten und den praktischen Anforderungen der Echtzeit-Interaktion geschlossen wird.