💻 computer science

StreamOV: Streaming Omni-Video Understanding via Evidence-Guided Memory and Response Triggering

StreamOV ist ein neuartiges Framework für das Streaming von Omni-Video-Verständnis, das die Einschränkungen von Offline-Methoden durch den Einsatz evidenzgestützten Speichers für ein effizientes Kontextmanagement und eines durch versteckte Zustände gesteuerten Triggers für die proaktive Generierung von Antworten adressiert und durch den neu eingeführten SOVBench validiert wird.

Ursprüngliche Autoren: Ming Xie, Zizheng Huang, Xudong Tan, Chao Wang, Xiangyu Zeng, Wenxiao Wu, Tao Chen, Limin Wang, Yanwei Fu

Veröffentlicht 2026-05-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ming Xie, Zizheng Huang, Xudong Tan, Chao Wang, Xiangyu Zeng, Wenxiao Wu, Tao Chen, Limin Wang, Yanwei Fu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie beobachten einen Live-Nachrichtenfeed, der 24 Stunden lang ununterbrochen läuft. Sie möchten mit einer intelligenten KI über das sprechen, was gerade passiert, aber Sie können das Video nicht anhalten und nicht zurückspulen, um zu sehen, was vor einer Stunde geschah. Die KI muss live zuschauen, zuhören, sich erinnern und in Echtzeit antworten.

Genau dieses Problem löst StreamOV.

Das Problem: Der „überforderte Bibliothekar"

Die meisten aktuellen KI-Video-Modelle sind wie Bibliothekare, die nur arbeiten, wenn die Bibliothek geschlossen ist. Sie warten, bis der gesamte Film zu Ende ist, lesen das ganze Skript und beantworten dann Ihre Fragen. Das funktioniert nicht für Live-Streams.

Wenn Sie versuchen würden, diese „offline" arbeitenden Bibliothekare live arbeiten zu lassen, stünden sie vor zwei großen Problemen:

Der Speicherüberlauf: Wenn sie versuchen würden, jeden einzelnen Bildrahmen und jedes Geräusch eines zweistündigen Streams zu merken, würde ihr Gehirn explodieren. Sie brauchen eine Möglichkeit, die langweiligen Teile zu vergessen und nur das Wichtige zu behalten.
Das „Schweigen"-Problem: In einem Live-Chat ist manchmal die beste Antwort keine Antwort. Wenn Sie fragen: „Was kocht der Koch?", der Koch aber noch nicht angefangen hat, sollte die KI nicht raten oder eine Antwort halluzinieren. Sie sollte ruhig bleiben, bis der Koch tatsächlich ein Messer in die Hand nimmt. Bestehende KIs haben damit oft Schwierigkeiten; sie sprechen entweder zu viel (füllen die Stille mit Unsinn) oder benötigen einen separaten, umständlichen „Manager", der ihnen sagt, wann sie sprechen sollen.

Die Lösung: StreamOV

Die Autoren haben StreamOV entwickelt, ein System, das speziell für diese lebendige, „omni-modale" (sehende und hörende) Welt konzipiert ist. So funktioniert es, anhand einiger einfacher Metaphern:

1. Der „intelligente Sieb" (Evidenzgesteuertes Gedächtnis)

Stellen Sie sich vor, Sie schauen einem Stream zu, haben aber nur ein kleines Notizbuch, um Notizen zu machen. Sie können nicht alles aufschreiben.

Der alte Weg: Alles aufschreiben und versuchen, es später unterzubringen.
Der StreamOV-Weg: Es verfügt über einen intelligenten Sieb. Während das Video läuft, fragt es ständig: „Ist dieser Moment wichtig?"
- Hat sich die visuelle Szene drastisch verändert? (Der Koch hat eine Pfanne fallen lassen!) -> Behalten.
- Ist das Audio laut oder plötzlich geworden? (Ein Krach!) -> Behalten.
- Entspricht dies dem, was der Benutzer gerade gefragt hat? (Der Benutzer fragte nach Eiern; der Koch hat gerade ein Ei aufgeschlagen.) -> Behalten.
- Ist es nur Hintergrundgeräusch oder eine statische Einstellung? -> Wegwerfen.

Es baut ein „Lang- und Kurzzeitgedächtnis" auf. Das Kurzzeitgedächtnis ist ein dichter Puffer dessen, was gerade passiert ist (die letzten paar Sekunden). Das Langzeitgedächtnis ist eine spärliche Sammlung der „evidenzreichsten" Momente der letzten Stunde. Dies hält den Speicher der KI begrenzt (klein), aber unglaublich aussagekräftig.

2. Der „innere Bauchcheck" (Auslösen der Antwort)

Dies ist der cleverste Trick des Papiers.

Der alte Weg: Die KI generiert ein spezielles „Schweige-Token" (wie das Tippen von „..." oder „warte"), um sich selbst zum Schweigen zu bringen, oder sie verwendet einen separaten, kleineren KI-Roboter als Türsteher, der entscheidet, wann gesprochen werden soll.
Der StreamOV-Weg: Die KI nutzt ihren eigenen inneren Bauchcheck.
Stellen Sie sich das Gehirn der KI als eine Phase des „Vor-Denkens" vor, bevor es tatsächlich spricht. StreamOV betrachtet den allerersten Funken eines Gedankens (den verborgenen Zustand) im Gehirn der KI.
- Fühlt sich das Gehirn sicher? -> Sprechen.
- Fühlt sich das Gehirn so, als fehlten Informationen? -> Schweigen.

Es muss nicht „warte" tippen oder einen separaten Roboter fragen. Es entscheidet einfach intern: „Ich habe jetzt genug Beweise", und beginnt zu sprechen. Wenn nicht, stoppt es einfach die Verarbeitung dieses Durchgangs, spart Energie und vermeidet Unsinn.

3. Der neue Test: SOVBench

Um zu beweisen, dass dies funktioniert, konnten die Autoren nicht einfach alte Tests verwenden, denn alte Tests waren wie „Pop-Quizzes" zu fertigen Filmen. Sie bauten SOVBench, eine neue Live-Feuer-Prüfung.

Es testet das Echtzeit-Verständnis (Antworten über das, was gerade passiert).
Es testet das Erinnern (Erinnern an das, was vor 10 Minuten geschah).
Es testet die Proaktivität (Wissen, wann man sprechen und wann man schweigen soll).
Es enthält sowohl Video als auch Audio, um sicherzustellen, dass die KI nicht nur „zuschaut", sondern auch „zuhört".

Die Ergebnisse

Als sie die Tests durchführten, spielte StreamOV nicht nur das Spiel mit; es gewann.

Es übertraf massive, leistungsstarke Offline-Modelle (wie Qwen3-Omni), die gezwungen wurden, im Streaming-Modus zu arbeiten.
Es war besser darin zu wissen, wann es sprechen und wann es schweigen sollte, im Vergleich zu anderen Streaming-Modellen.
Es bewies, dass eine KI durch die Verwendung eines „intelligenten Siebs" für das Gedächtnis und eines „inneren Bauchchecks" für den Zeitpunkt Live-Video-Streams effizient verstehen kann, ohne unendlichen Speicher oder externe Manager zu benötigen.

Kurz gesagt: StreamOV ist die erste KI, die einen Live-Video-Stream ohne Ende beobachten, nur die wichtigen Teile merken und genau wissen kann, wann sie in das Gespräch eingreifen und wann sie ruhig bleiben soll – alles, ohne überfordert zu werden.

Technische Zusammenfassung: StreamOV

Problemstellung

Die Arbeit adressiert die aufkommende Herausforderung des Streaming-Omni-Video-Verständnisses, ein Szenario, in dem Modelle synchronisierte Audio-Visuelle Signale in Echtzeit verarbeiten müssen, sobald sie eintreffen, anstatt ein vollständiges Video offline abzurufen. Aktuelle State-of-the-Art-Omni-Modale Modelle sind für die Offline-Inferenz konzipiert, was in Streaming-Szenarien zu zwei fundamentalen Diskrepanzen führt:

Speicherverwaltung: Bestehende Methoden verfügen über keine robusten Mechanismen, um kontinuierlich wachsende audio-visuelle Kontexte über lange Zeiträume hinweg zu verwalten, ohne die Rechenbudgets zu überschreiten.
Proaktive Interaktion: Offline-Modelle können nicht autonom bestimmen, wann sie antworten sollen. Sie generieren entweder Antworten auf jede Anfrage (unter Missachtung der Notwendigkeit von Stille) oder verlassen sich auf ineffiziente Mechanismen wie explizite <silence>-Tokens (die die vortrainierten Generationsverteilungen stören) oder externe Router (denen tiefgehende multimodale Schlussfolgerungsfähigkeiten fehlen).

Darüber hinaus fehlt es dem Feld an einem umfassenden Benchmark, der kontinuierliche, mehrstufige, Online-Audio-Visuelle Interaktionen bewerten kann, die proaktives Auslösen von Antworten und absichtliche Stille beinhalten.

Methodik: StreamOV-Framework

Die Autoren schlagen StreamOV vor, ein Framework, das auf einem Omni-modalen Large Language Model (MLLM) aufbaut und für effizientes Online-Reasoning mit begrenztem Speicher und proaktivem Auslösen von Antworten konzipiert ist.

1. Multimodal evidenzgesteuerte Speicherung

Um den unendlichen Stream unter einem festen Speicherbudget zu bewältigen, führt StreamOV einen Kurz- und Langzeitspeicher-Aktualisierungsmechanismus ein, der von einer Dual-Perspektiven-Evidenzkonstruktionsstrategie angetrieben wird:

Abfrage-unabhängige Dynamik: Erfasst intrinsische Stream-Dynamiken unter Verwendung visueller Veränderungen ( $S_v$ ), audio-aler Saliency ( $S_a$ ) und audio-visueller Co-Bursts ( $S_{cob}$ ).
Abfrage-bewusste Semantik: Misst die Relevanz zwischen der aktuellen Abfrage und dem Stream unter Verwendung vortrainierter Encoder für visuelle ( $S_{qv}$ ) und auditive ( $S_{qa}$ ) semantische Scores. Ein Gating-Mechanismus verfeinert die audio-ale Relevanz, um Segmente mit physikalisch salienten Audios oder synchronisierten Ereignissen zu priorisieren.
Evidenz-Routing: Das System konstruiert drei entkoppelte Evidenztypen: nur-visuell, nur-audio und audio-visuell-abgestimmt.
Speicher-Aktualisierung:
- Kurzzeitspeicher ( $M^S_t$ ): Behält dichte Beobachtungen aus dem aktuellen Zeitfenster bei.
- Langzeitspeicher ( $M^L_t$ ): Pflegt einen spärlichen, budgetfixierten Satz informativer Beobachtungen, die basierend auf Evidenzscores aus der gesamten Historie ausgewählt werden.
- Der endgültige Speicherzustand ist die Vereinigung dieser Puffer, chronologisch serialisiert und in das eingefrorene MLLM eingespeist.

2. Durch versteckte Zustände gesteuertes Auslösen von Antworten

Anstatt sich auf externe Router oder die Generierung nicht-semantischer <silence>-Tokens zu verlassen, setzt StreamOV einen MLLM-als-Auslöser-Mechanismus ein:

Mechanismus: Das Modell untersucht die versteckten Zustände der frühen Dekodierschritte (insbesondere den Zustand nach dem Prefilling, $h_{t,0}$ ), um vorherzusagen, ob es Antworten oder Warten soll.
Implementierung: Ein leichter Cross-Attention-Auslöser-Modul aggregiert diese versteckten Zustände, um binäre Auslöse-Logits auszugeben.
Vorteil: Dieser Ansatz nutzt die intrinsische kognitive Bereitschaft des MLLM, die in seinen versteckten Zuständen kodiert ist, vermeidet die Störung vortrainierter Verteilungen und die Schlussfolgerungslimitierungen kleiner Hilfsmodelle.

Hauptbeiträge

SOVBench: Der erste umfassende Benchmark für Online-, mehrstufige Omni-modale Evaluation. Er besteht aus zwei Komponenten:
- SOVBench-O: Bewertet kontinuierliches Audio-Visuelles Verständnis über Echtzeit-, Abruf- und Proaktive Interaktionsparadigmen hinweg (einschließlich kognitiver Proaktivität, bei der das Modell Absichten inferieren muss).
- SOVBench-T: Ein binärer Klassifikations-Benchmark speziell für Auslösen von Antworten, der die Fähigkeit eines Modells testet, zu antworten, wenn Evidenz vorhanden ist, und still zu bleiben, wenn sie fehlt.
StreamOV-Framework: Eine neuartige Architektur, die multimodales Evidenz-Routing, Kurz- und Langzeitspeicher sowie einen durch versteckte Zustände gesteuerten Auslöser integriert, um effizientes Streaming-Reasoning zu ermöglichen.
Empirische Validierung: Umfangreiche Experimente zeigen, dass StreamOV State-of-the-Art-Leistung über Streaming-, Offline- und nur-visuelle Benchmarks hinweg erzielt.

Experimentelle Ergebnisse

Die Autoren bewerteten StreamOV (basierend auf Qwen3-Omni-30B-A3B mit eingefrorenem Backbone und einem 18,9-Millionen-Parameter-Auslöser) gegen verschiedene Baselines, darunter Offline-Qwen-Modelle, Online-Streaming-Modelle (z. B. ROMA, Flash-VStream) und Closed-Source-Modelle (Gemini).

SOVBench-Leistung: StreamOV erreichte eine durchschnittliche Genauigkeit von 81,6 % auf SOVBench-O (Audio-Visueller Kontext) und 83,8 % auf SOVBench-O (Audio-Visueller Kontext & QA-Kontext) und übertraf damit die starke Offline-Baseline Qwen3-Omni-30B (jeweils 73,7 % bzw. 79,9 %).
Proaktives Auslösen: Auf SOVBench-T erreichte StreamOV einen F1-Score von 90,5 und übertraf damit die Qwen3-Omni-Baseline mit Auslöser (81,4) sowie andere Online-Modelle signifikant.
StreamingBench: StreamOV verbesserte die Leistung um +7,6 % gegenüber Qwen3-Omni und um +22,5 % gegenüber ROMA im Audio-Visuellen QA-Teilbereich.
Offline-Benchmarks: StreamOV zeigte auf Offline-Benchmarks wie Video-Holmes und Daily-Omni eine wettbewerbsfähige oder überlegene Leistung, was darauf hindeutet, dass seine Effektivität über rein Streaming-Szenarien hinausgeht.
Ablationsstudien: Die Ergebnisse bestätigten, dass abfragebewusste, abfrageunabhängige und Langzeitspeicher-Komponenten alle essenziell sind, wobei das Langzeitspeicher-Modul den signifikantesten Leistungsanstieg liefert.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass StreamOV die Lücke zwischen offlineem Omni-modalem Verständnis und den Anforderungen realer Streaming-Interaktionen schließt. Durch die Einführung eines Mechanismus für proaktives Auslösen von Antworten ohne externe Router oder Stille-Tokens und durch die Etablierung von SOVBench als Standard zur Bewertung kontinuierlicher, mehrstufiger Audio-Visueller Schlussfolgerungen bietet die Arbeit einen grundlegenden Schritt hin zu Modellen, die kontinuierlich „hören und sehen" und entscheiden können, wann sie basierend auf der ausreichenden Evidenz sprechen sollen. Die Autoren betonen, dass ihre Methode State-of-the-Art-Ergebnisse erzielt und dabei begrenzten Speicher und Recheneffizienz wahrt, was sie für Streaming-Anwendungen mit langem Horizont geeignet macht.