Thinking in Streaming Video

Die Arbeit stellt ThinkStream vor, ein Framework für das Echtzeit-Video-Reasoning, das durch ein „Watch–Think–Speak"-Paradigma, komprimierte semantische Speichermechanismen und verstärkendes Lernen eine latenzarme, inkrementelle Analyse von Video-Streams ermöglicht.

Das Wesentliche

Stellen Sie sich vor, Sie schauen sich einen langen, spannenden Film an, während Sie gleichzeitig mit einem Freund telefonieren, der Sie fragt: „Was passiert gerade?" oder „Wo habe ich das Messer hingelegt?"

Die meisten heutigen KI-Systeme sind wie ein sehr langsamer Zuschauer: Sie schauen sich den ganzen Film erst zu Ende an, drücken auf „Pause", analysieren jede Szene im Rückblick und geben dann eine Antwort. Das ist für einen echten Live-Moment viel zu langsam und verbraucht enorm viel Energie.

Die Forscher in diesem Papier haben eine neue KI namens ThinkStream entwickelt, die sich anders verhält. Hier ist eine einfache Erklärung, wie das funktioniert, mit ein paar anschaulichen Vergleichen:

1. Der neue Ansatz: „Schauen – Denken – Sprechen"

Statt den ganzen Film auf einmal zu speichern, denkt ThinkStream während das Video läuft. Man kann sich das wie einen sehr aufmerksamen Detektiv vorstellen, der bei jedem neuen Bild im Kopf ein kleines Notizbuch führt.

• Schauen (Watch): Die KI sieht ein neues Video-Schnipsel (z. B. eine Person, die ein Brett nimmt).
• Denken (Think): Sofort macht sie sich eine kurze Notiz: „Aha, die Person steht am Spülbecken." Sie aktualisiert ihr Verständnis sofort.
• Sprechen (Speak): Dann fragt sich die KI: „Habe ich jetzt genug Informationen, um die Frage zu beantworten?"
  • Wenn ja: Sie antwortet sofort („Das Brett liegt am Spülbecken!").
  • Wenn nein: Sie schweigt („") und wartet auf das nächste Bild, um mehr zu erfahren.

Das ist wie ein Gespräch mit einem Freund, der nicht aufhört zu reden, bis er sicher ist, sondern nur dann antwortet, wenn er wirklich weiß, was los ist.

2. Das große Problem: Der überfüllte Rucksack

Wenn man einen ganzen Tag lang ein Video anschaut, wird der Speicher (der „Rucksack" der KI) voller und voller. Wenn man alles Speichert, wird der Rucksack so schwer, dass die KI nicht mehr laufen kann (zu langsam, zu teuer).

Die Lösung: Der „Gedächtnis-Verdichter" (RCSM)
ThinkStream nutzt einen cleveren Trick. Stellen Sie sich vor, Sie lesen ein Buch. Am Ende eines Kapitels schreiben Sie eine kurze Zusammenfassung auf einen Zettel und werfen den alten, dicken Buchteil weg.

• ThinkStream macht genau das: Sobald sie eine Szene verstanden hat, verwandelt sie die vielen Details des Videos in einen kompakten Gedanken (eine Zusammenfassung).
• Die alten, dicken Videobilder werden aus dem Speicher geworfen, aber die Zusammenfassung bleibt.
• So bleibt der Rucksack leicht, aber die KI vergisst nicht, was vor einer Stunde passiert ist. Sie behält die „Bedeutung" (Semantik) und wirft nur das „Rohmaterial" (die Pixel) weg.

3. Das Training: Wie lernt die KI, wann sie schweigen soll?

Um die KI zu trainieren, haben die Forscher ein Spiel namens „Streaming Reinforcement Learning" entwickelt.
Stellen Sie sich vor, Sie trainieren einen Hund.

• Wenn der Hund zu früh bellt (bevor er weiß, was passiert), bekommt er eine kleine Strafe.
• Wenn er zu lange wartet, bis der Ball weg ist, bekommt er auch eine Strafe.
• Wenn er genau dann bellt, wenn der Ball da ist, bekommt er einen Leckerbissen.

ThinkStream lernt durch tausende von solchen „Leckerbissen" (Belohnungen), genau den richtigen Moment zu finden, um zu sprechen, und genau die richtigen Notizen zu machen, damit sie später nicht vergisst, was passiert ist.

4. Warum ist das so cool?

• Echtzeit-Fähigkeit: Die KI kann Videos live verstehen, ohne zu hängen oder zu warten. Sie reagiert so schnell wie ein Mensch.
• Geringer Speicherbedarf: Sie braucht nicht riesige Computer, weil sie ihren Speicher ständig aufräumt (die alten Bilder durch Gedanken ersetzt).
• Bessere Antworten: Da sie den Kontext behält, aber nicht erstickt, sind ihre Antworten oft besser als die von anderen KI-Modellen, die versuchen, alles auf einmal zu speichern.

Zusammenfassend:
ThinkStream ist wie ein intelligenter, geduldiger Assistent, der Ihnen live beim Anschauen eines Videos hilft. Er macht sich stichwortartige Notizen, wirft den unnötigen Ballast weg und antwortet genau dann, wenn er sicher ist – alles in Echtzeit und ohne den Computer zum Überhitzen zu bringen.

Technische Zusammenfassung

-Tags), der die neuen Beweise mit dem bisherigen Kontext integriert. 3. **Speak:** Basierend auf dem aktuellen Reasoning-Zustand entscheidet das Modell, ob genügend Evidenz für eine Antwort vorliegt () oder ob es schweigen und weiter beobachten soll (`).

Dies ermöglicht eine proaktive Interaktion, bei der das Modell selbst bestimmt, wann es antwortet, anstatt auf externe Trigger zu warten.

B. Reasoning-Compressed Streaming Memory (RCSM)

Um das Problem des wachsenden KV-Caches zu lösen, wird RCSM eingeführt:

• Prinzip: Anstatt alle vergangenen visuellen Token (die den Speicher füllen) zu behalten, werden veraltete visuelle Token aus dem Cache verworfen.
• Kompression: Die dazugehörigen Reasoning-Spuren (semantische Zusammenfassungen, Ereignisse, kausale Hypothesen) werden als kompakte semantische Speicheranker beibehalten.
• Effekt: Der visuelle Kontext wird durch eine sliding window-Strategie begrenzt, während das semantische Verständnis durch die Reasoning-Token erhalten bleibt. Dies hält die Inferenzkosten stabil, auch bei langen Videos.

C. Streaming Reinforcement Learning with Verifiable Rewards (RLVR)

Um das Modell für dieses Verhalten zu trainieren, wird ein spezielles RLVR-Schema entwickelt:

• Ziel: Ausrichtung des inkrementellen Reasonings und des Antwortzeitpunkts auf die Anforderungen des Streams.
• Reward-Funktion: Besteht aus drei Komponenten:
  1. Accuracy Reward: Belohnt korrekte Antworten (basierend auf verifizierbaren Formaten wie Multiple-Choice oder Ja/Nein).
  2. Format Reward: Belohnt die strikte Einhaltung des strukturierten Ausgabeprotokolls (<think>, <silent>, <response>).
  3. Time Reward: Bestraft zu frühe oder zu späte Antworten durch einen linearen Abfall basierend auf der Differenz zum Ground-Truth-Zeitpunkt.
• Optimierung: Verwendung von Group Relative Policy Optimization (GRPO).

D. Effiziente Streaming-Inferenz

Ein benutzerdefiniertes Inferenz-Backend auf Basis von CUDA Graphs ermöglicht:

• Eager Prefill für neue visuelle Token.
• Replayable CUDA Graphs für Decoding und das gezielte Entfernen (Eviction) von KV-Cache-Einträgen.
• Dies ermöglicht einen hohen Durchsatz bei dynamischen Kontext-Updates.

---

3. Datensatz

Die Autoren haben einen großen, hochwertigen Datensatz erstellt, der für das Training essenziell ist:

• Umfang: 110.000 „Cold Start"-Instanzen mit detaillierten Reasoning-Spuren und 9.000 Instanzen für das RLVR-Training.
• Generierung: Nutzung von PySceneDetect zur Segmentierung, Qwen3-VL für dichte Captioning und Synthese von zeitlich verankerten CoT (Chain-of-Thought) Spuren, die kausal an Zeitstempel gebunden sind.

---

4. Ergebnisse

Die Experimente wurden auf mehreren Streaming- und Offline-Benchmarks durchgeführt (u.a. OVO-Bench, StreamingBench, VideoMME).

• Streaming-Leistung:
  • ThinkStream-3B (ein kompaktes 3-Milliarden-Parameter-Modell) übertrifft deutlich größere Baseline-Modelle und bestehende Online-Modelle.
  • Auf dem OVO-Bench erreicht es einen Durchschnittswert von 59,66 (vs. 51,00 beim Basis-Modell Qwen2.5-VL-3B und 51,64 bei Streamo-3B).
  • Auf StreamingBench Real-Time erreicht es 75,00, was besser ist als proprietäre Modelle wie GPT-4o (73,28) und weit über anderen Open-Source-Modellen liegt.
• Offline-Leistung:
  • Trotz des aggressiven Verwerfens visueller Token behält ThinkStream-3B seine Fähigkeiten bei Offline-Aufgaben bei (VideoMME: 61,9; Long VideoBench: 56,4).
• Effizienz:
  • Die Inferenz-Latenz bleibt über die gesamte Videolänge hinweg konstant unter der Echtzeit-Schwelle von 0,5 Sekunden (für 2 FPS Eingabe), während Baseline-Modelle bei längeren Videos stark verzögern (1,0–1,4 s).
  • Der benutzerdefinierte Inferenz-Engine erreicht eine bis zu 5-fache Beschleunigung im Token-Decoding im Vergleich zum Standard-Baseline.

---

5. Bedeutung und Beiträge

• Neues Paradigma: Das Paper führt das „Watch–Think–Speak"-Paradigma ein, das Reasoning und Interaktion in einem inkrementellen Prozess vereint und damit die Lücke zwischen Offline-Reasoning und Echtzeit-Streaming schließt.
• Effizientes Speichermanagement: RCSM demonstriert, dass Reasoning-Token als komprimierter semantischer Speicher dienen können, um den KV-Cache zu begrenzen, ohne das Verständnis zu verlieren.
• Skalierbarkeit: Durch die Kombination aus RLVR und effizienter CUDA-Graph-Implementierung wird gezeigt, dass leistungsfähiges Video-Reasoning auch auf ressourcenbeschränkten Geräten in Echtzeit möglich ist.
• Open Source: Code, Modelle und Daten werden veröffentlicht, um die Forschung im Bereich Streaming-Video-Reasoning voranzutreiben.

Zusammenfassend beweist ThinkStream, dass multimodale Agenten komplexe Video-Streams nicht nur passiv beobachten, sondern aktiv, effizient und in Echtzeit „nachdenken" und reagieren können.