🤖 AI

MOSS-Video-Preview: Toward Real-Time Video Understanding via Cross-Attention

Das Papier stellt MOSS-Video-Preview vor, ein Framework zum Echtzeit-Verständnis von Videos, das eine Zwei-Kanal-Cross-Attention-Architektur verwendet, um Wahrnehmung von Generierung zu entkoppeln, was kontinuierliche Wahrnehmung, Antwortrevision und rechtzeitiges Schweigen ermöglicht und gleichzeitig signifikante Geschwindigkeitssteigerungen gegenüber Offline-Baselines bei minimalem Leistungsabfall erzielt.

Ursprüngliche Autoren: Pengyu Wang, Chenkun Tan, Shaojun Zhou, Wei Huang, Qirui Zhou, Zhan Huang, Zhen Ye, Jijun Cheng, Xiaomeng Qian, Yanxin Chen, Xingyang He, Huazheng Zeng, Chenghao Wang, Pengfei Wang, Hongkai Wang, Shan

Veröffentlicht 2026-06-09

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Pengyu Wang, Chenkun Tan, Shaojun Zhou, Wei Huang, Qirui Zhou, Zhan Huang, Zhen Ye, Jijun Cheng, Xiaomeng Qian, Yanxin Chen, Xingyang He, Huazheng Zeng, Chenghao Wang, Pengfei Wang, Hongkai Wang, Shanqing Gao, Yixian Tian, Chenghao Liu, Xinghao Wang, Botian Jiang, Xipeng Qiu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie schauen ein Live-Sportspiel im Fernsehen.

Der alte Weg (Offline): Sie warten, bis das Spiel komplett beendet ist, und drehen sich dann zu Ihrem Freund um und sagen: „Okay, hier ist, was passiert ist.“ Sie haben die Action verpasst, während Sie gesprochen haben.
Der aktuelle „Streaming“-Weg: Sie sprechen, während das Spiel läuft, aber in dem Moment, in dem Sie den Mund aufmachen, hören Sie auf, den Bildschirm zu beobachten. Wenn ein Tor geschossen wird, während Sie mitten im Satz sind, wissen Sie es erst, wenn Sie Ihren Satz beendet haben. Sie müssen warten, dann neu anfangen, um sich zu korrigieren.
Der neue Weg (MOSS-Video-Preview): Sie beobachten den Bildschirm und sprechen zur exakt gleichen Zeit. Wenn ein Tor geschossen wird, während Sie gerade sagen: „Das Team spielt gut“, unterbrechen Sie sich sofort selbst, sagen: „Warte, sie haben gerade getroffen!“, und aktualisieren Ihre Erzählung. Wenn nichts Interessantes passiert, bleiben Sie stumm und schauen einfach weiter zu.

Dieses Paper stellt MOSS-Video-Preview vor, ein neues KI-Modell, das genau das tut: gleichzeitig schauen und sprechen, ohne dass das eine das andere stoppt.

Hier ist die Erklärung, wie sie es geschafft haben, unter Verwendung einfacher Analogien:

1. Das Problem: Der „Stau“

Die meisten KI-Modelle von heute sind wie eine einspurige Straße. Um ein Video zu verstehen, muss das Modell jedes Frame lesen, dann aufhören zu lesen, um seine Antwort zu schreiben, und dann aufhören zu schreiben, um mehr Frames zu lesen. Dies erzeugt einen Stau. Das Modell kann nicht „neue Dinge sehen“, während es „spricht“.

2. Die Lösung: Die „Zweispurige Autobahn“

Die Autoren haben eine Zwei-Kanal-Architektur gebaut. Stellen Sie sich eine Autobahn mit zwei separaten Spuren vor:

Spur A (Die Augen): Diese Spur ist ausschließlich dem Beobachten des Videos gewidmet. Sie empfängt ständig neue Frames (Autos).
Spur B (Der Mund): Diese Spur ist ausschließlich dem Sprechen (Generieren von Text) gewidmet.

In älteren Modellen teilten sich „Augen“ und „Mund“ dieselbe Spur, sodass sie abwechseln mussten. In diesem neuen Modell speisen die „Augen“ Informationen von der Seite in den „Mund“ ein, wie ein Boxenstopp-Team, das einem Fahrer einen neuen Reifen übergibt, während das Auto noch fährt. Das Auto (die KI) muss nie anhalten, um die neuen Informationen zu erhalten.

3. Das Geheimrezept: „Cross-Attention“

Um dieses Zwei-Spur-System zum Laufen zu bringen, verwendeten sie eine spezielle Technik namens Cross-Attention.

Alter Weg: Stellen Sie sich vor, Sie versuchen ein Buch zu lesen, während Ihnen jemand die nächste Seite des Buches direkt ins Ohr schreit. Sie müssen aufhören zu lesen, um zuzuhören, und aufhören zuzuhören, um zu lesen.
Neuer Weg: Stellen Sie sich vor, Sie lesen ein Buch und ein Freund steht neben Ihnen. Wenn Sie wissen müssen, was auf der nächsten Seite steht, werfen Sie einfach einen Blick auf das Exemplar Ihres Freundes. Sie müssen nicht aufhören, Ihr eigenes Buch zu lesen, um dies zu tun. Der Freund (das Video) ist immer da und bereit, kurz angeblickt zu werden, ohne Ihren Lesefluss zu unterbrechen.

4. Die KI lehren, „den Mund zu halten“

Eine große Herausforderung besteht darin, dass eine KI, wenn sie ein Video beobachtet, das Gefühl haben könnte, sie müsse alles beschreiben, was sie sieht, selbst wenn nichts passiert.

Die Lösung: Das Team entwickelte eine spezielle Trainingsmethode. Sie brachten der KI eine neue Regel bei: „Wenn nichts Interessantes passiert, sag nichts.“
Sie verwendeten ein spezielles Token namens <|silence|>. Die KI lernt, dieses Token auszugeben, wenn sie eine statische Szene sieht. Es ist wie ein Sicherheitsmann, der nur spricht, wenn er einen Dieb sieht; ansonsten steht er einfach nur da und beobachtet.

5. Die Ergebnisse: Schneller und Schlauer

Die Autoren testeten dieses Modell (das sie als „Preview“ oder „Proof-of-Concept“ bezeichnen) und fanden heraus:

Geschwindigkeit: Da sich „Augen“ und „Mund“ nicht gegenseitig blockieren, ist das Modell viel schneller. Auf einem leistungsstarken Computer war es 5 Mal schneller beim Beginn des Sprechens und 2,7 Mal schneller beim kontinuierlichen Sprechen im Vergleich zu einem führenden bestehenden Modell, obwohl ihr Modell tatsächlich größer ist.
Genauigkeit: Es ist sehr gut darin, zu verstehen, wann Dinge passieren und wo sie passieren (räumliches und zeitliches Denken), was für die Echtzeit-Interaktion entscheidend ist.
Der Kompromiss: Es ist im Vergleich zu den größten, bekanntesten Modellen von heute etwas weniger gut darin, allgemeine Trivia zu beantworten oder Text aus Bildern zu lesen. Die Autoren geben zu, dass dies daran liegt, dass sie sich auf die neue Architektur und das Echtzeitverhalten konzentriert haben, anstatt nur das Modell größer zu machen oder es mit mehr Daten zu füttern.

Zusammenfassung

MOSS-Video-Preview ist ein Prototyp für eine KI, die wie ein Echtzeit-Beobachter agiert. Sie wartet nicht, bis das Video endet, und sie hört nicht auf zu schauen, um zu sprechen. Sie schaut, spricht, korrigiert sich sofort selbst, wenn sich Dinge ändern, und bleibt stumm, wenn es nichts zu sagen gibt.

Das Paper behauptet, dass dies beweist, dass Echtzeit-Video-Verständnis möglich ist, wenn man die richtige Architektur besitzt, selbst wenn das Modell noch nicht das absolut intelligenteste der Welt ist. Es ist ein „Proof of Concept“, der die Tür öffnet für zukünftige KI-Assistenten, die wirklich mit der Welt interagieren können, während diese geschieht.

Technisches Resümee: MOSS-Video-Preview

Problemstellung

Aktuelle Video-Verständnismodelle operieren überwiegend unter einem Offline-Paradigma, bei dem die gesamte Videosequenz verfügbar sein muss, bevor die Generierung beginnt. Während „Streaming“-Systeme entstanden sind, um während der Wiedergabe zu reagieren, behandeln sie Wahrnehmung und Generierung typischerweise als serielle, sich gegenseitig ausschließende Phasen: Das Modell stoppt die Aufnahme neuer Frames, während es eine Antwort generiert. Dies erzeugt eine Latenzlücke, in der das Modell nicht auf Ereignisse reagieren kann, die innerhalb des Antwortfensters stattfinden, was Korrekturen um mindestens eine Antwortlänge verzögert.

Das Paper identifiziert eine Lücke für Echtzeit-Interaktion, definiert durch eine einzige Kernbedingung: Die Wahrnehmung darf durch die Generierung nicht blockiert werden. In diesem Paradigma muss ein Modell kontinuierlich neue Frames wahrnehmen, während es Text generiert, was es ihm ermöglicht, seine aktuelle Antwort sofort zu revidieren oder zu unterbrechen, sobald es neue Beweise erkennt, und zu schweigen, wenn keine relevanten Änderungen auftreten. Bestehende Architekturen, insbesondere Decoder-only-Designs, haben Schwierigkeiten, dies zu unterstützen, da sie visuelle Merkmale in die autoregressive Sequenz zwingen, wodurch Wahrnehmung und Generierung um dasselbe Kontextfenster konkurrieren.

Methodik

1. Architektur: Cross-Attention-Backbone

Die Autoren schlagen eine Zwei-Kanal-Architektur vor, die auf einem Cross-Attention-Backbone basiert (speziell eine Anpassung von Llama-3.2-11B-Vision) anstatt des vorherrschenden Decoder-only-Designs.

Trennung der Pfade: Visuelle Merkmale werden über einen Seitenkanal (Keys und Values) injiziert, anstatt sie in den autoregressiven Tokenstrom zu integrieren. Das Text-Backbone generiert Tokens autoregressiv, während es den visuellen Kontext aus dem Seitenkanal abruft.
Strukturelle Vorteile:
- Nicht-blockierend: Wahrnehmung (Frame-Lesen) und Generierung (Token-Ausgabe) laufen auf physikalisch getrennten Pfaden, was es ihnen ermöglicht, gleichzeitig fortzufahren.
- Effizienz: Visuelle Merkmale werden einmalig während der Prefill-Phase kodiert und nur in spezifischen Cross-Attention-Layern (8 von 40) abgerufen, wodurch der wiederholte Self-Attention-Overhead großer visueller Token-Pools in Decoder-only-Modellen vermieden wird.
- Unabhängige Kompression: Die Trennung ermöglicht eine unabhängige Kompression der visuellen Tokens (via 2D-Pooling), ohne die Textsequenz zu beeinflussen.
Temporale Ausrichtung: Das Modell verwendet Rotary Positional Encoding (RoPE) sowohl auf der Text- als auch auf der visuellen Seite und bildet Frames auf eine einheitliche temporale Achse basierend auf ihrer Ankunftsreihenfolge ab, was es dem Modell ermöglicht, temporale Sequenzen zu verstehen.

2. Datensynthese-Pipeline

Da statische Caption- und QA-Datensätze keine Trajektorien von sich entwickelnden Antworten oder Schweigentscheidungen enthalten, führen die Autoren eine Echtzeit-Datensynthese-Pipeline ein, um dichte hierarchische Beschreibungen in Echtzeit-Supervision umzuwandeln.

Semantische Konstruktion: Die Pipeline identifiziert „Change Points“ (Änderungspunkte) in Videobeschreibungen, an denen sich der Zustand der Welt verschiebt. Sie generiert zustandsabhängige Instruktionen (Fragen), bei denen sich die korrekte Antwort im Zeitverlauf ändert.
Entscheidungs-Generierung: Für jede Instruktion synthetisiert das Modell eine Antwort-Trajektorie, die Folgendes beinhaltet:
- Revisionen: Aktualisierung der Antwort, wenn neue Beweise erscheinen.
- Schweigen: Emission eines speziellen <|silence|>-Tokens, wenn keine neuen Informationen verfügbar sind oder die Frage noch nicht beantwortbar ist.
Temporales Layout: Die synthetisierten Antworten werden auf einen pro Sekunde basierenden Frame-Stream ausgerichtet, wobei AnimationFrame-Platzhalter mit Text oder <|silence|>-Tokens durchmischt werden, um eine kontinuierliche, ereignisgesteuerte Interaktion zu simulieren.

3. Trainingsstrategie

Das Training folgt einem „General First, Specialize Later“-Ansatz:

Bridge Training: Abgleich des Vision-Encoders und des Projectors mit dem gefrorenen LLM-Backbone.
Offline SFT: Training auf groß angelegten allgemeinen Instruktionsdaten, um ein robustes Offline-Video- und Multimodal-Verständnis zu etablieren.
Real-Time SFT: Spezialisierung des Offline-Modells unter Verwendung der synthetisierten Echtzeit-Daten. Diese Phase nutzt einen gemischten Korpus aus Echtzeit- und Offline-QA, die durch System-Prompts unterschieden werden, um dem Modell beizubringen, wann es sprechen, wann es revidieren und wann es schweigen soll.

Inferenz-Steuerung: Bei der Inferenz bestimmt ein Schwellenwert-basierter Gating-Mechanismus (z. B. $P(\text{silence}) \geq 0.6$ ), ob das Modell Text oder <|silence|> ausgibt, wodurch ein einzendes Set an Gewichten sowohl den Offline- als auch den Echtzeit-Modus unterstützen kann.

Zentrale Beiträge

Formalisierung des Paradigmas: Das Paper unterscheidet explizit zwischen Offline-, Streaming- und Echtzeit-Paradigmen und definiert die Echtzeit-Interaktion durch die Gleichzeitigkeit von Wahrnehmung und Generierung sowie die Fähigkeit zu „zeitnahen Korrekturen“.
Architektonisches Design: Es zeigt auf, dass ein Cross-Attention-Backbone strukturell überlegen gegenüber Decoder-only-Designs für die Echtzeit-Interaktion ist, indem es einen nicht-blockierenden, Zwei-Kanal-Pfad bietet, der die Häufigkeit der visuellen Verarbeitung reduziert.
Datensynthese: Es führt eine Pipeline zur Generierung von Echtzeit-Supervisionsdaten ein, einschließlich dynamischer Antwort-Revisionen und Schweigentscheidungen, die in Standard-Datensätzen fehlen.
Echtzeit-Verhalten: Es implementiert erfolgreich kontinuierliche Wahrnehmung, Antwort-Revision und proaktives Schweigen in ein Large Language Model, ohne dessen Offline-Fähigkeiten zu beeinträchtigen.

Ergebnisse

Offline- und Multimodales Verständnis

Wettbewerbsfähige Leistung: Das Modell erzielt wettbewerbsfähige Ergebnisse in allgemeinen Video- und Multimodal-Benchmarks. Während es bei speicherintensiven Aufgaben (z. B. OCR, feingranulare Wahrnehmung) und allgemeinem Video-QA dem starken Qwen2.5-VL-7B-Baseline-Modell nachsteht, übertrifft es Qwen2.5-VL-7B in Benchmarks, die räumliches und feingranulares temporales Denken erfordern (z. B. VisuLogic, VSI-Bench, Video-Holmes).
Kosten der Spezialisierung: Der Übergang von der Offline- zur Echtzeit-Spezialisierung führt zu einer vernachlässigbaren Verschlechterung der Offline-Verständnisfähigkeiten. In einigen Video-Benchmarks schneidet die Echtzeit-Version sogar besser ab als die reine Offline-Version.

Inferenz-Effizienz

Beschleunigung: Auf einer einzelnen NVIDIA H200 mit 256 Frames pro Video erreicht der 11B-Parameter MOSS-Video-Preview:
- Eine ~5-fache Beschleunigung bei der Time to First Token (TTFT) im Vergleich zu Qwen2.5-VL-7B (1,95s vs. 9,94s).
- Einen ~2,7-fach höheren Decoding-Durchsatz (38,41 vs. 14,26 Tokens/s).
- Eine ~46% Reduktion der gesamten End-to-End-Latenz.
Attribution: Diese Gewinne werden direkt der Cross-Attention-Architektur zugeschrieben (Anhebung der Vision aus der autoregressiven Sequenz) und nicht etwa Engineering-Optimierungen im Serving-Stack.

Bedeutung und Ansprüche

Das Paper positioniert sich als Preview und als Position Paper, wobei der Schwerpunkt auf der Validierung eines Paradigmas und einer Architektur liegt, statt auf dem Erreichen von State-of-the-Art (SOTA)-Leistungen in allgemeinen Benchmarks.

Machbarkeit: Die Studie validiert, dass Echtzeit-Video-Verständnis unter Verwendung eines Cross-Attention-Backbones und einer spezialisierten Datensynthese-Pipeline machbar ist.
Architektonische Notwendigkeit: Es argumentiert, dass die Bedingung „Die Wahrnehmung darf nicht durch die Generierung blockiert werden“ ein Zwei-Kanal-Design erfordert, was Cross-Attention zu einer natürlichen Wahl gegenüber Decoder-only-Designs macht.
Skalierbarkeit: Die Autoren führen die verbleibende Leistungsdifferenz zu SOTA-Modellen primär auf die Datenmenge und die Parametergröße zurück, nicht auf die Architektur selbst. Sie behaupten, dass die Architektur einen gangbaren Weg aufzeigt, der durch weitere Skalierung die Lücke schließen kann.
Limitierungen: Das Paper räumt das Fehlen eines standardisierten Entscheidungs-Latenz-Benchmarks für die Echtzeit-Evaluierung ein und stellt fest, dass aktuelle Metriken oft die „Zeitnähe“ von Korrekturen nicht erfassen. Zudem wird eingeräumt, dass Data-Engineering und Ablationsstudien noch vorläufig sind.

Zusammenfassend skizziert MOSS-Video-Preview einen gangbaren Weg zum Echtzeit-Video-Verständnis durch die Entkopplung von Wahrnehmung und Generierung und zeigt, dass dieser Ansatz signifikante Effizienzgewinne und robuste Denkfähigkeiten liefert, auch wenn die Scores in allgemeinen Benchmarks derzeit hinter größeren, offline-optimierten Modellen zurückbleiben.