Technische Samenvatting: MOSS-Video-Preview

Probleemstelling

Huidige modellen voor video-begrip opereren voornamelijk onder een offline paradigma, waarbij de volledige videoclip beschikbaar is voordat de generatie begint. Hoewel "streaming"-systemen zijn opgekomen om te reageren tijdens het afspelen, behandelen zij perceptie en generatie doorgaans als seriële, wederzijds uitsluitende fasen: het model stopt met het verwerken van nieuwe frames terwijl het een antwoord genereert. Dit creëert een latentiekloof waarbij het model niet kan reageren op gebeurtenissen die plaatsvinden binnen het venster van het antwoord, wat correcties met ten minste één responslengte vertraagt.

Het artikel identificeert een kloof voor real-time interactie, gedefinieerd door één kernbeperking: perceptie mag niet geblokkeerd worden door generatie. In dit paradigma moet een model continu nieuwe frames waarnemen terwijl het tekst genereert, waardoor het in staat is om zijn huidige antwoord onmiddellijk te herzien of te onderbreken bij detectie van nieuw bewijs, en stil te blijven wanneer er geen relevante veranderingen optreden. Bestaande architecturen, met name decoder-only ontwerpen, hebben hier moeite mee omdat ze visuele kenmerken in de autoregressieve sequentie dwingen, wat ervoor zorgt dat perceptie en generatie strijden om hetzelfde contextvenster.

Methodologie

1. Architectuur: Cross-Attention Backbone

De auteurs stellen een tweekanaals architectuur voor op basis van een cross-attention backbone (specifiek een aanpassing van Llama-3.2-11B-Vision) in plaats van het gangbare decoder-only ontwerp.

• Scheiding van paden: Visuele kenmerken worden geïnjecteerd via een zijkanaal (Keys en Values) in plaats van deel uit te maken van de autoregressieve tokenstroom. De tekst-backbone genereert tokens autoregressief terwijl deze visuele context ophaalt uit het zijkanaal.
• Structurele voordelen:
  • Niet-blokkerend: Perceptie (het lezen van frames) en generatie (token-output) draaien op fysiek gescheiden paden, waardoor ze gelijktijdig kunnen plaatsvinden.
  • Efficiëntie: Visuele kenmerken worden eenmaal gecodeerd tijdens de prefill-fase en worden alleen opgehaald in specifieke cross-attention lagen (8 van de 40), wat de herhaalde self-attention overhead van grote visuele tokenpools in decoder-only modellen voorkomt.
  • Onafhankelijke compressie: De scheiding maakt onafhankelijke compressie van visuele tokens mogelijk (via 2D-pooling) zonder de tekstsequentie te beïnvloeden.
• Temporele uitlijning: Het model gebruikt Rotary Positional Encoding (RoPE) op zowel de tekst- als de visuele zijde, waarbij frames worden toegewezen aan een uniforme temporele as op basis van hun aankomstvolgorde, wat het model in staat stelt temporele sequenties te begrijpen.

2. Data Synthese Pipeline

Omdat statische captioning- en QA-datasets geen trajecten bevatten van evoluerende antwoorden of beslissingen over stilte, introduceren de auteurs een real-time data synthese pipeline om dichte hiërarchische beschrijvingen om te zetten in real-time supervisie.

• Semantische constructie: De pipeline identificeert "veranderpunten" in videobeschrijvingen waar de staat van de wereld verschuift. Het genereert staat-afhankelijke instructies (vragen) waarbij het juiste antwoord in de loop van de tijd verandert.
• Beslissing-Generatie: Voor elke instructie synthetiseert het model een respons-traject dat het volgende bevat:
  • Herzieningen: Het updaten van het antwoord wanneer nieuw bewijs verschijnt.
  • Stilte: Het uitzenden van een speciaal <|silence|> token wanneer er geen nieuwe informatie beschikbaar is of de vraag nog niet beantwoord kan worden.
• Temporele Lay-out: De gesynthetiseerde responsen worden uitgelijnd met een per-seconde frame-stream, waarbij 情节 placeholders worden afgewisseld met tekst of <|silence|> tokens om een continue, event-gestuurde interactie te simuleren.

3. Trainingsstrategie

De training volgt een "eerst algemeen, later specialiseren"-aanpak:

1. Bridge Training: Het afstemmen van de vision encoder en projector met de bevroren LLM-backbone.
2. Offline SFT: Trainen op grootschalige algemene instructiedata om robuust offline video- en multimodale begrip te vestigen.
3. Real-Time SFT: Het specialiseren van het offline model met behulp van de gesynthetiseerde real-time data. Deze fase gebruikt een gemengde corpus van real-time en offline QA, onderscheiden door systeem-prompts, om het model te leren wanneer het moet spreken, wanneer het moet herzien en wanneer het stil moet blijven.

• Inference Controle: Tijdens de inferentie bepaalt een drempelwaarde-gebaseerd gating-mechanisme (bijv. $P(\text{silence}) \geq 0.6$) of het model tekst output of <|silence|> produceert, waardoor één enkele set gewichten zowel offline als real-time modi kan ondersteunen.

Belangrijkste Bijdragen

1. Formalisering van het Paradigma: Het artikel maakt expliciet onderscheid tussen offline, streaming en real-time paradigma's, waarbij real-time interactie wordt gedefinieerd door de gelijktijdigheid van perceptie en generatie en het vermogen tot "tijdige correcties".
2. Architecturaal Ontwerp: Het toont aan dat een cross-attention backbone structureel superieur is aan decoder-only ontwerpen voor real-time interactie, door een niet-blokkerend, tweekanaals pad te bieden dat de frequentie van visuele verwerking vermindert.
3. Data Synthese: Het introduceert een pipeline voor het genereren van real-time supervisiedata, inclusief dynamische antwoordherzieningen en stilte-beslissingen, die afwezig zijn in standaard datasets.
4. Real-Time Gedrag: Het slaagt er succesvol in om continue perceptie, antwoordherziening en proactief stiltegedrag in een groot taalmodel te implementeren zonder de offline capaciteiten op te offeren.

Resultaten

Offline en Multimodaal Begrip

• Competitieve Prestaties: Het model behaalt competitieve resultaten op algemene video- en multimodale benchmarks. Hoewel het achterblijft bij de sterke Qwen2.5-VL-7B baseline bij geheugenintensieve taken (bijv. OCR, fijnmazige perceptie) en algemene video-QA, overtreft het Qwen2.5-VL-7B op benchmarks die ruimtelijk en fijnmazig temporeel redeneren vereisen (bijv. VisuLogic, VSI-Bench, Video-Holmes).
• Kosten van Specialisatie: De overgang van offline naar real-time specialisatie leidt tot een verwaarloosbare degradatie van de offline begripscapaciteiten. In sommige video-benchmarks presteert de real-time versie zelfs beter dan de offline-only versie.

Efficiëntie van Inferentie

• Versnelling: Op een enkele NVIDIA H200 met 256 frames per video bereikt de 11B parameter MOSS-Video-Preview:
  • ~5× versnelling in Time to First Token (TTFT) vergeleken met Qwen2.5-VL-7B (1.95s vs. 9.94s).
  • ~2.7× hogere decoding throughput (38.41 vs. 14.26 tokens/s).
  • ~46% reductie in de totale end-to-end latentie.
• Attributie: Deze winsten worden direct toegeschreven aan de cross-attention architectuur (het verplaatsen van visie uit de autoregressieve sequentie) in plaats aan engineering-optimalisaties in de serving stack.

Betekenis en Claims

Het artikel positioneert zichzelf als een preview en een position paper, waarbij de nadruk ligt op de validatie van een paradigma en architectuur boven het behalen van state-of-the-art (SOTA) prestaties op algemene benchmarks.

• Haalbaarheid: De studie valideert dat real-time video-begrip haalbaar is met behulp van een cross-attention backbone en een gespecialiseerde data synthese pipeline.
• Architecturale Noodzaak: Het beargumenteert dat de beperking "perceptie mag niet geblokkeerd worden door generatie" een twee-kanaals architectuur noodzakelijk maakt, waardoor cross-attention een natuurlijke keuze is boven decoder-only ontwerpen.
• Schaalbaarheid: De auteurs schrijven het resterende prestatieverschil met SOTA-modellen primair toe aan data-schaal en parametergrootte, niet aan de architectuur zelf. Ze beweren dat de architectuur een levensvatbaar pad biedt, met het potentieel om de kloof te dichten door verdere opschaling.
• Beperkingen: Het artikel erkent het gebrek aan een gestandaardiseerde beslissingsniveau-latentie benchmark voor real-time evaluatie, waarbij wordt opgemerkt dat huidige metrieken vaak niet de "tijdigheid" van correcties kunnen vastleggen. Het geeft ook toe dat data-engineering en ablatie-studies nog voorlopig van aard zijn.

Samenvattend schetst MOSS-Video-Preview een levensvatbaar pad naar real-time video-begrip door perceptie te ontkoppelen van generatie, waarbij wordt aangetoond dat deze aanpak significante efficiëntievoordelen en robuuste redeneercapaciteiten oplevert, zelfs als de algemene benchmarkscores momenteel achterlopen op grotere, offline-geoptimaliseerde modellen.