Streaming Video Instruction Tuning

Dit paper introduceert Streamo, een real-time streaming video LLM die is getraind op het grote Streamo-Instruct-465K-dataset om als veelzijdige interactieve assistent diverse taken zoals narratie, actiebegrip en tijdsgevoelige vragen te combineren, waardoor de kloof tussen offline videoperceptie en realtime multimodale assistenten wordt overbrugd.

De kern

Stel je voor dat je een filmkijker bent die een film voor de eerste keer bekijkt. Een traditionele video-AI werkt als een filmcriticus die pas na de film begint te praten. Hij moet de hele film (van begin tot eind) hebben gezien, in zijn hoofd samenvatten, en dan pas een oordeel vellen. Dat is geweldig voor het analyseren van oude films, maar heel nutteloos als je een live sportwedstrijd volgt of een veiligheidscamera in de gaten houdt. Daar moet je nu reageren, niet pas als de wedstrijd afgelopen is.

Dit paper introduceert Streamo, een nieuwe AI die zich gedraagt als een live sportcommentator of een waakzame bewaker.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Wacht tot het einde"-AI

Bestaande video-AI's zijn als iemand die een boek leest, maar pas gaat vertellen wat er gebeurt als hij de laatste pagina heeft bereikt. Als je vraagt: "Wat deed de man net?", moet de AI wachten tot de hele video is afgelopen. In een echte, live situatie (zoals een auto die rijdt of een camera in een fabriek) is dat te laat. De AI mist het moment waarop het belangrijk is om te reageren.

2. De Oplossing: Streamo, de "Live Commentator"

Streamo is een AI die live meekijkt. Hij ziet de beelden frame voor frame (beeldje voor beeldje) en moet op elk moment beslissen wat hij doet. Hij heeft drie manieren om te reageren, net als een mens die luistert:

• 🤐 Stilte (Silence): "Ik zie iets, maar het is nog niet belangrijk." (Bijvoorbeeld: iemand loopt gewoon door de kamer). De AI zegt niets en blijft kijken.
• 👂 Wachten (Standby): "Oh, er gebeurt iets interessants! Ik zie een actie beginnen, maar ik wacht even tot het af is voordat ik iets zeg." (Bijvoorbeeld: iemand pakt een mes. De AI zegt: "Hij pakt een mes..." maar wacht even om te zien wat hij ermee doet).
• 🗣️ Reageren (Response): "Het is gebeurd! Nu vertel ik wat er aan de hand is." (Bijvoorbeeld: "Hij heeft het mes gebruikt om een appel te snijden, van 10 tot 15 seconden").

De creatieve analogie:
Stel je voor dat je een chef-kok bent die een nieuwe kookshow bekijkt.

• Een oude AI is als een kok die de show pas bekijkt als de aflevering klaar is, en dan zegt: "Ze hebben een taart gemaakt."
• Streamo is als een kok die live meekijkt. Hij ziet de chef een ei breken en zegt: "Stilte... Stilte... Wacht, hij giet melk erbij... Wacht... Nu roert hij... Reageren: 'De chef maakt nu een beslag'." Hij reageert precies op het juiste moment, niet te vroeg en niet te laat.

3. De Leermethode: De "Streamo-Instruct-465K"

Om deze AI zo slim te maken, hebben de onderzoekers een enorm trainingsboek gemaakt (een dataset van 465.000 voorbeelden).

Stel je voor dat ze duizenden mensen een video laten kijken en hen vragen om drie verschillende dingen tegelijk te doen:

1. Live commentaar geven: "Nu loopt hij, nu springt hij..."
2. Acties benoemen: "Hij schenkt drank in."
3. Vragen beantwoorden: "Wat houdt hij vast?" (en dit antwoord moet veranderen als hij iets anders vastpakt).

De AI heeft geleerd om te switchen tussen deze taken. Hij leert niet alleen wat er gebeurt, maar ook wanneer hij moet praten en wanneer hij moet zwijgen. Dit is heel moeilijk, omdat de AI anders de neiging heeft om te blijven zwijgen (omdat er in een video vaak meer "niks" gebeurt dan "iets"). De onderzoekers hebben een slimme truc gebruikt (een speciale wiskundige formule) om de AI te dwingen om ook de zeldzame momenten waarop hij moet praten, goed te leren.

4. Waarom is dit belangrijk?

Streamo is een grote stap naar een echte, slimme assistent voor video's.

• Voor jou: Denk aan een app die je live vertelt wat er gebeurt in een video van je baby, of een systeem dat direct waarschuwt als er iets misgaat in een fabriek.
• Voor de toekomst: Het maakt het mogelijk om AI's te bouwen die niet alleen "naar achteren" kijken (zoals een filmcriticus), maar live meedoen in de wereld. Ze kunnen praten terwijl de gebeurtenis plaatsvindt, net als een mens.

Kort samengevat:
Streamo is de eerste AI die niet wacht tot de film voorbij is om te praten. Hij is de live commentator die precies weet wanneer hij moet zwijgen, wanneer hij moet wachten, en wanneer hij moet vertellen wat er gebeurt. Het is een stap van "kijken en analyseren" naar "kijken, begrijpen en direct reageren".

Technische samenvatting

Titel: Streaming Video Instruction Tuning (Streamo)

Auteurs: Jiaer Xia, Peixian Chen, Mengdan Zhang, Xing Sun, Kaiyang Zhou.
Affiliaties: Hong Kong Baptist University, Tencent Youtu Lab.

---

1. Het Probleem

Bestaande Video Large Language Models (Video-LLMs) zijn voornamelijk ontworpen voor offline verwerking. Dit betekent dat ze een volledig, vooraf opgenomen video als input ontvangen voordat ze een antwoord genereren. Hoewel deze modellen uitstekend zijn in holistisch redeneren over lange tijdsreeksen, zijn ze ongeschikt voor real-time interactieve AI-assistenten.

De uitdagingen voor real-time streaming video zijn fundamenteel anders:

• Onbeperkte dataflow: Het model moet continu video verwerken terwijl deze binnenkomt, zonder toegang tot toekomstige frames.
• Dynamische instructies: Het model moet reageren op instructies terwijl gebeurtenissen zich ontvouwen, vaak onder strikte latentie-eisen.
• Besluitvorming: Het model moet niet alleen begrijpen wat er gebeurt, maar ook wanneer het moet antwoorden. Bestaande methoden die offline modellen proberen aan te passen, gebruiken vaak een gescheiden beslissingsmodule. Dit leidt tot een afweging tussen nauwkeurigheid en efficiëntie: lichte modules missen begrip, zware modules verhogen de latentie.

2. Methodologie: Streamo

De auteurs introduceren Streamo, een real-time streaming video LLM die besluitvorming en responsgeneratie in één end-to-end proces verenigt.

A. Architectuur en Drie-States Ontwerp

In plaats van een externe controller, integreert Streamo frame-level besluitvorming direct in het taalmodel via drie speciale response state tokens:

1. <Silence>: Het model blijft stil en verwerkt de volgende frames (geen relevante gebeurtenis).
2. <Standby>: Het model heeft een relevante gebeurtenis gedetecteerd, maar wacht op voltooiing of meer informatie (bijv. tijdens een lopende actie).
3. <Response>: Het model heeft voldoende informatie en genereert direct de tekstuele output.

Deze tokens worden voorspeld als onderdeel van de standaard next-token predictie, wat het model in staat stelt om continu de stroom te monitoren en op het juiste moment te reageren zonder de context te verliezen.

B. Trainingsstrategie en Loss Functie

Een groot probleem bij streaming data is de class imbalance: <Silence> tokens domineren de dataset (vaak >80%), terwijl <Response> tokens zeldzaam zijn. Dit zorgt ervoor dat modellen de neiging hebben om altijd stil te blijven.
Om dit op te lossen, gebruiken de auteurs een aangepaste Focal Loss met frequentie-gewogen alpha:

• Focal Weighting: Versterkt het leren van "moeilijke" voorbeelden (zeldzame tokens).
• Frequentie-balancing: Geeft zwaardere gewichten aan de zeldzame <Standby> en <Response> tokens om de bias tegen te gaan.
  Dit zorgt ervoor dat het model leert wanneer het moet reageren, niet alleen wat het moet zeggen.

C. Datastructuur

Offline video's worden omgezet in een multi-turn dialoogstructuur. Een video wordt opgedeeld in segmenten (bijv. per seconde), waarbij elke turn een video-segment en een bijbehorende reactie (Silence, Standby, Response) bevat. Dit simuleert een realistische streaming interactie tijdens het trainen.

3. Key Contributions

1. Streamo Framework: Een eenvoudige maar effectieve end-to-end training framework dat offline video-modellen (zoals Qwen2.5-VL) omzet in real-time streaming assistenten zonder ingrijpende architecturale wijzigingen.
2. Streamo-Instruct-465K: Een groot, multi-task instructie-tuning dataset specifiek ontworpen voor streaming video.
   • Grootte: 465.8K instructies over 135.8K video's.
   • Diversiteit: Dekt real-time narratie, actie- en gebeurtenisbeschrijvingen, temporele grounding (lokaliseren van gebeurtenissen in tijd), en tijdsgevoelige vragen (waar het antwoord verandert naarmate de video vordert).
   • Unificatie: Gebruikt een gestandaardiseerd annotatieprotocol voor consistente temporele grenzen over verschillende taken heen.
3. Streamo-Bench: Een nieuw benchmark voor streaming video instructie-opvolging. In tegenstelling tot bestaande benchmarks die zich richten op multiple-choice vragen, test deze benchmark de vaardigheid van modellen om open-ended instructies te volgen, gebeurtenissen te lokaliseren en dynamisch te reageren op veranderende contexten.

4. Resultaten

Extensieve experimenten tonen aan dat Streamo de staat van de kunst (SOTA) overtreft op zowel streaming als offline benchmarks.

• Streaming Performance: Streamo presteert significant beter dan bestaande online modellen (zoals Dispider, VideoLLM-Online) op de OVO-Bench.
  • Streamo-7B verbetert de gemiddelde prestatie met +13.83% ten opzichte van de vorige SOTA (Dispider).
  • Het model toont sterke temporele redeneervaardigheid en nauwkeurige frame-level besluitvorming.
• Offline Performance: Na conversie naar streaming behoudt Streamo zijn sterke prestaties op offline benchmarks (MVBench, VideoMME, LongVideoBench). Het presteert zelfs beter dan de originele offline basismodellen, wat aantoont dat de training de algemene perceptie verbetert in plaats van verslechtert.
• Multi-task Vaardigheden: Op Streamo-Bench overtreft Streamo alle concurrenten, vooral in taken zoals "Forward Grounding" (het voorspellen van een gebeurtenis voordat deze klaar is) en het volgen van complexe instructies die updates vereisen. Bestaande modellen falen vaak hierin omdat ze niet zijn getraind om tussen verschillende taaktypes te schakelen.
• Ablatie Studies: De studie bevestigt dat de drie-state design (Silence/Standby/Response) superieur is aan een enkelvoudige [EOS] (End of Sequence) token aanpak, vooral voor proactieve taken en temporele nauwkeurigheid.

5. Betekenis en Impact

Dit werk markeert een belangrijke stap richting unified, intelligente video-onderstanding in continue videostreams.

• Brug tussen Offline en Online: Het demonstreert dat het niet nodig is om volledig nieuwe modellen te bouwen; bestaande krachtige offline modellen kunnen efficiënt worden omgezet naar real-time assistenten met de juiste data en trainingsstrategie.
• Real-time AI Assistenten: Streamo maakt het mogelijk om AI-assistenten te creëren die niet alleen video's kunnen samenvatten na afloop, maar actief kunnen meekijken, waarschuwen bij specifieke gebeurtenissen, en vragen beantwoorden terwijl de video nog draait.
• Open Source: Alle resources (code, modellen, datasets en benchmarks) worden openbaar gemaakt, wat de basis legt voor toekomstig onderzoek in real-time multimodale interactie.

Samenvattend biedt Streamo een robuust fundament voor de volgende generatie video-LLMs die niet alleen "kijken", maar ook "luisteren" en "reageren" in real-time.