Technische Samenvatting: StreamOV

Probleemstelling

Het artikel behandelt de opkomende uitdaging van streaming omni-videobegrip, een setting waarin modellen gesynchroniseerde audio-visuele signalen in real-time moeten verwerken naarmate ze binnenkomen, in plaats van een volledige video offline te benaderen. Huidige state-of-the-art omni-modale modellen zijn ontworpen voor offline inferentie, wat twee fundamentele mismatches creëert in streaming-scenario's:

1. Geheugembeheer: Bestaande methoden missen robuuste mechanismen om continu groeiende audio-visuele contexten over lange tijdsperiodes te beheren zonder de rekenkundige budgetten te overschrijden.
2. Proactieve interactie: Offline modellen kunnen niet autonoom bepalen wanneer ze moeten reageren. Ze genereren ofwel antwoorden op elke vraag (het negeren van de behoefte aan stilte) of vertrouwen op inefficiënte mechanismen zoals expliciete <silence>-tokens (die de voorgeprogrammeerde generatieverdelingen verstoren) of externe routers (die ontberen van diepe multimodale redeneervermogens).

Bovendien ontbreekt het in het veld aan een uitgebreide benchmark die in staat is continue, multi-turn, online audio-visuele interacties te evalueren die proactieve respons-triggering en intentionele stilte omvatten.

Methodologie: StreamOV Framework

De auteurs stellen StreamOV voor, een framework gebaseerd op een Omni-modaal Groot Taalmodel (MLLM) dat is ontworpen voor efficiënt online redeneren met gebonden geheugen en proactieve respons-triggering.

1. Multimodaal Evidentie-Gestuurd Geheugen

Om de oneindige stream onder een vast geheugenbudget te hanteren, introduceert StreamOV een Kort- en Langetermijngeheugen-updatemechanisme gedreven door een strategie voor het construeren van evidentie vanuit twee perspectieven:

• Vraag-agnostische dynamiek: Vangt intrinsieke stroomdynamiek op met visuele verandering ($S_v$), audio-salientie ($S_a$) en audio-visuele co-uitbarstingen ($S_{cob}$).
• Vraag-bewuste semantiek: Meet de relevantie tussen de huidige vraag en de stroom met behulp van voorgeprogrammeerde encoders voor visuele ($S_{qv}$) en audio ($S_{qa}$) semantische scores. Een gating-mechanisme verfijnt de audio-relevantie om segmenten met fysiek saliente audio of gesynchroniseerde gebeurtenissen te prioriteren.
• Evidentie-routing: Het systeem construeert drie ontkoppelde evidentietypes: alleen visueel, alleen audio en audio-visueel uitgelijnd.
• Geheugenupdate:
  • Kortetermijngeheugen ($M^S_t$): Behoudt dichte observaties uit het huidige tijdsvenster.
  • Langetermijngeheugen ($M^L_t$): Onderhoudt een spaarzaam, vast-budget setje informatieve observaties geselecteerd uit de volledige geschiedenis op basis van evidentiescores.
  • De definitieve geheugentoestand is de vereniging van deze buffers, chronologisch geserialiseerd en ingevoerd in het bevroren MLLM.

2. Door Verborgen Toestand Gedreven Respons-trigger

In plaats van te vertrouwen op externe routers of het genereren van niet-semantische <silence>-tokens, hanteert StreamOV een MLLM-als-trigger-mechanisme:

• Mechanisme: Het model onderzoekt de verborgen toestanden van de vroege decodeerstappen (specifiek de toestand na het voorvullen, $h_{t,0}$) om te voorspellen of het moet Reageren of Wachten.
• Implementatie: Een lichtgewicht Cross-Attention Trigger-module aggregeert deze verborgen toestanden om binaire trigger-logits te outputten.
• Voordeel: Deze benadering maakt gebruik van de intrinsieke cognitieve bereidheid van het MLLM die is gecodeerd in zijn verborgen toestanden, waardoor verstoring van voorgeprogrammeerde verdelingen en de redeneerlimieten van kleine hulpmodellen worden vermeden.

Belangrijkste Bijdragen

1. SOVBench: De eerste uitgebreide benchmark voor online, multi-turn omni-modale evaluatie. Het bestaat uit twee componenten:
   • SOVBench-O: Evalueert continue audio-visuele comprehendie over Real-Time, Recall en Proactieve interactie-paradigma's (inclusief cognitieve proactiviteit waarbij het model intentie moet infereren).
   • SOVBench-T: Een binaire classificatiebenchmark specifiek voor Respons-triggering, die het vermogen van een model test om te reageren wanneer evidentie aanwezig is en stil te blijven wanneer deze afwezig is.
2. StreamOV Framework: Een nieuwe architectuur die multimodale evidenterouting, kort- en langetermijngeheugen en een door verborgen toestand gedreven trigger integreert om efficiënt streaming-redeneren mogelijk te maken.
3. Empirische Validatie: Uitgebreide experimenten die aantonen dat StreamOV state-of-the-art prestaties bereikt op streaming-, offline- en alleen-visuele benchmarks.

Experimentele Resultaten

De auteurs evalueerden StreamOV (gebaseerd op Qwen3-Omni-30B-A3B met een bevroren backbone en een trigger van 18,9 miljoen parameters) tegen verschillende baselines, waaronder offline Qwen-modellen, online streaming-modellen (zoals ROMA, Flash-VStream) en gesloten bronmodellen (Gemini).

• SOVBench-prestaties: StreamOV behaalde 81,6% gemiddelde nauwkeurigheid op SOVBench-O (Audio-Visuele Context) en 83,8% op SOVBench-O (Audio-Visuele Context & QA-context), waarmee het de sterke offline baseline Qwen3-Omni-30B (respectievelijk 73,7% en 79,9%) overtrof.
• Proactieve Triggering: Op SOVBench-T behaalde StreamOV een F1-score van 90,5, wat significant beter was dan de Qwen3-Omni-baseline met een trigger (81,4) en andere online modellen.
• StreamingBench: StreamOV verbeterde de prestaties met +7,6% ten opzichte van Qwen3-Omni en +22,5% ten opzichte van ROMA op de Audio-Visuele QA-subset.
• Offline Benchmarks: StreamOV toonde concurrerende of superieure prestaties op offline benchmarks zoals Video-Holmes en Daily-Omni, wat aangeeft dat de effectiviteit zich uitstrekt buiten puur streaming-scenario's.
• Ablatiestudies: Resultaten bevestigden dat de vraag-bewuste, vraag-agnostische en langetermijngeheugen-componenten allemaal essentieel zijn, waarbij de langetermijngeheugenmodule de meest significante prestatieverbetering biedt.

Betekenis en Claims

Het artikel beweert dat StreamOV de kloof overbrugt tussen offline omni-modale comprehendie en de eisen van real-world streaming-interacties. Door een mechanisme voor proactieve respons-triggering te introduceren zonder externe routers of stilte-tokens, en door SOVBench te vestigen als standaard voor het evalueren van continue, multi-turn audio-visueel redeneren, biedt dit werk een fundamentele stap naar modellen die continu kunnen "luisteren en kijken", en beslissen wanneer ze moeten spreken op basis van de toereikendheid van evidentie. De auteurs benadrukken dat hun methode state-of-the-art resultaten bereikt terwijl het gebonden geheugen en rekenkundige efficiëntie behouden blijven, waardoor het geschikt is voor streaming-toepassingen over lange tijdsperiodes.