Technische Samenvatting: StreamReady

Probleemstelling

Multimodale Grootte Taalmodellen (MLLM's) hebben video-interpretatie verbeterd, met name voor korte clips, maar hebben moeite met lange video's vanwege moeilijkheden bij redeneren over uitgebreide temporale contexten. Hoewel recente inspanningen MLLM's hebben uitgebreid naar langere video's, werken de meeste in een offline setting waarbij de volledige video beschikbaar is tijdens inferentie. Daarentegen is streaming video-interpretatie een online variant waarbij frames sequentieel binnenkomen en het model de volledige video nooit ziet.

Er bestaat een kritieke kloof in huidige streamingbenaderingen: ze richten zich voornamelijk op antwoordcorrectheid in afhankelijkheid van het verleden (causale) scenario's waar bewijs al beschikbaar is. Echter, vereisen veel real-world toepassingen (bijvoorbeeld surveillance, robotica, assistieve systemen) proactief (toekomst-afhankelijk) redeneren, waarbij een vraag wordt gesteld voordat het ondersteunende visuele bewijs verschijnt. In dergelijke settings moeten modellen bepalen wanneer ze moeten antwoorden. Te vroeg antwoorden vormt ongeonderde speculatie (hallucinatie), terwijl te laat antwoorden de real-time bruikbaarheid vermindert. Bestaande benchmarks en methoden missen mechanismen om de timing van antwoorden ten opzichte van het verschijnen van bewijs te evalueren of af te dwingen.

Methodologie: StreamReady Framework

De auteurs stellen StreamReady voor, een framework ontworpen om temporale redenering te verenigen met expliciete antwoordtiming via een "readiness-aware" formulering.

1. Readiness-Aware Formulering

De kernbijdrage is een nieuwe evaluatiemetric genaamd de Answer Readiness Score (ARS). In tegenstelling tot standaard nauwkeurigheid, evalueert ARS zowel correctheid als timing gezamenlijk met asymmetrische straffen:

• Vroeg Straf (EP): Een strenge straf voor het beantwoorden voordat het bewijsvenster begint, wat speculatie ontmoedigt.
• Laat Straf (LP): Een mildere straf voor het beantwoorden nadat het bewijsvenster eindigt, wat lichte vertragingen tolereert.
• Effectieve Nauwkeurigheid: Gedefinieerd als $Acc_e = Acc \times ARS$, deze metric beloont modellen die zowel correct als tijdig zijn.

2. Framework Architectuur

StreamReady opereert zonder volledige video-toegang of zware auxiliaire modellen te vereisen. Het bestaat uit drie hoofdcomponenten:

• Hiërarchisch Geheugenopslag:

  • Visueel Geheugentree ($M_V$): Een meerlagige structuur om lange streams efficiënt te beheren.
    • $M_{V1}$: Een FIFO-buffer van recente ruwe frame-embeddings (korte-termijndetails).
    • $M_{V2}$: Een middenniveau samenvatting van centroiden afgeleid van $M_{V1}$ via K-means clustering.
    • $M_{V3}$: Een ruwe prototypenset geabstraheerd van $M_{V2}$, bijgewerkt via Exponentiële Moving Average (EMA) om stabiele scènes en drift te hanteren.
  • Contextueel Geheugenbank ($M_C$): Bewaart embeddings van eerdere vragen en hun overeenkomstige antwoordrepresentaties om multi-turn redenering en semantische consistentie te ondersteunen.

• Query-bewust Redeneren:

  • Bij ontvangst van een vraag activeert het model een dubbel-tak Q-Former.
  • Korte-termijn Tak ($Q_s$): Richt zich op ruwe frames in $M_{V1}$ voor directe context.
  • Lange-termijn Tak ($Q_\ell$): Voert een grof-naar-fijn zoekopdracht uit. Het scoort eerst prototypes in $M_{V3}$ om relevante gebieden te identificeren, en verfijnt vervolgens de zoekopdracht naar specifieke centroiden in $M_{V2}$.
  • Contextueel Redeneren: Een soft-gating mechanisme haalt relevante eerdere QA-paren op uit $M_C$ en fuseert deze met visuele kenmerken via cross-attention.

• Lightweight Readiness Mechanisme:

  • Een leerbare <RDY> token wordt toegevoegd aan de lange-termijn redeneringsrepresentatie ($z_\ell$).
  • Een Readiness Head (een lightweight MLP) bewaakt deze token en geeft een readiness score $R_{pred} \in [0, 1]$ uit.
  • Inferentie: Het model triggert alleen de LLM om een antwoord te genereren wanneer $R_{pred}$ een drempelwaarde overschrijdt. Anders blijft het observeren.
  • Training: Omdat ground-truth bewijstijdstippen tijdens training niet beschikbaar zijn, gebruiken de auteurs zwakke pseudo-supervisie. Ze definiëren pseudo-positieve gebieden (waar de redeneringsrepresentatie sterk vergelijkbaar is met visuele geheugen-centroiden) en pseudo-negatieve gebieden. Een pairwise contrastive loss traint de readiness head om hogere scores toe te kennen aan positieve gebieden, terwijl een temporale coherentie regularizer zorgt voor soepele overgangen.

Belangrijkste Bijdragen

1. Formalisatie van Readiness-Aware Streaming: Het artikel introduceert een formulering waarbij het doel niet alleen is om correct te antwoorden, maar om precies op het moment te antwoorden waarop voldoende bewijs verschijnt, geformaliseerd via de Answer Readiness Score (ARS).
2. StreamReady Framework: Een nieuwe architectuur die hiërarchisch visueel geheugen, query-bewuste grof-naar-fijn zoekopdrachten en een lightweight readiness token integreert dat bepaalt wanneer moet worden gereageerd op basis van interne bewijsvolledigheid.
3. ProReady-QA Benchmark: Een nieuwe benchmark specifiek ontworpen voor proactieve streaming scenario's. Deze kenmerkt:
   • 5k proactieve multi-turn QA-paren over lokale en globale contexten.
   • Geannoteerde antwoordbewijsvensters (start- en eindtijdstippen) om ARS-evaluatie mogelijk te maken.
   • Vijf taaktypen: Herkenning van Sequentiële Stappen, Tellen van Repetitieve Gebeurtenissen, Reageren op Ontsluiting van Aanwijzingen, Detectie van Causale Triggers, en Detectie van Doel-Toestand.

Experimentele Resultaten

De auteurs evalueerden StreamReady op ProReady-QA en acht andere benchmarks (vier streaming, vier offline lange video).

• ProReady-QA Prestaties: StreamReady behaalde de hoogste Effectieve Nauwkeurigheid en ARS over alle vijf de taken, en presteerde beter dan de beste baseline (StreamBridge) met ongeveer 3% in nauwkeurigheid en 9% in ARS gemiddeld. Het toonde bijzonder sterke winsten in taken die precieze timing vereisen (REC, GSD, CTD).
• Streaming Benchmarks: StreamReady presteerde consequent beter dan eerdere online methoden (bijvoorbeeld Flash-VStream, StreamBridge) op proactieve en niet-proactieve streaming benchmarks (StreamingBench, OVOBench), met winsten tot 5% op proactieve taken.
• Offline Lange Video Benchmarks: Ondanks dat het is ontworpen voor streaming, generaliseerde StreamReady goed naar offline benchmarks (VideoMME, MLVU, MVBench, EgoSchema) en presteerde beter dan bestaande offline modellen. Dit suggereert dat zijn hiërarchische geheugen en redeneringsmechanismen zelfs voordelig zijn wanneer timing niet expliciet wordt bestraft.
• Efficiëntie: Analyse toonde aan dat StreamReady stabiele latentie en geheugengebruik behoudt naarmate de videolengte toeneemt, in tegenstelling tot baseline-modellen die lijden aan kwadratische attentiegroei of zware token-compressie overhead.

Betekenis en Claims

Het artikel beweert dat StreamReady een verenigde basis legt voor het verbeteren van antwoordtiming in streaming video-interpretatie. De betekenis hiervan ligt in:

• Het verschuiven van het paradigma van "wat te beantwoorden" naar "wat en wanneer te beantwoorden", waarmee een kritieke kloof in real-world streaming toepassingen wordt aangepakt.
• Het aantonen dat timing kan worden geleerd via een lightweight mechanisme gekoppeld aan bewijstracking, zonder te vertrouwen op niet-deterministische auxiliaire modellen of zware rekenkracht.
• Het bieden van ProReady-QA als de eerste systematische testomgeving voor het evalueren van de temporale geschiktheid van streaming modellen, verder gaand dan simpele nauwkeurigheidsmetrics.
• Het tonen dat readiness-aware mechanismen niet alleen proactieve prestaties verbeteren, maar ook algemene video-interpretatiecapaciteiten over diverse benchmarks.

De auteurs concluderen dat hun werk het veld naar voren brengt richting modellen die niet alleen nauwkeurig zijn, maar ook evidence-grounded en tijdig, een vereiste voor effectieve implementatie in real-time, lange-horizon scenario's.