Em-Garde: A Propose-Match Framework for Proactive Streaming Video Understanding

Each language version is independently generated for its own context, not a direct translation.

Em-Garde: De Slimme Wachter die niet blijft staren

Stel je voor dat je een onophoudelijke videostream bekijkt, zoals een live-camera in je keuken of een sportwedstrijd. Je wilt dat een slimme assistent je vertelt: "Hé, het water kookt!" of "Kijk, die speler scoort!", maar precies op het juiste moment.

Het probleem met de huidige slimme systemen is dat ze proberen elke seconde van die video te analyseren. Ze kijken naar elk beeldje, denken na over wat er gebeurt, en beslissen dan: "Moet ik nu praten of zwijgen?" Dit is als een bewaker die elke seconde van de dag hardop moet nadenken over wat hij ziet, zelfs als er niets gebeurt. Dat kost enorm veel energie, wordt traag en maakt vaak fouten.

Em-Garde (onze nieuwe uitvinding) lost dit op met een slimme truc: Scheiding van taken.

De Analogie: De Chef en de Wachter

Stel je een restaurant voor met twee mensen:

De Chef (De 'Parser'): Deze persoon is heel slim, maar traag. Hij doet alleen werk als er een nieuwe bestelling binnenkomt.
De Wachter (De 'Matcher'): Deze persoon is niet zo slim, maar heel snel en alert. Hij kijkt alleen naar de deur.

Hoe werkt het oude systeem?
De chef moet elke seconde naar de deur kijken en nadenken: "Zie ik iemand met een paraplu? Zie ik een auto? Moet ik nu de deur openen?" Hij raakt uitgeput en maakt fouten omdat hij te veel moet doen.

Hoe werkt Em-Garde?
Wanneer jij een vraag stelt (bijvoorbeeld: "Zeg het me als het water kookt"), doet De Chef zijn werk één keer:

Hij denkt na: "Oké, 'water koken' betekent: ik moet zoeken naar veel bubbels, stoom en een bruisend geluid."
Hij schrijft deze zoekopdrachten op een briefje en geeft ze aan De Wachter.

Nu hoeft De Wachter alleen maar te doen wat hij goed kan: kijken en vergelijken.

Hij kijkt naar de video.
Zie hij bubbels? Ja! -> BELLT! (Antwoord geven).
Zie hij alleen een rustig meer? -> Zwijgt.

De Wachter hoeft niet na te denken over wat "koken" betekent. Hij hoeft alleen te checken of de beelden op zijn briefje lijken. Omdat hij niet hoeft na te denken, is hij supersnel en kan hij elke seconde van de video checken zonder moe te worden.

Waarom is dit zo cool?

Snelheid: Omdat de "denker" (de Chef) niet elke seconde hoeft te werken, kan het systeem meekomen met de snelheid van de video (10-15 beelden per seconde). Het is alsof je een snelle sportauto hebt in plaats van een trage vrachtwagen.
Nauwkeurigheid: De Chef zorgt ervoor dat de zoekopdrachten heel specifiek zijn. In plaats van "kijk naar water", zegt hij "kijk naar grote bubbels". Hierdoor gaat de Wachter niet afgeven op elke kleine beweging.
Flexibiliteit: Je kunt de Wachter een nieuwe opdracht geven voor elke nieuwe vraag. Vraag: "Wanneer wordt de pizza gaar?" -> Chef schrijft: "Zoek naar goudbruine korst en smeltende kaas." -> Wachter doet zijn werk.

Het Resultaat

In tests hebben we gezien dat Em-Garde veel beter is dan de oude systemen. Hij reageert sneller, maakt minder fouten en kan zelfs heel lange video's aan zonder vast te lopen.

Kortom: Em-Garde is als een slimme teamleider die de moeilijke plannen maakt, en een snelle uitvoerder die alleen kijkt of de plannen worden uitgevoerd. Zo krijgen we een assistent die echt proactief is: hij wacht niet tot jij iets vraagt, maar hij ziet het moment zelf en zegt het je precies op tijd.

Each language version is independently generated for its own context, not a direct translation.

1. Het Probleem: Het Efficiëntie-Accuracy Dilemma

De recente vooruitgang in Multimodale Large Language Models (MLLMs) heeft "Streaming Video Understanding" mogelijk gemaakt, waarbij modellen realtime video-inhoud kunnen begrijpen. Een nieuwe interactieparadigma is proactieve streaming: modellen monitoren een videostream continu en beslissen zelfstandig wanneer ze moeten reageren op een gebruikersvraag (bijv. "Herinner me eraan als het water kookt"), in plaats van passief te wachten op een nieuwe vraag.

De huidige aanpak voor dit probleem (zoals in VideoLLM-Online of StreamMind) ziet het als een per-frame besluitvormingsprobleem. Bij elke nieuwe frame (vaak 5-10 fps) moet het model complexe visuele waarneming en semantische redenering uitvoeren om te beslissen of er een reactie nodig is. Dit leidt tot een fundamenteel dilemma:

Efficiëntie: Om de videofrequentie bij te houden, moeten modellen klein zijn of informatie sterk comprimeren, wat de kwaliteit van het visuele begrip beperkt.
Nauwkeurigheid: Complexe redenering vereist zware modellen, wat de verwerkingssnelheid te laag maakt voor realtime toepassing.

Bestaande methoden worstelen met dit compromis, wat resulteert in onnauwkeurige trigger-tijdstippen of onpraktisch hoge rekentijd.

2. Methodologie: Het Em-Garde Framework

De auteurs introduceren Em-Garde, een nieuw raamwerk dat semantisch begrip loskoppelt van streaming waarneming. In plaats van bij elke frame te redeneren, wordt het complexe besluitvormingsproces opgesplitst in twee fasen:

A. Semantische Parsing (Query-tijd)

Bij het moment dat de gebruiker de vraag stelt (query time), wordt een zwaar model ingezet om de instructie om te zetten in concrete, visueel onderbouwde "voorstellen" (proposals).

Component: Instruction-Guided Proposal Parser (IGPP).
Functie: De IGPP (gebaseerd op een groot MLLM zoals Qwen2.5VL) analyseert de vraag en een korte video-achtergrond. Het genereert een set van visuele cues (voorstellen) die specifiek zijn voor het moment waarop een reactie gewenst is.
- Voorbeeld: Voor de vraag "Wanneer kookt het water?", genereert de IGPP geen abstracte regel, maar concrete cues zoals "intens borrelen" of "aanhoudende stoom".
Training: De IGPP wordt getraind met een tweestapsproces:
1. Supervised Fine-Tuning (SFT): Leren van het formaat en de structuur van voorstellen.
2. Reinforcement Learning (RL): Optimalisatie van de trigger-gedrag. Het model leert voorstellen te genereren die door het lichte waarnemingsmodel betrouwbaar kunnen worden herkend (temporele localisatie en perceptuele grondbaarheid). Hiervoor is een nieuw dataset genaamd Parse2Prop-1K samengesteld.

B. Streaming Waarneming (Realtime Loop)

Tijdens het streamen van de video wordt alleen een lichtgewicht model gebruikt om te matchen.

Component: Lightweight Proposal Matching Module (LPMM).
Functie: Dit module draait continu in de streaming-loop. Het encodeert korte video-segmenten (met een glijdend venster) en vergelijkt deze embeddings met de vooraf gegenereerde voorstellen van de IGPP.
Triggering: Als de cosine-similariteit tussen een video-segment en een voorstel een bepaalde drempelwaarde ( $\theta$ ) overschrijdt (een scherpe stijging), wordt een trigger gegenereerd.
Efficiëntie: Omdat er geen zware semantische redenering meer plaatsvindt in de loop, kan dit deel van het systeem zeer snel werken (10-15 fps) zonder dat de contextlengte de latency verhoogt.

3. Belangrijkste Bijdragen

Decoupling van Redenering en Waarneming: Het paper breekt met het paradigma van "per-frame decision making" door zware semantische interpretatie volledig buiten de streaming-loop te plaatsen.
IGPP en RL-strategie: Een innovatieve manier om hoog-niveau instructies om te zetten in perceptuele cues, waarbij Reinforcement Learning wordt gebruikt om de kwaliteit van deze cues te verbeteren voor het downstream waarnemingsmodel.
Parse2Prop-1K Dataset: Een nieuwe dataset met query-proposal-paren, essentieel voor het trainen van de parser om bruikbare visuele hints te genereren.
Lightweight Matching: Het gebruik van off-the-shelf multimodale embedding modellen (Ops-MM-V1) voor de daadwerkelijke trigger-detectie, wat de rekenefficiëntie drastisch verhoogt.

4. Resultaten

Em-Garde is geëvalueerd op drie belangrijke benchmarks: StreamingBench, OVO-Bench en ProactiveVideoQA.

Proactieve Respons (Triggering):
- Op StreamingBench (Proactive Response task) behaalde Em-Garde een nauwkeurigheid van 38.0%, wat een verbetering is van meer dan 3% ten opzichte van de beste bestaande modellen (zoals MMDuet-2).
- Op OVO-Bench (Forward Active Responding) behaalde het een F1-score van 31.0%, een aanzienlijke verbetering van 10% ten opzichte van eerdere methoden.
- Het model toont een betere balans tussen Recall (het vinden van het juiste moment) en Precision (niet te vaak onterecht reageren).
Online Video Begrip:
- Het model behoudt de kwaliteit van online video-antwoorden (Real-time Understanding) en scoort vergelijkbaar met state-of-the-art modellen (bijv. 76.7% op StreamingBench Real-time Perception), wat aantoont dat het decoupleren de begrijpingscapaciteit niet schaadt.
Efficiëntie:
- Em-Garde bereikt een verwerkingssnelheid van 10-15 fps op A100 GPU's, zelfs voor zeer lange video's.
- In tegenstelling tot modellen zoals VideoLLM-Online en MMDuet-2, degradeert de latency niet naarmate de video langer wordt, omdat de context niet lineair groeit in de streaming-loop.

5. Betekenis en Impact

Em-Garde biedt een praktische oplossing voor het realiseren van proactieve AI-assistenten in real-world scenario's (zoals sportcommentaar, huiselijke assistentie of bewaking) waar strikte rekentijdbeperkingen gelden.

Schaalbaarheid: Door de zware redenering te beperken tot het moment van de vraag, kan het systeem onbeperkt lange video's streamen zonder dat de rekentijd explodeert.
Robuustheid: De aanpak is minder gevoelig voor de complexiteit van de vraag tijdens het streamen, omdat de vraag al is vertaald naar simpele visuele zoekopdrachten.
Toekomstperspectief: Het paper suggereert dat de scheiding tussen "wanneer te reageren" (Em-Garde) en "wat te zeggen" (een downstream MLLM) een veelbelovende architectuur is voor toekomstige realtime multimodale systemen.

Kortom, Em-Garde lost het fundamentele spanningsveld op tussen de noodzaak van rijk visueel-semantisch begrip en de eisen van realtime verwerking door het probleem te herformuleren van een complexe besluitvorming per frame naar een efficiënt matching-probleem gebaseerd op vooraf gegenereerde visuele hypotheses.