EventMemAgent: Hierarchical Event-Centric Memory for Online Video Understanding with Adaptive Tool Use

Each language version is independently generated for its own context, not a direct translation.

Stel je voor dat je een onophoudelijke stroom van beelden voor je ogen hebt, alsof je een onbeperkte video bekijkt die nooit stopt. Nu, stel je voor dat je hersenen (of in dit geval een slimme computer) een beperkt geheugen hebben. Ze kunnen niet alles tegelijk onthouden. Als je ze vraagt: "Wat gebeurde er precies 10 minuten geleden?", raken ze in de war omdat ze de oude beelden al hebben weggegooid om ruimte te maken voor de nieuwe.

Dit is het grote probleem waar EventMemAgent voor oplost. Hier is hoe het werkt, vertaald naar een eenvoudig verhaal:

1. Het Probleem: De "Onthoudende" Computer

Normale slimme computers (die video's begrijpen) werken als iemand die een heel boek probeert te onthouden, maar alleen de laatste paar pagina's in hun hoofd kan houden. Zodra je verder leest, vergeten ze wat er eerder gebeurde. Als de video heel lang duurt, raken ze de draad kwijt. Ze proberen vaak alles tegelijk te onthouden, wat leidt tot een rommelig en onvolledig beeld.

2. De Oplossing: De Slimme Boekhouder

EventMemAgent is als een super-georganiseerde boekhouder die niet naar losse bladzijden kijkt, maar naar gebeurtenissen.

Stel je voor dat je een dagboek bijhoudt. In plaats van elke seconde van je dag op te schrijven (wat veel papier zou kosten), schrijf je alleen de belangrijke momenten op:

Gebeurtenis 1: "Ik heb koffie gezet."
Gebeurtenis 2: "Ik heb mijn sleutels verloren."
Gebeurtenis 3: "Ik heb een hond gezien."

EventMemAgent doet precies dit met video's:

Korte termijn geheugen (De Werktafel): Het houdt een klein, vast aantal beelden vast (zoals een werktafel). Maar in plaats van willekeurige beelden, groepeert het ze in logische stukjes (gebeurtenissen). Als er niets nieuws gebeurt (bijvoorbeeld een persoon staat stil), slaat het niet elke seconde op, maar gebruikt het een slimme truc om alleen de belangrijkste momenten te bewaren.
Lange termijn geheugen (De Archiefkast): Zodra een "gebeurtenis" klaar is (bijvoorbeeld het koffiezetten is gedaan), wordt het niet weggegooid. Het wordt netjes opgeborgen in een archief. Dit archief bevat niet alleen de beelden, maar ook een samenvatting in mensentaal ("Iemand zette koffie") en een logboek van wat er veranderde.

3. De Actieve Agent: De Detective met Gereedschap

Het slimme aan dit systeem is dat het niet passief wacht tot je iets vraagt. Het is als een detective die actief op zoek gaat naar bewijs.

Stel je vraagt: "Hoe vaak brak die persoon iets?"

De oude manier: Kijkt naar de huidige beelden en hoopt dat het antwoord daar staat. Als het antwoord ergens anders in de video zat, faalt hij.
EventMemAgent (De Detective):
1. Denkt na: "Ik zie nu niets breken. Maar de vraag gaat over het verleden."
2. Zoekt in het archief: Het opent zijn archief (het lange termijn geheugen) en zoekt naar gebeurtenissen met het woord "breken".
3. Gebruikt gereedschap: Als het archief niet genoeg details heeft, pakt het zijn gereedschapskist. Het kan bijvoorbeeld een bril (objectherkenning) gebruiken om heel precies te kijken of er iets kapot is, of een leesbril (tekstherkenning) om te lezen wat er op een bordje staat.
4. Loopt rond: Het kan terug in de tijd springen om specifieke momenten opnieuw te bekijken, precies zoals een detective die een bewijsstuk uit het archief haalt om het te bestuderen.

4. Het Leren: Van Leerling tot Meester

Aan het begin was de computer nog een beetje slordig. Hij wist niet altijd welk gereedschap hij moest gebruiken of wanneer hij moest zoeken.
De onderzoekers hebben de computer getraind met een speciale methode (vergelijkbaar met het belonen van een hond als hij de juiste truc doet). Na veel oefening heeft de computer "geleerd" om zelfstandig te beslissen:

"Moet ik nu in het archief zoeken?"
"Moet ik nu een close-up maken van dit object?"
"Moet ik de vraag opnieuw lezen?"

Waarom is dit belangrijk?

Vroeger moesten computers kiezen: ofwel heel veel video's bekijken (en dan vergeten ze details), ofwel heel weinig bekijken (en dan missen ze het grote plaatje).

EventMemAgent is de eerste die beide kan:

Het kan oneindig lang meegaan (zoals een onbeperkt video-archief).
Het onthoudt de details van elk belangrijk moment (zoals een goed geheugen).
Het is slim genoeg om zelf te beslissen waar het moet kijken, zonder dat een mens elke stap moet uitleggen.

Kortom: Het is alsof je een persoonlijke assistent hebt die niet alleen naar een video kijkt, maar die de hele video in zijn hoofd heeft, die weet waar de interessante stukjes zitten, en die voor je kan opzoeken, vergroten en analyseren als je een vraag stelt. En dat allemaal terwijl hij maar een klein beetje geheugen gebruikt!

Each language version is independently generated for its own context, not a direct translation.

Probleemstelling

Online videoverstaan vereist dat modellen continue waarneming en langetermijnsredenering uitvoeren binnen potentieel oneindige visuele stromen. De fundamentele uitdaging ligt in het conflict tussen de onbegrensde aard van streaming mediainvoer en het beperkte contextvenster van Multimodale Grootte Taalmodellen (MLLMs).

Bestaande methoden vertrouwen voornamelijk op passieve verwerking, wat leidt tot een afweging tussen het behoud van langetermijncontext en het vastleggen van fijne details:

Token-beheer binnen het venster: Methoden zoals token-pruning of schuifvensters leiden tot verval en verlies van historische informatie naarmate de video vordert.
Externe geheugens: Het opslaan van visuele tokens in extern geheugen en het handmatig ophalen op basis van gelijkenis tijdens inferentie introduceert aanzienlijke overhead en mist semantische interpreteerbaarheid voor complex redeneren.
Passieve waarneming: Het verwerken van een groot aantal visuele tokens in één keer resulteert vaak in onnauwkeurige begrip van fijne details.

Er is behoefte aan een verschuiving van passieve informatieverwerking naar een actief agent-achtig kader dat taken kan decomponeren en actief relevante informatie kan ophalen.

Methodologie: EventMemAgent

EventMemAgent is een actief online video-agentkader dat drie kerncomponenten integreert om dit probleem op te lossen:

1. Hiërarchisch Geheugenmodule (Event-Centric)

Om de oneindige videostream te beheren binnen een vast contextvenster, introduceert het model een tweelaags strategie:

Kortetermijngeheugen (STM):
- Functies als een vaste buffer met een maximale capaciteit van $K$ frames.
- Online Event-segmentatie: In plaats van een vlakke frame-volgorde, wordt de STM gestructureerd als een verzameling semantisch coherente gebeurtenissen. Een nieuwe frame wordt vergeleken met de huidige gebeurtenis (via gescorrelleerde grijswaarde-histogrammen). Als de consistentie onder een drempelwaarde ( $\delta$ ) daalt, wordt een nieuwe gebeurtenis gestart.
- Reservoir Sampling: Binnen een actieve gebeurtenis wordt reservoir sampling toegepast om informatieve redundantie te verminderen. Als de buffer vol raakt, worden frames met een bepaalde waarschijnlijkheid vervangen, zodat de buffer een onbevooroordeelde representatie blijft van de gebeurtenis, ongeacht de duur.
Langetermijngeheugen (LTM):
- Wanneer een gebeurtenis de STM verlaat, wordt deze gestructureerd gearchiveerd als een tuple: $\{I_{first}, c, e, \Delta\}$ .
- Dit bevat het eerste frame als visuele anker ( $I_{first}$ ), een natuurlijke taal beschrijving ( $c$ ) gegenereerd door een MLLM, een semantische embedding ( $e$ ) voor zoekopdrachten, en een Change Log ( $\Delta$ ) die staatovergangen en logische verschuivingen tussen opeenvolgende gebeurtenissen vastlegt.

2. Multi-granulaire Waarnemings Toolkit

Het agent beschikt over een gereedschapskist voor actieve, iteratieve bewijsopname:

Geheugenzoekopdracht: Zoekt in het LTM via tijdsbereiken (temporeel) of semantische gelijkenis.
Specifieke waarnemingstools: Het agent kan zelfstandig besluiten om OCR (voor tekst) of Object Detection (voor specifieke entiteiten) toe te passen op visuele ankers in het LTM of specifieke frames in de STM.
Dit stelt het model in staat om fijnmazige details actief op te halen in plaats van ze passief te verwachten.

3. Agentic Reinforcement Learning (Agentic RL)

Om redeneerpaden en tool-gebruikstrategieën in de intrinsieke capaciteiten van het agent te internaliseren, wordt Group Relative Policy Optimization (GRPO) gebruikt.

Het agent volgt een ReAct-paradigma (Thought, Action, Observation).
De beloning is gebaseerd op de correctheid van het uiteindelijke antwoord.
Door end-to-end training leert het agent wanneer en hoe het tools moet gebruiken om de beste resultaten te behalen, in plaats van afhankelijk te zijn van handmatige prompt-engineering.

Belangrijkste Bijdragen

EventMemAgent Framework: Een actief agentkader dat taken decomponeert en iteratief relevante informatie waarnemt, waardoor het de beperkingen van passieve verwerking overbrugt.
Hiërarchisch Geheugen: Een innovatieve architectuur die online gebeurtenissegmentatie combineert met reservoir sampling in de STM en gestructureerde, gebeurtenisgerichte tuples in de LTM. Dit maximaliseert de semantische continuïteit en vermindert redundantie.
Agentic RL Integratie: Het internaliseren van redeneer- en tool-gebruikstrategieën via versterkingslearning, waardoor het agent autonoom en adaptief kan opereren.
Efficiëntie: Het model bereikt sterke resultaten met slechts een beperkt aantal inputframes (maximaal 32), wat bewijst dat het oneindige streams kan verwerken binnen vaste hardwarebeperkingen.

Resultaten

Het model is geëvalueerd op twee toonaangevende benchmarks: OVO-Bench en StreamingBench.

OVO-Bench: EventMemAgent (8B parameters, $\le$ 32 frames) bereikte een gemiddelde nauwkeurigheid van 60,75%. Dit is een verbetering ten opzichte van alle bestaande open-source modellen en zelfs beter dan het gesloten model GPT-4o (59,54%). Het presteerde vooral sterk in "Real-Time Visual Perception" (+4,27% ten opzichte van de beste open-source concurrent) en "Forward Active Responding".
StreamingBench: Het model behaalde een score van 77,00%, wat het een van de beste prestaties maakt in real-time videoverstaan, zelfs met een beperkt aantal frames.
Ablatie-studies:
- Het verwijderen van het hiërarchische geheugen ten gunste van een vaste lengte-segmentatie leidde tot een prestatiedaling, wat de superioriteit van de gebeurtenisgerichte aanpak bevestigt.
- Het verwijderen van tools (OCR, Object Detection) resulteerde in significante dalingen, wat aantoont dat speciale tools essentieel zijn voor fijne details.
- Vergelijkingen met een niet-getraind agent tonen aan dat Agentic RL essentieel is voor het flexibel en strategisch gebruiken van tools (bijv. het correct zoeken in het geheugen voor historische vragen).

Betekenis en Impact

EventMemAgent vertegenwoordigt een paradigmaverschuiving in online videoverstaan. In plaats van te proberen oneindige data in een klein venster te persen via passieve compressie, introduceert het een actieve, agent-achtige benadering.

Semantische Continuïteit: Door te werken op basis van gebeurtenissen in plaats van vaste tijdsintervallen, behoudt het model de logische flow van video's.
Autonomie: Het internaliseren van tool-gebruik via RL maakt het mogelijk voor modellen om zelfstandig te beslissen welke informatie ze nodig hebben, wat cruciaal is voor complexe taken zoals robotica, autonoom rijden en intelligente surveillance.
Efficiëntie: Het bewijst dat hoge prestaties haalbaar zijn zonder enorme rekenkracht of het verwerken van volledige video's, wat de weg vrijmaakt voor schaalbare, real-time toepassingen.

De code is open-source beschikbaar gesteld, wat verdere onderzoek naar autonome agenten voor continue waarneming in dynamische visuele omgevingen zal stimuleren.