Visual Agentic Memory: Enabling Online Long Video Understanding via Online Indexing, Hierarchical Memory, and Agentic Retrieval

Technische Samenvatting: Visuele Agente Geheugen (VAM)

Probleemstelling
Het begrijpen van lange video's staat voor een fundamentele uitdaging: hoewel het vastleggen van video met hoge bandbreedte praktisch haalbaar is, blijft het moeilijk om onbeperkte streams om te zetten in een stabiel, opvraagbaar en verifieerbaar geheugensubstraat. Bestaande paradigma's lijden onder specifieke beperkingen. Directe modellen voor lange context zijn kwetsbaar voor verdunning van de aandacht naarmate de videoduur toeneemt. Gecomprimeerde geheugenschema's verbeteren de hanteerbaarheid, maar gooien vaak fijne visuele bewijzen weg, wat leidt tot een "instorting van de herstelbaarheid" waarbij de semantische kern behouden blijft maar het ruwe bewijsmateriaal nodig voor verificatie verloren gaat. Recursieve agentische benaderingen kunnen geheugendrift opbouwen wanneer tussenliggende redeneringen niet kunnen worden gecontroleerd tegen bewaarde waarnemingen. Bovendien comprimeren online-afgestemde ontwerpen vaak te agressief, terwijl ontwerpen voor lange afstanden afhankelijk zijn van kostbare offline voorverwerking. Het kernprobleem is hoe een archief dat zich uitstrekt over uren of dagen kan worden onderhouden dat zoekbaar, auditabel en bruikbaar blijft voor downstream-redenering, zonder uitsluitend te vertrouwen op gecomprimeerde latente toestanden.

Methodologie: Visuele Agente Geheugen (VAM)
De auteurs stellen Visuele Agente Geheugen (VAM) voor, een trainingsvrij raamwerk dat is ontworpen om ruwe videostralen om te zetten in zoekbaar geheugen op lange termijn, waarbij originele frames worden bewaard als eersteklas bewijs. Het systeem ontkoppelt continue indexering van redenering op het moment van de vraag en werkt via drie gekoppelde componenten:

1. Online Indexering: Deze component filtert binnenkomende frames onder streamingbeperkingen om visueel significante overgangen te behouden. Het maakt gebruik van een proces in drie fasen:

   • Framefiltering: Verwijdert onscherpe frames (via Laplacian-variatie) en visueel redundante frames (via pre-embeddingsimilariteitscontroles) voordat dure neurale verwerking plaatsvindt.
   • Embedding-extractie: Behouden frames worden gecodeerd in dichte embeddings met behulp van een vooraf getraind multimodaal model.
   • Behoud van grenzen bij vastlegging: Het systeem gebruikt een adaptieve deduplicatiepoort op basis van Otsu-partitionering van embedding-afstanden om te beslissen wanneer een "moment" moet worden vastgelegd (een bewaard frame met metadata). Dit zorgt ervoor dat overgangen worden behouden terwijl quasi-statische intervallen worden samengeperst.

2. Hiërarchisch Geheugen: Behouden momenten worden georganiseerd in "evenementen" via een parallelle temporeel-ruimtelijke representatie.

   • Ruimtelijke representatie: Bewaart behouden ruwe frames en hun embeddings voor directe visuele inspectie.
   • Temporele representatie: Bewaart evenementensamenvattingen gegenereerd door een MLLM uit de temporeel begrenste bewijzen. Deze samenvattingen vangen opvallende activiteiten, entiteiten en temporele aanwijzingen op.
   • Leeftijdsbewuste opslag: Het systeem beheert opslagniveaus (recent, midden, lang) waarbij oudere segmenten worden geconsolideerd tot compacte aanwijzingen, terwijl recente vensters dichte payloads behouden. Dit stelt het systeem in staat om te schalen naar streams van een maand lang (bijv. 51 dagen) door slechts een fractie van de ruwe frames op te slaan.

3. Agentische Opvraging: Op het moment van de vraag fungeert een MLLM als een opvragende agent die werkt in een begrensd meertrapslus. Het volgt een "observeren–hypotheseren–inspecteren"-paradigma:

   • Hybride opvraging: De agent zoekt zowel in het temporele pad (evenementensamenvattingen) als in het ruimtelijke pad (frame-embeddings) om kandidaatbewijzen te lokaliseren.
   • Gegronde inspectie: Opgehaalde kandidaten zijn voorlopig. De agent roept een inspect-actie aan om directe visuele verificatie uit te voeren op ruwe frames, om ambiguïteiten op te lossen en conflicten tussen opvragingssignalen te beslechten.
   • Antwoordsynthese: De agent stopt alleen wanneer voldoende gegronde bewijzen zijn gevonden, en produceert een antwoord dat verankerd is in specifieke, herstelbare visuele intervallen en dat het bewijs citeert.

Belangrijkste Bijdragen

1. Formulering: Het artikel herformuleert online begrijpen van lange video's als een visueel geheugenprobleem dat bewijs herstelbaar maakt, en verschuift de focus van het uitsluitend uitbreiden van contextvensters naar het creëren van zoekbaar en inspecteerbaar geheugen.
2. Raamwerk: VAM wordt geïntroduceerd als een trainingsvrij, opvragingsgericht raamwerk dat geleidelijk geheugen opbouwt uit streamingvideo, waarbij indexering wordt ontkoppeld van redenering.
3. Representatie: Een hiërarchische parallelle temporeel-ruimtelijke representatie wordt voorgesteld, die samenvattingen op evenementenniveau afstemt op behouden ruwe frames om zowel efficiënte tijdslijnzoekopdrachten als directe visuele verificatie te ondersteunen.
4. Empirische Validatie: Het raamwerk toont verbeterde prestaties in online en op lange termijn ingestelde scenario's terwijl het een minimale fractie van de ruwe data opslaat.

Resultaten
De auteurs evalueren VAM op twee benchmarks:

• OVO-Bench (Online Evaluatie): VAM bereikt het hoogste RT+BT (Real-Time + Backward Tracing) gemiddelde van 68,41 over alle gerapporteerde baselines. Dit presteert beter dan het end-to-end gebruik van hetzelfde onderliggende MLLM (Gemini 3 Flash), dat 67,46 scoort, wat aangeeft dat de architectonische componenten (indexering, geheugen, opvraging) een systematisch voordeel bieden boven alleen modelcapaciteit.
• MM-Lifelong (Evaluatie op lange termijn): Op de maand-schaalverdeling (105,6 uur over 51 dagen) bereikt VAM 17,11% nauwkeurigheid. Dit is het op één na hoogste gerapporteerde resultaat, slechts achter ReMA met GPT-5 (17,62%) en significant beter dan end-to-end MLLM-baselines.
• Efficiëntie: In de run op maand-schaal slaat VAM slechts 6.876 frames op (0,06% van de ruwe 11,4 miljoen frames), wat een reductie van 27,7x tot 55,3x vertegenwoordigt ten opzichte van baselines met uniforme vaste-snelheidstechniek.

Betekenis en Beweringen
Het artikel beweert dat het begrijpen van video op lange termijn baat heeft bij het behandelen van visueel geheugen als een expliciet, inspecteerbaar en opvraagbaar substraat, in plaats van uitsluitend te vertrouwen op gecomprimeerde latente toestanden. Door ruwe frames te behouden als eersteklas bewijs, stelt VAM gegronde redenering mogelijk waarbij antwoorden kunnen worden geverifieerd tegen originele waarnemingen. De resultaten suggereren dat expliciet bewijsbehoud en agentische opvraging de prestatiekloof in het begrijpen van video op maand-schaal effectiever kunnen verkleinen dan het simpelweg vergroten van contextvensters of het vertrouwen op recursieve redenering zonder bewijsbehoud. De auteurs merken op dat hoewel de kloof tussen mens en model groot blijft (82,5% versus 17,11% op MM-Lifelong), de bewijsbehoudende aanpak van VAM een effectievere weg biedt naar het oplossen van deze uitdaging dan huidige alternatieven.

De auteurs erkennen ook beperkingen, waaronder modaliteitsasymmetrie (geen bewaring van audio), de toenemende moeilijkheid van fijne disambiguatie naarmate archieven groeien, en de operationele kosten die gepaard gaan met continue indexering en iteratieve inspectie. Zij benadrukken dat toekomstige implementaties privacykwesties moeten aanpakken met betrekking tot het bewaren van ruw visueel bewijs.