VideoARM: Agentic Reasoning over Hierarchical Memory for Long-Form Video Understanding

1. Het Probleem

Het begrijpen van lange video's (long-form video understanding) blijft een grote uitdaging voor multimodale intelligentie. Deze video's (zoals documentaires, lezingen of films) bevatten dicht gestructureerde informatie die zich over lange tijdsperiodes ontvouwt. Bestaande methoden hebben twee belangrijke beperkingen:

• Handgemaakte pijplijnen: Methoden zoals VideoTree vertrouwen op statische, vooraf ontworpen reasoning-pijplijnen die de autonomie van het model beperken en de voordelen van sterkere basis-LLMs/MLLMs niet volledig benutten.
• Token-inefficiëntie en redundantie: Methoden zoals DVD (Deep Video Discovery) bouwen een statische database door de video vooraf in clips op te splitsen en elke clip te analyseren. Dit is extreem token-gebruikend (kostbaar) en introduceert veel irrelevante informatie die niets met de specifieke vraag te maken heeft. Bovendien kan deze database niet dynamisch worden bijgewerkt tijdens het redeneerproces.

2. Methodologie: VideoARM

VideoARM introduceert een nieuw paradigma: Agentic Reasoning-over-hierarchical-Memory. In plaats van statische preprocessing, voert VideoARM een adaptieve, "on-the-fly" agentische redeneercyclus uit die bestaat uit waarnemen, denken, handelen en memoriseren.

De architectuur bestaat uit twee kerncomponenten:

A. Hiërarchische Multimodale Geheugen (HM3)

Het geheugen is dynamisch opgebouwd en evolueert tijdens de uitvoering van de agent. Het is onderverdeeld in drie niveaus:

1. Sensory Memory: Bevat een Long-term Perception Pool (voor het huidige tijdsinterval dat wordt verwerkt) en een Short-term Perception Pool (voor fijnmazige clips tijdens lokale exploratie). Dit dient als een vluchtige buffer voor directe waarneming.
2. Result Memory: Een dynamische werkruimte die tussenresultaten opslaat, zoals geanalyseerde frame-intervallen en tool-outputs. Dit stelt de controller in staat om terug te kijken op eerdere redeneerstappen en redundantie te vermijden.
3. Working Memory: Hier worden de redeneersporen en intenties van de controller opgeslagen voordat een tool wordt aangeroepen. Dit verlaagt de contextbelasting van het MLLM en zorgt voor een auditabel historisch overzicht.

B. Coarse-to-Fine Video Reasoning Agent

De agent gebruikt een controller die adaptief tools aanroept op basis van het in HM3 opgeslagen bewijs. Er zijn twee complementaire toolsets:

• Temporal Scoping Tools:
  • Interval Localizer: Identificeert de meest relevante tijdsintervallen in de video en past de sample-dichtheid aan, waardoor de focus van de agent wordt ingeperkt tot query-gerelateerde segmenten.
  • Clip Explorer: Voert fijne, proefondervindelijke exploratie uit binnen lokale intervallen zonder de globale focus te veranderen.
• Multimodal Understanding Tools:
  • Scene Snapper: Samenvat lange tijdssegmenten in beknopte bijschriften (captions) voor hoog-niveau semantisch redeneren.
  • Audio Transcriber: Gebruikt Whisper om audio te transcriberen wanneer visuele aanwijzingen onvoldoende zijn.
  • Clip Analyzer: Analyseert fijnmazige lokale details en geeft antwoorden op sub-vragen met een betrouwbaarheidsscore.

De controller volgt een Observe-Think-Act-Memorize cyclus. Hij observeert de huidige context in HM3, bedenkt een plan, roept de juiste tool aan, en slaat het resultaat op in het geheugen. Dit proces herhaalt zich totdat het antwoord betrouwbaar is of een stappenbudget is bereikt.

3. Belangrijkste Bijdragen

• Adaptieve Redenering: In tegenstelling tot statische databases, bouwt VideoARM kennis dynamisch op tijdens het redeneren, wat leidt tot een drastische reductie in token-gebruik.
• Hiërarchisch Geheugen (HM3): Een innovatieve structuur die perceptie, tussenresultaten en redeneersporen gescheiden maar geïntegreerd opslaat, waardoor de agent contextueel bewust kan beslissen.
• Tool-gebaseerde Coarse-to-Fine Strategie: De combinatie van tools voor tijdsafbakening en semantische analyse stelt het model in staat om van een breed overzicht naar specifieke details te gaan, afhankelijk van de vraag.
• State-of-the-Art Prestaties zonder Fine-tuning: Het model bereikt topprestaties op diverse benchmarks zonder extra training, puur door het slim gebruik van bestaande MLLM's en tools.

4. Resultaten

VideoARM is geëvalueerd op prominente benchmarks: Video-MME, LongVideoBench, en EgoSchema.

• Prestaties: VideoARM overtreft de huidige state-of-the-art methode (DVD) en andere gespecialiseerde VLM's op alle benchmarks. Bijvoorbeeld, op Video-MME (zonder ondertitels) behaalde VideoARM een score van 80.1% (met GPT-4.1) en 82.8% (met GPT-4o), vergeleken met 71.6% voor DVD.
• Token-efficiëntie: Dit is het meest opvallende resultaat. Voor een 30-minuten durende video verbruikt DVD naar schatting 3,98 miljoen tokens (alleen voor visuele verwerking), terwijl VideoARM slechts 0,08 miljoen tokens verbruikt. In experimenten met 10 video's en 30 vragen verbruikte VideoARM slechts 1/34e van de tokens die DVD nodig had.
• Ablatie-studies: Deze bevestigen dat alle componenten (zoals het Audio Transcriber en de Hiërarchische Geheugenlagen) essentieel zijn voor de prestaties. Het gebruik van een adaptieve sample-strategie werkt beter dan vaste sample-rates.

5. Betekenis en Conclusie

VideoARM markeert een verschuiving in het veld van video-analyse van exhaustieve, statische verwerking naar adaptieve, agentische redenering.

• Efficiëntie: Het bewijst dat lange video's begrepen kunnen worden met een fractie van de rekenkracht en kosten, wat cruciaal is voor de schaalbaarheid van multimodale AI.
• Autonomie: Het model toont aan dat MLLM's autonoom kunnen plannen en tools kunnen gebruiken om complexe vragen te beantwoorden zonder menselijke tussenkomst of vooraf gedefinieerde regels.
• Toekomstperspectief: Hoewel het huidige systeem nog afhankelijk is van gesloten bron-modellen (zoals OpenAI's o3/GPT-4o), biedt het een blauwdruk voor toekomstige, volledig open-source systemen die even efficiënt en krachtig kunnen zijn.

Kortom, VideoARM lost het dilemma op tussen diepgaand begrip van lange video's en de hoge kosten van token-gebruik, door slimme, adaptieve redenering te combineren met een gestructureerd, hiërarchisch geheugen.