Agentic Very Long Video Understanding

Dit paper introduceert EGAgent, een agentisch raamwerk dat entiteitsscène-graafgebruikt om zeer lange, continue egocentrische video's te analyseren en zo state-of-the-art prestaties te leveren op complexe longitudinale begrijpingsopdrachten.

De kern

Stel je voor dat je een bril draagt die de hele dag aan staat, zoals de Ray-Ban Meta-bril. Deze bril filmt alles wat je ziet en hoort: je ochtendkoffie, je werk, je wandeling in het park, en je avondeten. Na een week heb je duizenden uren aan video-opnames.

De vraag is: Hoe kun je als computer die week aan video's doorzoeken om een specifiek antwoord te vinden?

Stel, je vraagt: "Wie zat er gisteren naast me in de taxi, en hoe vaak heb ik die week water gedronken?"

Normale computers (zoals de huidige AI) raken hierdoor in de war. Ze kunnen niet zo lang "onthouden" en vergeten snel wie wie is. Ze kijken naar één klein stukje video en zeggen: "Ik zie een taxi, maar ik weet niet wie erin zat."

De auteurs van dit paper hebben een slimme oplossing bedacht, genaamd EGAgent. Hier is hoe het werkt, vertaald naar simpele taal met een paar creatieve vergelijkingen:

1. Het Probleem: De "Oneindige" Videoband

Stel je voor dat je een videoband hebt van 50 uur lang. Als je die band afspoelt om iets te vinden, duurt het eeuwen.

• Huidige AI: Probeer de hele band in één keer te "lezen". Dat is als proberen een heel bibliotheek in één seconde te lezen. Het lukt niet, of het resultaat is heel onnauwkeurig.
• Het doel: Een assistent die zich alles herinnert, net als een mens die na een week nog kan zeggen: "Oh ja, die dinsdag was ik met Shure in de taxi."

2. De Oplossing: De "Gedachtenkaarten" (Entity Scene Graphs)

In plaats van te proberen de hele video op te slaan, maakt EGAgent eerst een samenvatting van de verhaallijnen.

Stel je voor dat je een detective bent die een groot bord met prikkers en touwtjes maakt.

• De prikkers zijn de mensen, objecten en plekken (bijv. "Jake", "Taxi", "Koffiekop").
• De touwtjes zijn de relaties (bijv. "Jake praat met Shure", "Jake gebruikt de taxi").
• De tijd: Elk touwtje heeft een label met een tijdstip erbij.

Dit noemen ze een Entity Scene Graph. Het is geen saaie lijst, maar een levendig web van wie wat deed, met wie en op welk moment. Als je nu vraagt: "Wie zat er in de taxi?", hoeft de computer niet naar de video te kijken. Hij kijkt gewoon op zijn bord: "Ah, ik zie een touwtje tussen 'Jake' en 'Taxi' op dinsdag om 14:00, en daar hangt 'Shure' aan."

3. De Agent: De Slimme Detective

EGAgent is niet één robot, maar een team van specialisten die samenwerken, geleid door een Planner (de detective).

Wanneer je een vraag stelt, doet de planner het volgende:

1. Plannen: Hij beseft dat hij niet alles tegelijk kan doen. Hij breekt je vraag op in kleine stukjes.
   • Stap 1: Zoek uit wie er in de taxi zat.
   • Stap 2: Zoek uit wat er gezegd werd in de taxi.
   • Stap 3: Zoek uit of er nog iemand anders bij was.
2. Zoeken met drie gereedschappen:
   • Het Visuele Zoektoestel: Kijkt snel naar plaatjes om te zien of er een taxi te zien is.
   • Het Audio Zoektoestel: Luistert naar de transcriptie (wat er gezegd is) om namen te vinden.
   • Het "Gedachtenkaarten" Zoektoestel (De Graph): Dit is de krachtigste tool. Hij zoekt direct in het web van relaties. "Toon me alle touwtjes die 'Taxi' verbinden met een 'Persoon'."
3. Samenvoegen: De planner neemt alle stukjes informatie die hij gevonden heeft, plakt ze aan elkaar en geeft je het antwoord.

4. Waarom is dit zo goed?

Stel je voor dat je een boek leest.

• Huidige methoden proberen het hele boek uit hun hoofd te onthouden. Als het boek 1000 pagina's is, vergeten ze pagina 500.
• EGAgent maakt eerst een inhaltsopgave en een register van het boek. Als je vraagt: "Wat gebeurde er op pagina 500?", slaat hij direct op die pagina, in plaats van het hele boek te moeten lezen.

Dankzij deze "inhaltsopgave" (de Entity Graph) kan EGAgent vragen beantwoorden die heel moeilijk zijn voor andere AI's, zoals:

• "Hoe vaak heb ik deze week water gedronken?" (Het telt alle momenten in het web).
• "Wie was de enige persoon die ik elke dag sprak?" (Het vergelijkt de dagen in het web).

Conclusie

Deze paper introduceert een manier om AI te laten denken als een mens die een dagboek en een fotoalbum bijhoudt, in plaats van een robot die probeert alles in één keer te "swalmen". Door een slim netwerk van relaties (mensen, dingen, tijden) te bouwen, kan de AI vragen beantwoorden over weken aan video, alsof het er zelf bij was.

Het is alsof je van een trage, vergetelijke robot een scherpzinnige, onthoudende assistent maakt die precies weet wie er gisteren in de taxi zat.

Technische samenvatting

Titel: Agentic Very Long Video Understanding

Auteurs: Aniket Rege et al. (Reality Labs Research at Meta & University of Wisconsin-Madison)

---

1. Het Probleem

De opkomst van "altijd-aan" persoonlijke AI-assistenten, mogelijk gemaakt door draagbare apparaten zoals slimme brillen (bijv. Ray-Ban Meta), vereist een nieuw niveau van contextueel begrip. Bestaande systemen zijn beperkt tot korte, geïsoleerde gebeurtenissen en kunnen de continue, longitudinale stroom van egocentrisch video (video vanuit het perspectief van de gebruiker) over dagen of weken niet effectief analyseren.

De kernuitdagingen zijn:

• Contextvenster-beperkingen: Grootte taalmodellen (LLMs) en Vision Language Models (VLMs) kunnen niet de volledige inhoud van video's van tientallen uren in één keer verwerken.
• Gebrek aan samenhangend redeneren: Bestaande methoden (zoals Retrieval-Augmented Generation of RAG) verliezen vaak de relatie tussen entiteiten (mensen, objecten, locaties) over lange tijdsperiodes.
• Moeilijkheid bij multi-hop redeneren: Het beantwoorden van vragen die vereisen dat men patronen, gewoonten of interacties over meerdere dagen traceert (bijv. "Wie zat er deze week elke dinsdag naast mij?") is voor huidige systemen zeer moeilijk.
• Tijdslokaliseren: Het nauwkeurig lokaliseren van specifieke gebeurtenissen of herhaalde acties binnen een zeer lange video is inefficiënt met traditionele zoekmethoden.

2. Methodologie: EGAgent

De auteurs stellen EGAgent voor, een geavanceerd agentisch framework dat zich richt op het extraheren en benutten van een entiteitsscene-graph (entity scene graph) uit lange video's. Het systeem combineert gestructureerde zoekopdrachten met cross-modale redenering.

A. Entiteitsscene-graph Representatie

In plaats van alleen ongestructureerde tekst of frames te gebruiken, bouwt EGAgent een grafische structuur op:

• Knooppunten (Nodes): Vertegenwoordigen entiteiten zoals personen, objecten en locaties.
• Randen (Edges): Vertegenwoordigen relaties tussen entiteiten (bijv. TALKS_TO, USES, INTERACTS_WITH, MENTIONS).
• Temporele annotatie: Elke relatie is gelabeld met tijdsintervallen (start_t, end_t) wanneer deze relatie geldt. Dit maakt de grafiek "tijd-bewust" en stelt het systeem in staat om patronen over dagen te traceren.
• Opslag: De grafiek wordt opgeslagen in een SQLite-database, wat efficiënte SQL-query's mogelijk maakt.

B. Het Agentic Framework

EGAgent gebruikt een planning agent die complexe vragen deconstrueert in een reeks sub-taken. Deze agent gebruikt drie gespecialiseerde zoektools en een analyzer:

1. Visual Search Tool: Zoekt in een vectordatabase met visuele embeddings (gegenereerd door een visuele encoder zoals SigLIP 2) van frames (gesampled op 1 FPS). Het ondersteunt semantische zoekopdrachten en attribuutfilters.
2. Audio Transcript Search Tool: Zoekt in getranscribeerde spraak. Dit kan gebeuren via een LLM (hoge kwaliteit, hogere latentie) of via BM25 (lexicale zoekopdracht, sneller).
3. Entity Graph Search Tool: Voert SQL-query's uit op de entiteitsscene-graph. De agent gebruikt een "strict-to-relaxed" strategie: eerst wordt gezocht met exacte filters (tijd, entiteit, relatie); als dit niets oplevert, worden de filters stapsgewijs versoepeld (bijv. tijdsvenster verbreden, deels overeenkomstige namen toestaan) om de recall te maximaliseren.
4. Analyzer Tool: Een LLM die de opgehaalde data (uit de drie bronnen) analyseert, relevantie beoordeelt en bewijs verzamelt in een werkgeheugen (working memory).
5. VQA Agent: Genereert het definitieve antwoord op basis van de oorspronkelijke vraag en het geaccumuleerde bewijs in het werkgeheugen.

Het proces is iteratief: de planner deelt de vraag op, roept tools aan, analyseert resultaten, en herhaalt dit totdat voldoende informatie is verzameld voor het definitieve antwoord.

3. Belangrijkste Bijdragen

1. Entiteitsscene-graph voor lange video's: Een nieuwe representatie die entiteiten en hun relaties expliciet koppelt aan tijdsintervallen, waardoor gestructureerde, cross-modale redenering over zeer lange periodes mogelijk wordt.
2. Het EGAgent Framework: Een agentisch systeem dat de entiteitsscene-graph combineert met visuele en audio-zoektools. Dit overtreft eerdere state-of-the-art methoden aanzienlijk, vooral bij taken die multi-hop redeneren vereisen.
3. Empirische Validatie: Uitgebreide experimenten en ablatiestudies die aantonen dat de entiteitsscene-graph essentieel is voor het verbeteren van prestaties op taken zoals het traceren van relaties en gewoonten.

4. Resultaten

Het systeem is geëvalueerd op twee benchmarks: EgoLifeQA (50 uur egocentrische video over een week) en Video-MME (Long).

• EgoLifeQA:
  • EGAgent bereikt een nieuwe state-of-the-art met 57,5% nauwkeurigheid (met Gemini 2.5 Pro als backbone).
  • Dit is een verbetering van 20,6% ten opzichte van de vorige beste methode (EgoButler).
  • De grootste winst wordt geboekt bij de categorieën RelationMap (+32% t.o.v. SOTA) en TaskMaster (+39,7% t.o.v. SOTA), wat aantoont dat het systeem uitstekend is in het redeneren over complexe relaties en herhaalde patronen.
• Video-MME (Long):
  • EGAgent bereikt 74,1% nauwkeurigheid, wat concurrerend is met de beste bestaande methoden, terwijl het aanzienlijk minder frames verwerkt (meer dan 10x minder frames dan sommige concurrenten).
• Efficiëntie:
  • De entiteitsscene-graph is extreem lichtgewicht (bijv. ~2 MB voor 52 uur video), terwijl visuele databases veel groter zijn.
  • De zoekstrategie in de grafiek is sneller dan het doorzoeken van ruwe audio-transcripten, wat een goede afweging biedt tussen recall en latentie.

5. Betekenis en Conclusie

Deze paper markeert een belangrijke stap in de richting van echte, altijd-aan persoonlijke AI-assistenten. Door de beperkingen van contextvensters te omzeilen via een gestructureerde entiteitsscene-graph en een agentisch zoekmechanisme, kan EGAgent complexe vragen beantwoorden die diepgaand begrip van de levenservaring van een gebruiker over dagen of weken vereisen.

De belangrijkste inzichten zijn:

• Gestructureerde representaties zijn cruciaal: Voor zeer lange video's is het onvoldoende om alleen op ongestructureerde tekst of frames te vertrouwen; het expliciet modelleren van relaties en tijd is noodzakelijk voor robuust redeneren.
• Cross-modale integratie: Het succes van EGAgent komt voort uit het combineren van visuele, auditieve en relationele informatie via een agentische planning.
• Toekomstperspectief: Naarmate video's langer worden, biedt deze aanpak een schaalbare route voor het bouwen van AI-assistenten die niet alleen "zien" wat er gebeurt, maar ook begrijpen "wie" erbij betrokken is, "wanneer" het gebeurde en "hoe" het zich verhoudt tot andere gebeurtenissen in de tijd.