Technische Samenvatting: EGOMEMREASON

Probleemstelling

Visual assistants van de volgende generatie, waaronder slimme brillen en belichaamde agenten, moeten redeneren over continue visuele streams die hele dagen of weken beslaan. In ultra-lange video's is relevante informatie schaars verdeeld over uren of dagen, wat een fundamenteel geheugenvraagstuk creëert: modellen moeten informatie in de loop van de tijd accumuleren, eerdere toestanden terugroepen, de temporele volgorde bijhouden en terugkerende patronen abstraheren.

Bestaande benchmarks voor video's van een week (bijv. EgoLife, MM-Lifelong) richten zich voornamelijk op perceptie- en herkenningsopdrachten, zoals momentlocalisatie of globale samenvatting. Deze benchmarks vereisen doorgaans redeneren binnen korte temporele vensters (minder dan tien minuten) of vertrouwen op het terugvinden van een enkel moment. Ze slagen er niet in om de specifieke eisen van geheugengedreven redenering aan te pakken, waarbij het beantwoorden van een vraag het integreren van bewijs vereist dat over meerdere dagen is verspreid. Huidige modellen worstelen met het selectief accumuleren van informatie, het handhaven van temporele coherentie over lange horizonnen en het onderscheiden tussen schaarse, herhaalde waarnemingen.

Methodologie

Benchmarkontwerp: EGOMEMREASON

De auteurs introduceren EGOMEMREASON, een uitgebreide benchmark voor het begrijpen van weeklange egocentrische video's. De benchmark decomposeert lang-horizon geheugen in drie complementaire typen, elk gericht op verschillende redeneeroperaties:

1. Entiteitsgeheugen: Richt zich op het bijhouden van hoe objecttoestanden evolueren en veranderen over dagen.
   • Cumulatieve toestandsbijhouding: Het identificeren hoe de locatie of conditie van een object verandert over waarnemingen die uren of dagen uit elkaar liggen (bijv. een kom die van een aanrecht naar een gootsteen en vervolgens naar een tafel verplaatst).
   • Temporeel tellen: Het tellen van afzonderlijke instanties van een categorie die zijn waargenomen tot een specifieke query-tijdstempel, wat een globale inventaris van entiteitsinstanties vereist.
2. Gebeurtenisgeheugen: Richt zich op het terugroepen en ordenen van activiteiten die uren of dagen uit elkaar liggen.
   • Gebeurtenisordening: Het rangschikken van gebeurtenissen uit verschillende dagen in een correcte temporele volgorde.
   • Gebeurteniskoppeling: Het identificeren van een specifieke gebeurtenis die overeenkomt met contextuele beperkingen (locatie, activiteitstype) uit eerdere invoer, wat redeneren over lange intervallen vereist.
3. Gedragsgeheugen: Richt zich op het abstraheren van terugkerende patronen uit schaarse, herhaalde waarnemingen over de hele week.
   • Ruimtelijke voorkeursinferentie: Het afleiden van gewoontegebonden associaties, zoals waar een persoon doorgaans een activiteit uitvoert.
   • Activiteitspatrooninferentie: Het voorspellen van waarschijnlijke volgende toestanden op basis van geleerde gedragspatronen (bijv. wat er na de lunch gebeurt).

Constructiepiplijn

De benchmark is opgebouwd met een viertrapspiplijn gebaseerd op de EgoLife-dataset (weeklange, continue egocentrische opnames):

1. Bewijsvoorbereiding: Ruwe video's worden opgesplitst in 30-secondenclips en verwerkt door een krachtige MLLM (GPT-5) om dichte, objectgerichte bijschriften en hiërarchische gebeurtenisoverzichten te genereren (met granulariteiten van 3 minuten, 2 uur en dagniveau).
2. Querygeneratie: Opdrachtspecifieke generators (met GPT-5.2) maken meerkeuzevragen die beperkt zijn tot een specifieke query-tijdstempel, zodat alleen waarnemingen uit het verleden toegankelijk zijn. Distractors worden gegenereerd uit vergelijkbare contexten om niet-triviale moeilijkheid te waarborgen.
3. Automatische filtering: Kandidaten ondergaan "blinde tests" (antwoorden zonder visuele invoer) om gevallen met tekstlekken te verwijderen en worden geverifieerd op temporele verankering (zorgend dat bewijs bestaat vóór het query-tijdstip).
4. Menselijke verificatie: Annotatoren beoordelen vragen tegen de context op het query-tijdstip en bewijsclips, waarbij ze duidelijkheid, antwoordcorrectheid en optie-kwaliteit beoordelen. Slechts ongeveer 15% van de initiële kandidaten overleeft dit rigoureuze proces.

Het uiteindelijke dataset bestaat uit 500 vragen verdeeld over de drie geheugentypen en zes kernuitdagingen. Gemiddeld vereist elke vraag het aggregeren van 5,1 verschillende videosegmenten en het terugzoeken door 25,9 uur videoduur.

Evaluatieopzet

De auteurs evalueerden 17 systemen over drie paradigma's:

• Algemeen toepasbare MLLM's: (bijv. Qwen-3-VL, InternVL3.5, GPT-5, Gemini-3-Flash/Pro).
• Videospecifieke MLLM's: (bijv. LongVA, InternVideo-2.5, VideoLLaMA3, Molmo2).
• Agentische videoframeworks: (bijv. SiLVR, Ego-R1, WorldMM, AVP).

Evaluatiemetrics omvatten nauwkeurigheid over de zes capaciteitsdimensies en algehele prestaties.

Belangrijkste Resultaten

Algemene Prestaties

Redeneren over lang-horizon geheugen blijft een aanzienlijke open uitdaging. Zelfs het best presterende model, Gemini-3-Flash, behaalde slechts 39,6% algehele nauwkeurigheid. Geen enkel model bereikte 51% nauwkeurigheid op een enkele capaciteitsdimensie.

Specifieke Bottlenecks per Geheugentype

De analyse toont aan dat de drie geheugentypen om fundamenteel verschillende redenen falen, wat aangeeft dat het alleen vergroten van de modelgrootte onvoldoende is:

• Entiteitsgeheugen: Geblokkeerd door fijnkorrelige visuele verankering gecombineerd met lang-context modeling. Modellen die zwaar vertrouwen op tekstgeredeneerde redenering (bijv. LongVA) presteerden slecht (<25% op Temporeel tellen), terwijl modellen met pixel-niveau verankering voorpretraining (bijv. Molmo2-8B) superieure prestaties lieten zien.
• Gebeurtenisgeheugen: Geblokkeerd door langafstands temporele coherentie. Zelfs topmodellen hadden moeite om gebeurtenissen die dagen uit elkaar liggen te ordenen of te koppelen, waarbij de nauwkeurigheid sterk daalde naarmate het temporele span toenam. Dit staat in contrast met hoge prestaties op het terugvinden van enkele gebeurtenissen in eerdere benchmarks.
• Gedragsgeheugen: Geblokkeerd door abstractie over schaarse herhaalde bewijslast. Modellen hadden moeite om terugkerende patronen te onderscheiden van ruis, en neigden vaak naar stereotypen in plaats van waargenomen frequenties te aggregeren.

Ablatiestudies

• Temporele certificatie: De nauwkeurigheid neemt monotoon af naarmate het bewijsspan (temporele certificatie) toeneemt. Gebeurtenisgeheugen toonde de scherpste daling.
• Auxiliaire invoer: Het toevoegen van transcripten of bijschriften leverde marginale of negatieve voordelen op. Bijschriften fragmenteerden vaak de temporele continuïteit, terwijl transcripten slechts kleine winsten opleverden voor gedragsgeheugen.
• Framebemonstering: Het verhogen van het aantal bemonsterde frames verbeterde het Entiteitsgeheugen tot een verzadigingspunt (~256 frames), maar loste geen bottlenecks op in Gebeurtenis- of Gedragsgeheugen, wat suggereert dat het probleem ligt in geheugenopslag- en ophaalmechanismen in plaats van visuele dekking.
• Promptingstrategieën: Chain-of-Thought (CoT) prompting verslechterde de prestaties, wat suggereert dat expliciete stap-voor-stap redenering fouten versterkt in geheugenintensieve taken.

Betekenis en Claims

Het artikel beweert dat EGOMEMREASON een sterke basis legt voor het evalueren en doorontwikkelen van multimodale systemen met lang-context en geheugenbewustzijn. De belangrijkste bijdragen zijn:

1. Hedefherdefiniëring van de benchmark: Het gaat verder dan evaluatie gericht op terugvinden (het lokaliseren van enkele relevante momenten) en vereist aggregatie, relationeel en inductief redeneren over bewijs dat over dagen is verspreid.
2. Gestructureerde geheugendiagnose: Door geheugen te decomponeren in entiteits-, gebeurtenis- en gedragssoorten, biedt de benchmark een diagnostisch raamwerk dat verschillende faalmodi blootlegt en toekomstig onderzoek richt op specifieke capaciteiten (bijv. perceptuele precisie voor entiteiten, gestructureerde temporele modellering voor gebeurtenissen).
3. Benadrukken van de kloof: De resultaten tonen aan dat huidige state-of-the-art MLLM's en agentische frameworks ver verwijderd zijn van het oplossen van lang-horizon geheugengedreven redenering, waarbij de prestaties aanzienlijk verslechteren naarmate de temporele horizonnen uitbreiden.

De auteurs concluderen dat vooruitgang vereist dat er vooruitgang wordt geboekt op drie orthogonale assen: perceptuele precisie met lang-context retentie, gestructureerde temporele modellering en op aggregatie gebaseerd redeneren, in plaats van simpelweg het schalen van modelparameters of invoerlengtes.