Technische Samenvatting: EGOSTREAM

Probleemstelling

Autonome agenten die opereren in dynamische, real-world omgevingen vereisen continu episodisch geheugen om gebeurtenissen over variërende temporele horizonten op te slaan en op te roepen. Hoewel egocentrische visie een natuurlijke testomgeving biedt voor het bestuderen van deze capaciteit—het vastleggen van de eerste-persoonservaring terwijl deze zich ontvouwt—schieten huidige evaluatiemethoden tekort in het diagnosticeren van specifieke geheugenfouten. Bestaande offline Video Question Answering (VideoQA) benchmarks falen vaak in het isoleren van geheugen als een meetbare variabele, omdat ze zelden de temporele afstand tussen bewijsvoering en query controleren. Bovendien maken ze geen onderscheid tussen echt modelvergeten en de natuurlijke ongeldigheid van antwoorden door de evolutie van de scène. Recente streaming benchmarks richten zich op geaggregeerde responsiviteit of nauwkeurigheid, waardoor kwalitatieve trade-offs van verschillende geheugenbeheerarchitecturen worden gemaskeerd. Bijgevolg kunnen modellen met zeer verschillende geheugenprofielen (bijv. één die de grove essentie van gebeurtenissen bewaart maar objectlocaties vergeet, een andere die korte-termijn ruimtelijke details behoudt maar faalt in langetermijn causale herinnering) vergelijkbare scores behalen, wat het diagnosticeren van welke vormen van episodische informatie als eerste degraderen bemoeilijkt.

Methodologie

De auteurs introduceren EGOSTREAM, een diagnostische benchmark en een verenigd evaluatiekader ontworpen om streaming episodisch geheugen in egocentrische visie te beoordelen.

1. De EGOSTREAM Benchmark

• Data Curatie: De benchmark aggregeert 2.250 gecureerde vragen uit vijf bestaande egocentrische VideoQA-datasets (Ego4D, EgoLife, EgoTempo, Multi-Hop EgoQA, en HD-EPIC). Deze zijn gestandaardiseerd naar een 4-way multiple-choice formaat met behulp van door LLM gegenereerde 'hard negatives' om oppervlakkige oplossingen te voorkomen.
• Cognitieve Taxonomie: Vragen zijn georganiseerd langs zeven cognitieve dimensies geworteld in de geheugentheorie: Detail (objectidentiteit/attributen), Spatial (locatie), Temporal (volgorde/sequentie), Event (actie-essentie), Social (mensen/interacties), Causal (redenen), en Prospective (toekomstige plannen).
• Answer Validity Window (AVW): Een kerninnovatie is de AVW, die het precieze temporele bereik definieert waarin een specifiek antwoord feitelijk correct blijft voordat het wordt weerslagen door opeenvolgende gebeurtenissen. Dit stelt de benchmark in staat om "vergeten" te scheiden van "scène-evolutie".
• Recall Regimes: Vragen worden geëvalueerd over zeven temporele regimes variërend van Instant (0s) tot Ultra-Long-term (>8u). Door query-tijden binnen de AVW te samplen, breidt de benchmark de 2.250 vragen uit naar 8.528 recall-geconditioneerde evaluaties, waarbij het geheugenbehoud bij specifieke vertragingen wordt getest.

2. Unified Streaming MLLM Framework

Om gecontroleerde diagnostische vergelijkingen mogelijk te maken, implementeren de auteurs een verenigd Multimodal Large Language Model (MLLM) framework gebaseerd op een bevroren Qwen3-VL backbone. Dit framework isoleert geheugenbeheer als een onafhankelijke variabele door de encoder, projector en decoder vast te houden.

• Cache Architectuur: De KV-cache is verdeeld in drie logische regio's:
  • Sink Tokens ($SINK$): Beschermde systeemprompt-tokens.
  • Hat Tokens ($HAT$): Beschermde recente visuele observaties.
  • Mutable Region: Historische visuele tokens onderhevig aan geheugenbeheer.
• Geheugenbeheer Strategieën: Het framework evalueert diverse state-of-the-art strategieën die strikt opereren op de mutable regio:
  • Reductie: Intra-frame en inter-frame token pruning (gebaseerd op cosine redundantie, pseudo-attention salience, value-norm, sink-guided attention) en token merging.
  • Overflow Policies: First-In-First-Out (FIFO) weggooien versus Offloading (het opslaan van verwijderde tokens op disk voor retrieval).
  • Quantisatie: Int8 gekwantiseerde offloading om opslagkosten te verlagen.

Belangrijkste Bijdragen

1. EGOSTREAM Benchmark: Een nieuwe diagnostische testomgeving bestaande uit 2.250 gevalideerde vragen, uitgebreid naar 8.528 evaluaties over zeven cognitieve dimensies en zeven recall-regimes.
2. Answer Validity Window (AVW): Een nieuwe metriek die recall-evaluaties beperkt tot het tijdsbestek waarin een antwoord feitelijk geldig is, waardoor wordt gewaarborgd dat prestatiedalingen worden toegeschreven aan geheugenfalen in plaats van omgevingsveranderingen.
3. Unified Diagnostic Framework: Een gestandaardiseerde streaming MLLM-pipeline die een plug-and-play vergelijking van geheugenbeheermechanismen (pruning, merging, offloading) mogelijk maakt onder identieke architecturale beperkingen, wat aantoont dat geaggregeerde nauwkeurigheid vaak verschillende geheugenprofielen maskeert.

Resultaten

Experimenten binnen het verenigde framework laten zien dat hoewel de geaggregeerde prestatieverschillen tussen strategieën klein zijn, de specifieke soorten informatie die behouden blijven en de temporele horizonten die zij ondersteunen, aanzienlijk verschillen.

• Geaggregeerd vs. Profiel: Top-presterende methoden behalen slechts ongeveer 45% nauwkeurigheid gemiddeld, en alle mechanismen opereren ruim onder real-time snelheden (>1s per frame). Vergelijkbare geaggregeerde scores verbergen vaak scherp uiteenlopende geheugenprofielen.
• Pruning vs. Merging: Token pruning presteert consequent beter dan token merging. Pruning behoudt fijnmazige details en temporele structuren aanzienlijk beter, terwijl merging de neiging heeft om fijnmazige bewijslast te vervagen. Zo behaalde een op pruning gebaseerde strategie een semantische nauwkeurigheid van 45,19% vergeleken met 41,87% voor een op merging gebaseerde aanpak.
• Temporele Decay: Prestaties degraderen naarmate het recall-horizon toeneemt. Hoewel ruimtelijke en detail-geheugens relatief robuust zijn op de korte termijn, is ultra-langetermijn recall (>8u) bijzonder uitdagend.
• Offloading: Externe retrieval-strategieën, met name gekwantiseerde offloading (Q-OFF), zijn cruciaal voor ultra-langetermijngeheugen. Hoewel offloading alleen zwakker is dan in-memory pruning, helpt het combineren van pruning met gekwantiseerde offloading (bijv. StreamingTOM) de ultra-langetermijn recall te redden (bereikt 34,21% voor het Ultra-Long regime) en vermindert het de verwerkingstijd aanzienlijk (tot 1,43s) vergeleken met pure in-memory pruning.
• Protected Tokens: De inclusie van Sink en Hat tokens is essentieel. Het toevoegen van Sink-tokens aan een naïeve sliding window baseline verhoogde de semantische nauwkeurigheid van ~29% naar ~44%, wat bevestigt dat het behoud van structurele context en recente observaties vitaal is voor stabiele inferentie.

Betekenis en Claims

Het artikel claimt dat EGOSTREAM de noodzakelijke diagnostische testomgeving biedt om de kloof in huidig onderzoek naar streaming episodisch geheugen te dichten. Door verder te gaan dan geaggregeerde nauwkeurigheid, legt de benchmark bloot dat huidige state-of-the-art architecturen kritieke beperkingen hebben:

• Ze slagen er niet in om hoge-fidelity geheugen te behouden over lange horizonten zonder significante latentie-penalties.
• Verschillende architecturale keuzes (pruning vs. merging) induceren specifieke, voorspelbare kwetsbaarheden in welke informatie wordt behouden.
• Het veld vereist evaluatiemethoden die expliciet meten wat er onthouden wordt en hoe lang, in plaats van alleen of een model een antwoord geeft.

De auteurs concluderen dat hoewel huidige methoden in staat kunnen zijn te specialiseren in verschillende geheugenprofielen, het bereiken van echte real-time streaming ingestie met betrouwbaar langetermijn episodisch geheugen een open uitdaging blijft. De benchmark en het framework zijn bedoeld om het ontwerp van toekomstige streaming architecturen te leiden door een precisie-instrument te bieden voor het diagnosticeren van geheugenkwetsbaarheden in belichaamde agenten.