Online Episodic Memory Visual Query Localization with Egocentric Streaming Object Memory

Probleemformulering: Online Visual Query 2D (OVQ2D)

Het artikel behandelt de beperkingen van bestaande Episodische Geheugen (EM) ophaalsystemen, specifief de Visual Query 2D (VQ2D) taak geïntroduceerd in de Ego4D-benchmark. Huidige VQ2D-formuleringen opereren in een offline setting, waarbij wordt uitgegaan van volledige toegang tot de videohistorie op het moment van de query. Deze aanpak vereist het opslaan van de volledige videosequentie (die bij draagbare apparaten de terabytes kan bereiken) en brengt aanzienlijke computationele overhead met zich mee, omdat het systeem de video voor elke nieuwe query opnieuw moet scannen.

Om praktische implementatie op energie- en opslagbeperkte draagbare apparaten mogelijk te maken, introduceren de auteurs Online Visual Query 2D (OVQ2D). In deze formulering:

• Streaming Verwerking: Het systeem verwerkt de egocentrische video ($V_{ego}$) online, waarbij elke frame slechts één keer wordt waargenomen.
• Compact Geheugen: In plaats van ruwe video op te slaan, moet het systeem een compact, dynamisch geheugen van relevante objecten en gebeurtenissen bijhouden.
• Retrieval: Gegeven een visuele query-patch $Q$ (een afbeelding van een object), moet het systeem de spatio-temporele lokalisatie (een sequentie van bounding boxes en frames) van de laatste verschijning van het object ophalen met behulp van alleen het opgeslagen geheugen, zonder toegang te krijgen tot de oorspronkelijke videostream.

Deze verschuiving introduceert drie primaire uitdagingen die niet aanwezig zijn in offline settings:

1. Ongesuperviseerde Ontdekking: Het systeem moet in realtime potentieel querybare objecten identificeren zonder voorafgaande kennis van waar de gebruiker naar zal vragen.
2. Pre-emptieve Tracking: Het systeem moet objectinstanties tracken en hun response-tracks vooraf opslaan, in plaats van pas een zoekopdracht te initiëren nadat een query is ontvangen.
3. Representatie Associatie: Het systeem moet potentiële response-tracks associëren met visuele representaties die geschikt zijn voor toekomstige retrieval, aangezien het tijdens de zoekfase de query-patch niet direct met ruwe videocandidaten kan vergelijken.

Methodologie: ESOM (Egocentric Streaming Object Memory)

De auteurs stellen ESOM voor, een framework ontworpen om OVQ2D aan te pakken via drie geïntegreerde modules:

1. Objectgeheugen Representatie ($M_{ego}$)
De kerndatastructuur is een dynamische lijst van objectinstanties $O_i$. Elke instantie is een temporeel geïndexeerde lijst van records $o_{i,t}$, bevattende:

• $t$: Tijdstempel.
• $b_{i,t}$: Bounding box coördinaten.
• $F_t$: De bijbehorende RGB-frame (of een patch geëxtraheerd uit deze).
• $c_{i,t}$: Een binaire relevantielabel dat aangeeft of de visuele inhoud onderscheidend genoeg is voor retrieval.
  Deze structuur maakt geïndexeerde, lichtgewicht en menselijk leesbare opslag van waargenomen objecten mogelijk.

2. Objectgeheugen Populatie (OMP)
Dit algoritme werkt $M_{ego}$ continu bij terwijl de video binnenstroomt. Het coördineert twee submodules:

• Object Tracking (OT): Actualiseert de posities van eerder gememoriseerde objecten in de huidige frame $F_t$ met behulp van een visuele object tracker. Het filtert resultaten op basis van betrouwbaarheidsscores en schrijft bijgewerkte tracks naar het geheugen.
• Object Discovery (OD): Detecteert nieuwe objecten van belang in $F_t$ met behulp van een object detector. Het filtert detecties op basis van vertrouwen en controleert de Intersection over Union (IoU) met bestaande geheugeneintredes. Nieuwe, niet-overlappende detecties worden als nieuwe objectinstanties aan het geheugen toegevoegd.
• Relevantie Filtering: Voordat er naar het geheugen wordt geschreven, evalueert een binaire classifier de visuele patch om te bepalen of deze onderscheidend genoeg is ($c_{i,t}=1$). Deze stap filtert kwalitatief minder goede of niet-onderscheidende patches uit om de efficiëntie van de retrieval te verbeteren.

3. Query Retrieval en Lokalisatie (QRL)
Wanneer een gebruiker een query $Q$ verstrekt, voert het QRL-algoritme het volgende uit:

• Extraheert feature representaties $\Phi(Q)$.
• Vergelijkt deze met de features $\Phi(\phi_{i,t})$ van alle relevante objectpatches ($c_{i,t}=1$) die in $M_{ego}$ zijn opgeslagen met behulp van een gelijkenisfunctie $\Psi$.
• Aggregeert scores per objectinstantie. Als de maximale gelijkenissscore een drempelwaarde overschrijdt, geeft het systeem de meest recente aaneengesloten sequentie van bounding boxes en frames voor dat object terug als de visuele response track $r$.
• Cruciaal is dat dit proces uitsluitend steunt op $M_{ego}$ en geen toegang heeft tot de oorspronkelijke video $V_{ego}$.

Belangrijkste Bijdragen

1. OVQ2D Taakformulering: Het artikel introduceert een nieuwe, toepasbare benchmark voor episodische geheugen retrieval die online, single-pass verwerking en compact geheugengebruik afdwingt, wat de beperkingen van draagbare apparaten weerspiegelt.
2. ESOM Architectuur: Een nieuw framework dat object discovery, long-term tracking en dynamisch geheugenbeheer integreert. Het geeft prioriteit aan praktische implementatie en benchmarking boven algoritmische nieuwheid, door gebruik te maken van state-of-the-art detectie- en trackingcomponenten.
3. Real-World Benchmarking: De auteurs bieden een benchmark op de Ego4D dataset. Zij stellen dat deze benchmark een waardevolle bron is, niet alleen voor EM retrieval, maar ook voor het evalueren van de real-world toepasbaarheid van objectdetectie- en trackingalgoritmen in downstream taken, waarmee zij verder gaan dan geïsoleerde componentevaluatie.

Resultaten en Prestaties

Experimenten werden uitgevoerd op de Ego4D Episodic Memory VQ2D benchmark (433 uur video, 22K queries).

• Baseline Vergelijking: ESOM presteert beter dan andere online benaderingen (geadapteerd van AMEGO en VideoAgent) wat betreft succespercentage en efficiëntie. De beste ESOM-configuratie (gebruikmakend van een YOLO-gebaseerde detector en EgoSTARK tracker) bereikt een succespercentage van 4,02% met een geheugensporen van 1,7 GB en een retrieval tijd van 3,1 seconden.
• Vergelijking met Offline Methoden: Hoewel offline VQ2D-methoden hogere succespercentages bereiken (bijv. 55,89% voor VQLoC), vereisen zij het opslaan van de volledige video (12,1 GB) en duren zij aanzienlijk langer om te extraheren (bijv. 41 seconden). ESOM vermindert het geheugengebruik met wel 7$\times$ en de retrieval tijd met wel 13$\times$ vergeleken met offline baselines.
• Oracle Analyse: Het artikel benadrukt dat de lage succespercentages van huidige methoden primair te wijten zijn aan beperkingen in objectdetectie en tracking in real-world egocentrische video's, en niet aan de geheugenarchitectuur zelf.
  • Met perfecte tracking (Oracle OT) en standaard detectie stijgt het succes naar 31,91%.
  • Met perfecte detectie (Oracle OD) en standaard tracking stijgt het succes naar 40,55%.
  • Met zowel perfecte detectie als tracking bereikt ESOM een succespercentage van 81,92%, waarmee het de beste offline methoden overtreft.
• Component Analyse:
  • Het QRL-algoritme dat gebruikmaakt van Siamese R-CNN features presteert consistent beter dan DINOv2-gebaseerde benaderingen.
  • Relevantie filtering verbetert de snelheid en nauwkeurigheid van de retrieval aanzienlijk door suboptimale representaties te verwijderen.
  • Tracking prestaties (specifiek associatie nauwkeurigheid, AssA) zijn kritischer voor OVQ2D succes dan ruwe detectienauwkeurigheid (DetA), aangezien coherente tracks essentieel zijn voor het construeren van geldige response sequenties.

Betekenis en Claims

Het artikel claimt dat OVQ2D een noodzakelijke stap is richting inzetbare episodische geheugensystemen voor wearable technologie. Hoewel het huidige succespercentage van ~4% op real-world data bescheiden is, benadrukken de auteurs dat dit een reflectie is van de huidige staat van objectdetectie en tracking in egocentrische visie, en niet een falen van het geheugen retrieval paradigma.

De betekenis van het werk ligt in:

• Haalbaarheid: Het aantonen dat episodische geheugen retrieval online kan worden uitgevoerd met beheersbare geheugen- en computationele budgetten.
• Diagnostische Waarde: De benchmark en de "oracle" configuraties bieden een principieel testbed om bottlenecks in objectdetectie- en trackingalgoritmen te identificeren wanneer ze worden toegepast op real-world, continue videostreams, wat suggereert dat toekomstige verbeteringen in deze fundamentele componenten direct zullen vertalen naar betere episodische geheugensystemen.
• Efficiëntie: Het bewijzen dat compacte, object-gecentreerde geheugenrepresentaties aanzienlijke winsten kunnen bieden in opslag en snelheid ten opzichte van het opslaan van ruwe video, zonder een catastrofaal verlies aan retrieval capaciteit (ervan uitgaande dat detectie/tracking robuust zijn).