Technische Samenvatting: ARGaze: Autoregressieve Transformers voor Online Egocentrische Blikschatting

Probleemdefinitie

Het artikel behandelt online egocentrische blikschatting (egocentric gaze estimation), de taak van het voorspellen waar een camera-drager naar kijkt met behulp van alleen voorgaande en huidige videoframes. In tegenstelling tot blikschatting vanuit een derde persoon, die vertrouwt op observeerbare hoofdhouding en oogkenmerken, ontbreken in egocentrische omgevingen directe gezichtssignalen. In plaats daarvan moeten modellen visuele aandacht afleiden uit schaarse, indirecte aanwijzingen zoals de scène-inhoud en interacties tussen handen en objecten.

De huidige mainstream benaderingen formuleren dit als een offline, clip-gebaseerd spatiotemporeel integratieprobleem. Deze methoden maken doorgaans gebruik van 3D-convoluties of bidirectionele aandachtmechanismen die toegang vereisen tot toekomstige temporele context. Deze architectuur schendt de real-time beperkingen, waardoor ze onpraktisch zijn voor streaming-toepassingen zoals Augmented Reality (AR) en assistieve robotica. Bovsamen behandelen deze modellen frames vaak als parallelle clips in plaats van continue gedragscycli, waardoor ze er niet in slagen de fysiologische stabiliteit van menselijke fixaties te vangen, wat leidt tot grillige voorspellingen onder visuele verstoringen.

Methodologie: ARGaze

De auteurs stellen ARGaze voor, een framework dat blikschatting herformuleert als een causale autoregressieve sequentiegeneratietaak. Geïnspireerd door visie-geconditioneerde autoregressieve decodering in visie-taalmodellen, voorspelt ARGaze blik-heatmaps sequentieel, waarbij elke voorspelling wordt geconditioneerd op de huidige visuele kenmerken en een begrensde geschiedenis van voorgaande blikken.

Het framework bestaat uit vijf kerncomponenten:

1. Scene Encoder: Maakt gebruik van een vooraf getraind visie-fundamenteel model (DINOv3) om hiërarchische spatiotemporele kenmerken te extraheren uit het huidige frame ($I_t$). Het incorporeert ook Tracking-aware Templates, wat gelokaliseerde, hoog-resolutie crops zijn uit historische frames, gecentreerd rond de eerder voorspelde blikkoordinaten. Deze templates bieden specifieke visuele priors om het model te helpen de aandacht op targets te houden tijdens snelle camerabewegingen.
2. Autoregressive Heatmap Tokenizer: Zet een begrensde venster van recente blikgeschiedenis ($H_{t-k:t-1}$) om in hoog-dimensionale temporele tokens. Dit omvat het downsamplen van historische heatmaps, het projecteren ervan in de latente ruimte via 1$\times$1 convoluties, en het toevoegen van temporele en token-type embeddings om onderscheid te maken tussen het verleden en de huidige query-tokens.
3. Tracking-aware Template Module: Knipt historische frames dynamisch bij op basis van de soft-argmax van de vorige voorspelde heatmap. Dit biedt de decoder met gelokaliseerde visuele context, wat fungeert als een tracking-stijl aanwijzing om soortgelijke objecten te disambigueren.
4. Causal Transformer Decoder: De centrale verwerkingseenheid die historische blik-tokens en visuele kenmerken (globale scène + tracking templates) integreert via self-attention en cross-attention lagen. Cruciaal is dat deze strikt causaal opereert, waarbij alleen toegang wordt verkregen tot huidige en voorgaande observaties. Het behoudt een begrensd geschiedenissenvenster, wat zorgt voor een constant geheugenvoetafdruk ongeacht de videolengte.
5. Spatial Reconstruction Head: Een convolutionele upsampling-tak die de gegenereerde sequentie-tokens terug naar het ruimtelijke domein brengt om de uiteindelijke 2D blik-target heatmap ($H_t$) te produceren.

Training en Inferentie:

• Training: Het model wordt geoptimaliseerd met behulp van een Kullback-Leibler (KL) divergentieverlies tussen voorspelde en grondwaarheid-heatmaps. Om de kloof te overbruggen tussen training (gebruikmakend van grondwaarheid-geschiedenis) en inferentie (gebruikmakend van voorspelde geschiedenis), gebruiken de auteurs scheduled sampling.
• Inferentie: Het systeem werkt op een streaming-wijze. Voor elk binnenkomend frame genereert de decoder een voorspelling geconditioneerd op de visuele kenmerken en het vaste-grootte geschiedenissenvenster, wat zorgt voor constant geheugengebruik en real-time responsiviteit.

Belangrijkste Bijdragen

1. Causale Autoregressieve Formulering: Het artikel introduceert ARGaze, dat blikschatting herformuleert als een causale sequentievoorspellingstaak, wat strikt online inferentie mogelijk maakt zonder toekomstige context.
2. Architectuur met Begrensd Geheugen: Door gebruik te maken van een venster met een vaste lengte voor de blikgeschiedenis, garandeert de methode een constant geheugengebruik, wat efficiënte langdurige streaming ondersteunt zonder de computationele knelpunten van onbegrensde sequentiemodellen.
3. Verbeterde Robuustheid en Nauwkeurigheid: Het framework integreert expliciete temporele modellering met visueel scènebegrip, wat een verbeterde robuustheid laat zien tegen hand-geïnduceerde bias en out-of-distribution (OOD) condities vergeleken met eerdere methoden.

Experimentele Resultaten

De auteurs hebben ARGaze geëvalueerd op drie benchmarks: EGTEA Gaze+, Ego4D en EgoExo4D.

• Prestaties: ARGaze behaalde state-of-the-art prestaties over alle benchmarks onder online evaluatie.
  • Op EGTEA Gaze+ behaalde het een F1-score van 44,48%, waarmee het de aangepaste causale GLC baseline (41,57%) met bijna 3 procentpunt versloeg.
  • Op Ego4D bereikte het een F1 van 41,82%.
  • Op EgoExo4D behaalde het 70,58% F1 en 75,66% precisie.
• Efficiëntie: In langdurige streamingtests op een NVIDIA RTX A6000 GPU toonde ARGaze significante efficiëntiewinsten over de GLC baseline:
  • Infersiesnelheid: 1,82$\times$ versnelling (88,59 FPS vs. 48,74 FPS).
  • Latentie: Verminderde gemiddelde latentie van 20,56 ms naar 11,29 ms.
  • Geheugen: Verminderde CUDA-geheugentoewijzing met 3,13$\times$ (168,2 MB vs. 526,3 MB).
• Robuustheid:
  • Out-of-Distribution (OOD): ARGaze behield sterke prestaties over OOD-splits (onbekende deelnemers, locaties en taken), wat suggereert dat het overdraagbare aandachtsdynamiek vangt in plaats van te overfitten op domeinspecifieke kenmerken.
  • Hand-afhankelijkheid: In tegenstelling tot baselines die lijden onder "hand-bias" (het foutief volgen van bewegende handen) of prestatie-instorting wanneer handen worden afgedekt, behield ARGaze een stabiele fixatie op taak-relevante objecten door historische bliktrajecten te gebruiken om visuele afleidingen te filteren.
• Real-world Testen: In experimenten met een Meta Quest 3 headset presteerde ARGaze consequent beter dan de GLC baseline, waarbij de Heatmap F1 verbeterde van 0,0411 naar 0,4667 bij dagelijkse activiteiten zoals het ordenen van een bureau en koffie zetten.

Betekenis en Claims

Het artikel beweert dat ARGaze een kritiek gat in de bestaande literatuur aanpakt: de mismatch tussen huidige modelleringsparadigma's (die blik behandelen als parallelle clips) en de fysiologische aard van de menselijke blik (gekenmerkt door stabiele fixaties en saccades). Door strikte causaliteit en begrensd geheugen af te dwingen, stellen de auteurs dat autoregressieve modellering essentieel is voor robuuste, real-time voorspelling in streamingomgevingen.

De auteurs positioneren ARGaze als een praktische oplossing voor Augmented Reality en assistieve robotica, waar systemen de intentie van de gebruiker moeten anticiperen en proactieve begeleiding moeten bieden terwijl elk frame arriveert. Het werk benadrukt dat nauwkeurige, lage-latentie en geheugenefficiënte blikschatting fundamenteel is voor mensgerichte AI-systemen die de intentie van de gebruiker begrijpen zonder te vertrouwen op expliciete hoofd- of oogsignalen. De auteurs merken op dat hoewel het werk de algoritmische capaciteiten vooruithelpt, toekomstige implementatie prioriteit moet geven aan privacy en ethische overwegingen met betrekking tot gevoelige gebruikersintentie-data.