🤖 AI

EgoGazeLite: On-Device Egocentric Gaze Prediction for Token-Efficient Multimodal LLM Video Input

EgoGazeLite is een lichtgewicht, on-device dual-process blikvoorspeller die efficiënt gebruik van tokens mogelijk maakt voor egocentrisch video-begrip door multimodale LLM's, door video nauwkeurig te croppen op basis van voorspelde blik, waardoor de noodzaak voor dedicated eye-tracking hardware wordt geëlimineerd terwijl de beschrijvingskwaliteit behouden blijft en het in realtime werkt op consumentenhardware.

Oorspronkelijke auteurs: Matteo Stoiber, Niels Buus Lassen

Gepubliceerd 2026-08-18

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Matteo Stoiber, Niels Buus Lassen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een slimme bril draagt die de wereld door jouw ogen kan bekijken en kan beschrijven wat je aan het doen bent. Deze technologie biedt de belofte om een chirurg te helpen een complexe procedure te herinneren, een monteur te begeleiden bij een reparatie, of iemand met een visuele beperking te ondersteunen door de omgeving te becommentariëren. Om dit te laten werken, moet de bril een videofeed naar een krachtig kunstmatig intelligentiesysteem sturen dat in staat is om afbeeldingen en taal te begrijpen. Echter, er is een aanzienlijke flessenhals: het verzenden van high-definition video vereist een enorme hoeveelheid data, veel meer dan een klein draagbaar apparaat gemakkelijk kan verzenden of verwerken. De computersystemen die deze video's begrijpen, hebben ook moeite wanneer ze te veel visuele informatie tegelijkert krijgen, omdat ze vaak overweldigd raken door de enorme hoeveelheid pixels.

Onderzoekers hebben een slimme manier gevonden om dit dataprobleem op te lossen door zich alleen te concentreren op waar de persoon daadwerkelijk naar kijkt. In plaats van het hele brede beeld te verzenden, kan het systeem de video bijsnijden om alleen het kleine gebied te tonen waar de blik van de drager op gericht is. Dit vermindert de hoeveelheid data die de computer moet verwerken met ongeveer negentig procent, waardoor de taak veel sneller en goedkoper wordt. Tot nu toe vereiste deze aanpak een speciale, dure stuk hardware die in de bril is ingebouwd om oogbewegingen nauwkeurig te volgen. Zonder deze specifieke hardware wist het systeem niet waar het naar moest kijken, waardoor het potentieel van deze slimme brillen onbenut bleef voor dagelijkse consumenten.

Een team van onderzoekers heeft nu aangetoond dat een speciale eye-tracking sensor eigenlijk niet noodzakelijk is. Ze hebben een lichtgewicht softwareprogramma ontwikkeld dat kan voorspellen waar een persoon naar kijkt door simpelweg de videostroom zelf te analyseren. Dit programma, genaamd EgoGazeLite, draait direct op een standaard smartphone en is nauwkeurig genoeg om de dure hardware-sensoren te vervangen. De onderzoekers testten dit door videoclips in een kunstmatige intelligentie te voeren, waarbij ze de beelden bijsneden op basis van ofwel de echte eye-tracking data, ofwel de voorspelling van de software. Ze vroegen de kunstmatige intelligentie vervolgens om de handelingen in de video te beschrijven. De resultaten toonden aan dat de beschrijvingen gegenereerd uit de voorspelde blik vrijwel identiek waren aan de beschrijvingen gegenereerd uit de echte eye-tracking data. In elke testgeval presteerde de softwarevoorspelling net zo goed als de hardwaremeting, wat bewees dat het systeem kan werken zonder de gespecialiseerde sensor.

De software zelf is opmerkelijk efficiënt. Het is klein genoeg om in realtime te draaien op consumentenhardware, zoals de processor in een moderne smartphone, waarbij de voorspelling en het bijsnijden van elk videokader in minder dan tweeentwintig milliseconden wordt voltooid. Deze snelheid is cruciaal omdat het betekent dat het systeem een live videofeed kan bijhouden zonder vertraging. De onderzoekers hebben deze software getraind op duizenden uren video van mensen die diverse taken uitvoerden, van koken en fietsen repareren tot voetballen en reanimatie uitvoeren. Toen ze het systeem testten op nieuwe, onbekende video's, identificeerde het met hoge precisie waar de persoon naar keek. De software werkt door op twee verschillende manieren aandacht te schenken: één gebaseerd op wat visueel helder of bewegend is in de scène, en een andere op waar de persoon een moment geleden naar heeft gekeken. Het combineert deze twee aanwijzingen om het volgende focuspunt te raden.

Om hun bevindingen robuust te maken, vertrouwden de onderzoekers niet op een enkele methode van evaluatie. Ze gebruikten twee verschillende grote taalmodellen om de videobeschrijvingen te genereren en lieten deze beschrijvingen beoordelen door zowel geautomatiseerde scoresystemen als andere geavanceerde kunstmatige intelligentiemodellen. Ze vergeleken de kwaliteit van de beschrijvingen van de voorspelde blik met de 'ground truth' van de hardware-sensoren en met een eenvoudige baseline die simpelweg het midden van het scherm bijsnedt. De resultaten waren duidelijk: de voorspelde blik produceerde beschrijvingen die aanzienlijk beter waren dan de centrale uitsnede en statistisch ononderscheidbaar waren van de blik op basis van hardware. Sterker nog, de softwarevoorspelling was zo dicht bij de echte eye-tracking data dat het verschil te klein was om als significant te worden gemeten in de tien verschillende testscenario's die zij uitvoerden.

Dit werk neemt een belangrijke barrière weg voor de brede adoptie van gaze-aware (blik-bewuste) kunstmatige intelligentie. Door te bewijzen dat een softwaremodel een hardware-sensor kan vervangen, hebben de onderzoekers aangetoond dat toekomstige slimme brillen niet belast hoeven te worden met dure, energieverslindende eye-tracking componenten om nuttig te zijn. Het systeem kan nu worden ingezet op elk apparaat met een camera en een standaard processor, wat de deur opent naar betaalbare, realtime assistentie bij een breed scala aan dagelijkse activiteiten. Hoewel de studie werd uitgevoerd op specifieke datasets en modellen, suggereren de resultaten een fundamentele verschuiving in hoe we deze systemen kunnen bouwen, waarbij we bewegen van gespecialiseerde hardware naar intelligente, lichtgewicht software die menselijke aandacht kan begrijpen door simpelweg te kijken naar wat wij zien.

Technische Samenvatting: EgoGazeLite

Probleemstelling

De implementatie van Multimodale Large Language Models (MLLM's) voor egocentrisch video-begrip op draagbare apparaten wordt beperkt door een strikt token-budget. MLLM's coderen visuele input doorgaans via Vision Transformers, waarbij de geheugen- en rekenkosten lineair schalen met het aantal visuele tokens, wat op zijn beurt afhankelijk is van de videoresolutie en duur. Hoogwaardige video is prohibitief duur om op grote schaal te verzenden en te verwerken.

Voorgaand werk, specifiek GazeLLM, pakte dit aan door videoframes rond het blikpunt (gaze point) van de drager uit te snijden voordat ze worden verwerkt, waardoor het aantal visuele tokens met ongeveer tienvoud wordt verminderd terwijl de beschrijvingskwaliteit behouden blijft. GazeLLM vertrouwt echter volledig op speciale eye-tracking hardware, die ontbreekt in huidige consumenten-smartglasses. Dit vormt een barrière voor de toegang tot token-efficiënt, blik-geconditioneerd begrip. De centrale uitdaging is om te bepalen of een softwarematige blikvoorspeller accuraat kan fungeren als vervanging voor hardware-gemeten blik zonder de downstream MLLM-prestaties te verslechteren, terwijl deze licht genoeg blijft om op het apparaat te draaien binnen de energie- en rekenbudgetten van een smartphone.

Methodologie

EgoGazeLite Architectuur

De auteurs stellen EgoGazeLite voor, een lichtgewicht dual-process blikvoorspeller ontworpen voor on-device implementatie. Het bouwt voort op de dual-process structuur geïdentificeerd door Huang et al. [10] als een sterke non-Transformer baseline, maar introduceert drie architecturale modificaties om de computationele kosten te verlagen:

Shared Backbone: Vervangt afzonderlijke ruimtelijke en temporele stromen door een enkele gedeelde EfficientNet-Lite4 backbone, geïnitialiseerd met ImageNet-gewichten.
Feature-Level Temporal Difference: Vervangt dichte optische flow door een eenvoudige feature-level subtractie ( $\Delta F = \text{BatchNorm}(F_t - F_{t-1})$ ) om beweging te vangen.
Residual Fusion: Vervangt niet-lineaire convolutionele fusie met een residual fusion module die opereert in de logit-ruimte, waardoor de attention map de saliency-voorspelling kan verscherpen of onderdrukken zonder verzadiging.

De architectuur bestaat uit:

Bottom-up Pad: Berekent een saliency heatmap ( $G^s_t$ ) vanuit visuele input alleen, inclus\text{bij} een leerbare 2D Gaussische center bias om rekening te houden met de egocentrische blikbias.
Top-down Pad: Volgt aandacht op basis van fixatiegeschiedenis. Het extraheert kanaalgewichten uit de vorige bliklocatie, propageert deze via een gated LSTM (gestuurd door een online I-DT fixatie/saccade beslissing), en past deze toe op de huidige frame-features om een attention heatmap ( $G^a_t$ ) te genereren.
Fusion: Combineert $G^s_t$ en $G^a_t$ met behulp van een residual module om de uiteindelijke voorspelde heatmap $G_t$ te produceren, waaruit de blikcoördinaat via argmax wordt geëxtraheerd.

Gaze-Guided Cropping Pipeline

Het systeem volgt het GazeLLM-protocol:

Input: 30 fps, 1404×1404 bronclips van de Ego-Exo4D dataset.
Verwerking: Frames worden gesampled op 1 fps. Een vaste 448×448 window wordt gecentreerd op de blikcoördinaat (ofwel voorspeld door EgoGazeLite ofwel ground-truth van een eye tracker).
Condities: De studie vergelijkt vier condities: Full-resolution, Ground-truth gaze crop, Predicted gaze crop, en een Center crop (baseline).
Evaluatie: Cropped clips worden gevoed aan MLLM's (Gemini 2.5 Flash en Pro) om stap-voor-stap activiteitsbeschrijvingen te genereren. Deze worden gescoord tegen full-resolution referenties met behulp van geautomatiseerde metrieken (BLEU, ROUGE-L, SBERT) en LLM-judges (Claude Sonnet 4.6, GPT-4o).

Experimentele Opstelling

Dataset: Ego-Exo4D (Project Aria Gen 1 brillen). Training op zeven domeinen (Koken, Voetbal, Gezondheid, Fietsreparatie, Dans, Boulderen, Muziek); Basketbal werd apart gehouden.
Substitution Test Set: Een apart gehouden set van 138 clips die zes taakcategorieën beslaat, waarbij geen overlap is met de trainingsset.
Hardware Evaluatie: De volledige pipeline werd getest op een iPhone 15 Pro om de end-to-end latentie te meten.

Belangrijkste Bijdragen

Substitutie van Gemeten voor Voorspelde Blik: Het paper demonstreert dat blik voorspeld door een lichtgewicht model de hardware-gemeten blik in de GazeLLM-pipeline kan vervangen. Over twee MLLM's, drie geautomatiseerde metrieken en twee LLM-judges vertoonden de predicted-gaze crops geen significante verschil van de ground-truth-gaze crops in downstream beschrijvingskwaliteit.
Bevestiging van Equivalentie: Met behulp van Two One-Sided Tests (TOST) bevestigden de auteurs de equivalentie in alle tien de evaluatiecellen (2 MLLM's × 5 metrieken/judges). Het verschil tussen de predicted en ground-truth condities was kleiner dan de helft van de gepoolde standaarddeviatie, wat voldoet aan de primaire equivalentiemarge.
EgoGazeLite Efficiëntie: Het model bereikt deze prestaties met 15,7M parameters en 6,71 GFLOPs, wat een 8,6-voudige reductie in FLOPs betekent vergeleken met voorgaande state-of-the-art egocentrische blikmodellen (Huang et al. [10] en Lai et al. [13]).
Real-Time On-Device Prestaties: De volledige gaze-en-crop pipeline draait end-to-end in 21,6 ms/frame (ongeveer 46 FPS) op consumenten-acceleratorhardware (iPhone 15 Pro Neural Engine), wat het levensvatbaar maakt voor real-time deployment.

Resultaten

Nauwkeurigheid: Op de in-distributie validatieset bereikte EgoGazeLite een Average Angular Error (AAE) van 8,33° en een AUC van 0,9655.
Downstream Kwaliteit:
- Zowel de predicted als de ground-truth gaze crops presteerden significant beter dan de center-crop baseline over alle metrieken.
- Het verschil tussen de predicted en ground-truth crops was statistisch niet-significant (kleinste gecorrigeerde p-waarde = 0,054).
- Effectgroottes ( $d_z$ ) waren consistent klein (< 0,17), ruim binnen de conventie van Cohen voor verwaarloosbare effecten.
- Equivalentietests (TOST) bevestigden dat de twee condities statistisch equivalent zijn in alle tien de gevallen onder een medium-effect marge (0,5× gepoolde SD), en in vier gevallen onder een strikte small-effect marge (0,2× gepoolde SD).
Latentie: De EgoGazeLite forward pass beslaat ~41% van de pipeline tijd (8,9 ms), waarbij de resterende tijd wordt besteed aan beeldverwerking (cropping, downscaling). De pipeline ondersteunt sampling rates tot 30 FPS, wat de vereiste van 1 FPS voor de downstream MLLM ruim overtreft.

Betekenis en Claims

Het paper claimt dat EgoGazeLite de strikte vereiste van dedicated eye-tracking hardware wegneemt voor blik-geconditioneerd egocentrisch video-begrip met MLLM's. Door te bewijzen dat een lichtgewicht, softwarematige voorspeller de hardware-gemeten blik kan vervangen zonder de kwaliteit van MLLM-gegenereerde beschrijvingen te verslechteren, maakt dit werk token-efficiënte, blik-gestuurde video-verwerking op consumenten-grade smartglasses en smartphones mogelijk.

De auteurs benadrukken dat dit resultaat de cirkel sluit tussen blikvoorspelling en MLLM-input op het apparaat zelf. Hoewel de studie bescheiden is over de reikwijdte — waarbij wordt erkend dat directe head-to-head nauwkeurigheidsvergelijkingen met eerdere modellen onder identieke splits niet zijn uitgevoerd, en dat generalisatie naar ongeziene domeinen of andere MLLM-families nog getest moet worden — is de kernbevinding dat de substitutie empirisch valide is voor de geteste taken en modellen. Dit verschuift het paradigma van hardware-afhankelijke bliksystemen naar software-gestuurde oplossingen die toegankelijk zijn voor elke first-person camera.