💻 computer science

Low Latency Gaze Tracking via Latent Optical Sensing

Dit artikel presenteert een real-time, ultra-low-latency blikvolgsysteem dat traditionele beeldverwerking omzeilt door gebruik te maken van een passieve optische encoder met een microlensarray en een binaire masker om direct taakrelevante latente kenmerken vast te leggen, waarmee een end-to-end latentie van 3,4 ms wordt bereikt en een verbeterde energie-efficiëntie wordt gerealiseerd in vergelijking met conventionele op camera gebaseerde benaderingen.

Oorspronkelijke auteurs: Yidan Zheng, Matheus Souza, Kaizhang Kang, Qiang Fu, Hadi Amata, Wolfgang Heidrich

Gepubliceerd 2026-05-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yidan Zheng, Matheus Souza, Kaizhang Kang, Qiang Fu, Hadi Amata, Wolfgang Heidrich

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert te raden waar iemand naar kijkt. De traditionele manier om dit te doen, is als het maken van een hoogwaardige, 4K-foto van hun oog, het sturen van dat enorme bestand naar een supercomputer en de computer vragen om elke afzonderlijke pixel te analyseren om de richting van hun blik te bepalen. Dit is nauwkeurig, maar het is traag, verbruikt veel batterijcapaciteit en vereist veel data om te verplaatsen.

Dit artikel stelt een volledig andere, "shortcut"-methode voor. In plaats van een volledige foto te maken, bouwden ze een speciale optische filter die fungeert als een slimme zeef.

Hier is hoe hun systeem werkt, opgesplitst in eenvoudige concepten:

1. De "Slimme Zeef" (De Optische Encoder)

Stel je voor dat je een emmer water hebt (het licht dat van het oog komt) en je wilt weten of het zwaar of licht regent. In plaats van elke enkele druppel in een enorm net te vangen en ze één voor één te tellen (een volledige foto maken), giet je het water door een zeef met een zeer specifiek, op maat gemaakt patroon van gaten.

De Hardware: De onderzoekers bouwden een apparaat met een microlensarray (een vel met kleine vergrootglazen) en een binair masker (een vel met een specifiek patroon van zwarte en zilveren vierkanten).
De Magie: Wanneer licht van het oog door deze "zeef" gaat, wordt het verward tot een specifiek patroon. Het systeem geeft niets om hoe het oog er uitziet (geen iris kleur, geen huidskleur, geen gedetailleerde kenmerken). Het geeft alleen om het patroon van lichtintensiteit dat erdoorheen komt.
Het Resultaat: In plaats van een 256x256 pixels beeld (65.000+ datapunten), vangt het systeem slechts 16 getallen op. Het is alsof je een hele roman comprimeert tot één zin die je nog steeds het hoofdverhaal vertelt.

2. De "Lichtgewicht Vertaler" (De AI-decoder)

Zodra het systeem die 16 getallen heeft, probeert het niet het oogbeeld te reconstrueren. Dat zou tijdverspilling zijn. In plaats daarvan voert het die 16 getallen in een klein, supersnel computerbrein in (een lichtgewicht neurale net).

Trainingstruc: Om dit kleine brein te leren, gebruikten de onderzoekers een "leraar"-AI die weet hoe oogafbeeldingen in abstracte codes kunnen worden omgezet. Ze leerden het nieuwe systeem het "denkproces" van de leraar na te bootsen met alleen de 16 getallen.
Privacybonus: Omdat het systeem nooit echt een foto van het oog ziet of opslaat, is het van nature privaat. Je kunt de persoon niet identificeren aan de hand van de 16 getallen, maar het systeem kan je nog steeds precies vertellen waar ze naar kijken.

3. Het Snelheidsrecord (Latentie)

De grootste winst hier is snelheid.

Traditionele Camera's: Moeten wachten tot het hele beeld is gemaakt, vervolgens alle pixels uitlezen en ze verwerken. Dit duurt meestal 10 tot 20 milliseconden (of meer).
Dit Systeem: Omdat het de stap "een foto maken" overslaat en slechts 16 kleine sensoren uitleest, duurt het hele proces - van het licht dat op de sensor valt tot de computer zegt "ze kijken naar links" - minder dan 3,4 milliseconden.

De Analogie:
Denk aan een traditioneel camerasysteem als een fotograaf die een foto maakt, afdrukt, deze naar een kunstkritiek brengt en vraagt: "Waar kijkt de persoon naartoe?"
Dit nieuwe systeem is als een beveiliger die helemaal niet naar het gezicht van de persoon kijkt. In plaats daarvan kijken ze alleen naar de schaduw die de persoon op een specifieke muur werpt. De schaduw is vervormd en niet herkenbaar als een gezicht, maar de beveiliger weet precies welke kant de persoon opkijkt op basis van de vorm van de schaduw. Het is direct, vereist geen foto's en gebruikt zeer weinig energie.

Wat Ze Eigenlijk Bereikten

Nauwkeurigheid: In tests gokte het systeem de blikrichting met een fout van ongeveer 6 graden (ongeveer de breedte van een duim die op arm lengte wordt gehouden). Dit is goed genoeg voor veel real-world toepassingen.
Real-world Test: Ze bouwden een fysiek prototype met echte lenzen, maskers en sensoren. Toen ze het testten op echte mensen, hoefden ze de persoon slechts 12 tot 15 verschillende punten op een scherm te tonen om het systeem voor die specifieke persoon te "kalibreren", en het werkte goed.
Efficiëntie: Het systeem gebruikt een tiny fractie van de rekenkracht die nodig is voor standaardcamera's. Het is zo efficiënt dat het op zeer kleine, batterij-aangedreven apparaten zoals toekomstige AR-brillen kan draaien.

Samenvattend:
Het artikel toont aan dat je geen hoogwaardige camera nodig hebt om oogbewegingen te volgen. Door een slimme optische filter te gebruiken om licht te verwarren tot een kleine set getallen, en een eenvoudige AI om die getallen te lezen, kun je volgen waar iemand naar kijkt in minder dan 4 milliseconden. Dit is snel genoeg om het menselijk brein bij te houden, waardoor het perfect is voor next-generation virtual reality en augmented reality-brillen waar vertraging bewegingsziekte veroorzaakt.

Hier volgt een gedetailleerde technische samenvatting van het paper "Low Latency Gaze Tracking via Latent Optical Sensing".

Probleemstelling

Conventionele blikvolgsystemen vertrouwen op hoogresolutiecamera's om volledige oogbeelden vast te leggen, gevolgd door inferentie met diepe neurale netwerken. Hoewel deze aanpak nauwkeurig is, introduceert deze aanzienlijke overhead op het gebied van sensing, bandbreedte en rekenkracht vanwege de noodzaak om miljoenen pixels uit te lezen en te verwerken. Deze latentiteit overschrijdt vaak de drempel van 5 ms die nodig is voor draagbare AR/VR-displays van de volgende generatie om real-time interactie en foveated rendering te ondersteunen zonder de gebruikersimmensie te verstoren. Bestaande lichtgewicht of op gebeurtenissen gebaseerde oplossingen vereisen vaak nog steeds temporele aggregatie of reconstructie die op beelden lijkt, waardoor ze het fundamentele knelpunt van beeldacquisitie en -verwerking van het volledige frame niet elimineren.

Methodologie

De auteurs stellen een volledig passief optisch systeem voor dat expliciete beeldvorming volledig omzeilt. In plaats van een dicht beeld vast te leggen, voert het systeem taakgericht optisch coderen uit om direct een compacte, laagdimensionale latente representatie van het oog te verwerven.

1. Optische Encoder en Hardware-architectuur
De kern van het systeem is een "latente optische encoder" die bestaat uit drie hoofdcomponenten:

Microlens-array (MLA): Een Fresnel-lensarray die het oogbeeld verkleint.
Binaire Chroommasker: Een gezamenlijk ontworpen binair masker geplaatst in het brandpunt van de MLA.
Fototransistor-array: Een 4×4-array (16 elementen) die de ruimtelijk gemultiplexte optische metingen vastlegt.
Licht van het oog passeert de MLA en wordt gemoduleerd door het binaire masker. De resulterende gecodeerde intensiteit wordt direct vastgelegd door de fototransistors, wat een 16-dimensionaal meetvector oplevert. Deze hardware is geïntegreerd met een FPGA voor snelle signaalacquisitie.

2. End-to-End Trainingsframework
Het systeem wordt getraind met een simulatie-naar-real-pipeline die gezamenlijk de optische coderingsmaskers en het digitale inferentienetwerk optimaliseert:

Digitale Emulatie: Een differentieerbaar digitale encoder $\tilde{E}$ simuleert het optische proces met behulp van 16 leerbare binaire maskers (resolutie $256 \times 256$ ) die worden toegepast op invoeroogbeelden.
Latente Distillatie: Om ervoor te zorgen dat de 16 metingen voldoende informatie bevatten, hanteert het systeem een "teacher-student" distillatiebenadering. Een teacher-netwerk ( $P_T$ ) keert een vooraf getrainde StyleGAN2-generator om om oogbeelden af te beelden op een 256-dimensionale latente ruimte ( $h_T$ ) en voorspelt de blikrichting. Een student-decoder ( $P$ ) wordt getraind om de gecomprimeerde 16-metingen-vector direct af te beelden op deze dezelfde latente ruimte ( $h$ ), evenals om de blikrichting ( $\hat{g}$ ) en een validiteitsvlag ( $\hat{v}$ ) te voorspellen.
Functie: Het trainingsdoel combineert supervised gaze-regressie, validiteitsclassificatie, gaze-distillatie (het overeenstemmen van de teacher's blikvoorspelling) en feature-distillatie (het overeenstemmen van de teacher's latente representatie).
Data Augmentatie: Om identiteitsbias en beperkte datasetdiversiteit aan te pakken, gebruiken de auteurs generatieve inpainting (Flux-diffusiemodel met SAM3 en ControlNet) om perioculaire verschijning (huidskleur, belichting) te variëren terwijl de ground-truth bliklabel behouden blijft.

3. Gaze Steering
Het framework bevat een besturingsnetwerk dat de blik in de latente ruimte kan sturen. Door een residu-verschuiving ( $\Delta h$ of $\Delta w^+$ ) te voorspellen op basis van bron- en doel-blikvectoren, kan het systeem de latente representatie bewerken om de blikrichting te veranderen terwijl de identiteit van het onderwerp behouden blijft. Dit demonstreert dat de geleerde features de blik effectief ontkoppelen van de verschijning.

Belangrijkste Bijdragen

End-to-End Latente Ruimte Framework: Een innovatief framework dat passieve optische codering en neurale decoding gezamenlijk optimaliseert, waardoor directe blikinferentie mogelijk is vanuit 16 scalair metingen zonder volledige oogbeelden te reconstrueren.
Compact Hardware-prototype: Een single-shot optisch sensorsysteem dat gebruikmaakt van een MLA, geoptimaliseerde binaire maskers en een 4×4 fototransistor-array met FPGA-acquisitie. Dit ontwerp bereikt een end-to-end latentie van 3,4 ms (inclusief sensing en berekening).
Simulatie-naar-Real Pipeline: Een tweestaps-evaluatiestrategie die een cross-subject simulatiefout van 6,47° bereikt en een gekalibreerde per-subject real-world fout onder de 6° met slechts 12–15 kalibratiepunten.

Resultaten

Nauwkeurigheid vs. Efficiëntie: Op de ETH-XGaze-dataset bereikt de voorgestelde methode een hoekfout van 6,47° met slechts 16 metingen en een lichtgewicht MLP (0,244M parameters, 0,49M FLOPs).
- In vergelijking met een 16×16 ResNet18-baseline vermindert het de sensordimensie met 16×, parameters met ~48× en berekening met ~573×.
- In vergelijking met een 256×256 ResNet18-baseline vermindert het de sensordimensie met 4096× en berekening met ~9300×.
- Het presteert beter dan compacte backbones zoals MobileNetV3 en EfficientNet-B0 op het gebied van parameter- en FLOP-efficiëntie, terwijl het concurrerende nauwkeurigheid behoudt.
Latentie: Het systeem demonstreert een totale end-to-end latentie van 3,4 ms op een CPU (3,19 ms voor optische sensing/acquisitie + 0,22 ms voor inferentie). Dit presteert aanzienlijk beter dan conventionele op beelden gebaseerde mobiele edge-systemen (typisch tientallen milliseconden) en benadert de prestaties van gespecialiseerde high-speed commerciële trackers (bijv. EyeLink 1000 Plus).
Real-world Prestaties: Met subject-specifieke fine-tuning met 12 kalibratiepunten bereikt het systeem een gemiddelde hoekfout van 5,96°, waarbij sommige onderwerpen 4,5° bereiken.
Privacy: Het systeem behoudt privacy door alleen taakrelevante latente features vast te leggen in plaats van biometrische oogbeelden, zoals gedemonstreerd door het onvermogen om de identiteit van het onderwerp te reconstrueren uit de metingen.

Betekenis en Claims

Het paper beweert dat het verschuiven van feature-extractie naar het optische domein via taakgedreven ontwerp een haalbare weg biedt naar ultra-low-latency, energie-efficiënte blikvolging. Door de noodzaak van hoog-bandbreedte beelduitlezing en zware rekenverwerking te elimineren, voldoet het systeem aan de strikte <5 ms latentie-eisen voor immersive XR-toepassingen. De auteurs benadrukken dat hoewel het huidige prototype een proof-of-concept is, de drastische reductie in datavolume (van megapixels naar 16 scalars) een duidelijke weg suggereert voor zeer energie-efficiënte implementaties in toekomstige op batterijen werkende draagbare apparaten. Het werk onderstreept het potentieel van "sensing-as-inference" om conventionele beeldvorming te vervangen voor specifieke computer vision-taken.