💻 computer science

Low Latency Gaze Tracking via Latent Optical Sensing

Questo articolo presenta un sistema di tracciamento dello sguardo in tempo reale a latenza ultra-bassa che elude l'elaborazione delle immagini tradizionale utilizzando un codificatore ottico passivo con una matrice di microlenti e una maschera binaria per catturare direttamente le caratteristiche latenti rilevanti per l'attività, raggiungendo una latenza end-to-end di 3,4 ms e un'efficienza energetica migliorata rispetto agli approcci convenzionali basati su telecamere.

Autori originali: Yidan Zheng, Matheus Souza, Kaizhang Kang, Qiang Fu, Hadi Amata, Wolfgang Heidrich

Pubblicato 2026-05-19

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Yidan Zheng, Matheus Souza, Kaizhang Kang, Qiang Fu, Hadi Amata, Wolfgang Heidrich

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di indovinare dove sta guardando qualcuno. Il modo tradizionale per farlo è come scattare una fotografia ad alta definizione, in 4K, del loro occhio, inviare quel file massiccio a un supercomputer e chiedere al computer di analizzare ogni singolo pixel per determinare la direzione dello sguardo. Questo è preciso, ma è lento, consuma molta batteria e richiede molti dati da trasferire.

Questo articolo propone un metodo completamente diverso, una "scorciatoia". Invece di scattare un'immagine completa, hanno costruito un filtro ottico speciale che agisce come un setaccio intelligente.

Ecco come funziona il loro sistema, scomposto in concetti semplici:

1. Il "Setaccio Intelligente" (Il Codificatore Ottico)

Immagina di avere un secchio d'acqua (la luce che proviene dall'occhio) e di voler sapere se sta piovendo forte o leggermente. Invece di catturare ogni singola goccia in una rete gigante e contarle una per una (scattando una foto completa), versi l'acqua attraverso un setaccio con un pattern di fori molto specifico e personalizzato.

L'Hardware: I ricercatori hanno costruito un dispositivo con un array di microlenti (un foglio di piccole lenti d'ingrandimento) e una maschera binaria (un foglio con un pattern specifico di quadrati neri e argentati).
La Magia: Quando la luce proveniente dall'occhio passa attraverso questo "setaccio", viene mescolata in un pattern specifico. Il sistema non si cura di come l'occhio sembra (nessun colore dell'iride, nessun tono della pelle, nessun dettaglio). Si cura solo del pattern di intensità luminosa che passa attraverso.
Il Risultato: Invece di un'immagine di 256x256 pixel (più di 65.000 punti dati), il sistema cattura solo 16 numeri. È come comprimere un intero romanzo in una singola frase che ti dice ancora la trama principale.

2. Il "Traduttore Leggero" (Il Decodificatore AI)

Una volta che il sistema ha quei 16 numeri, non tenta di ricostruire l'immagine dell'occhio. Sarebbe una perdita di tempo. Invece, inserisce quei 16 numeri in un piccolo cervello informatico super veloce (una rete neurale leggera).

Trucco di Addestramento: Per insegnare a questo piccolo cervello, i ricercatori hanno utilizzato un'AI "insegnante" che sa come trasformare le immagini degli occhi in codici astratti. Hanno insegnato al nuovo sistema a imitare il "processo di pensiero" dell'insegnante utilizzando solo i 16 numeri.
Vantaggio Privacy: Poiché il sistema non vede mai e non memorizza una vera immagine dell'occhio, è naturalmente più privato. Non puoi identificare la persona dai 16 numeri, ma il sistema può comunque dirti esattamente dove sta guardando.

3. Il Record di Velocità (Latenza)

Il più grande vantaggio qui è la velocità.

Fotocamere Tradizionali: Devono attendere che l'intera immagine venga acquisita, poi leggere tutti i pixel, quindi elaborarli. Questo di solito richiede da 10 a 20 millisecondi (o più).
Questo Sistema: Poiché salta il passaggio "scattare una foto" e legge solo 16 piccoli sensori, l'intero processo — dalla luce che colpisce il sensore al computer che dice "stanno guardando a sinistra" — richiede meno di 3,4 millisecondi.

L'Analogia:
Pensa a un sistema fotografico tradizionale come a un fotografo che scatta una foto, la stampa, la porta a un critico d'arte e chiede: "Dove sta guardando la persona?"
Questo nuovo sistema è come una guardia di sicurezza che non guarda affatto il viso della persona. Invece, guarda solo l'ombra che la persona proietta su un muro specifico. L'ombra è distorta e irriconoscibile come un viso, ma la guardia sa esattamente verso quale direzione è rivolta la persona basandosi sulla forma dell'ombra. È istantaneo, non richiede foto e consuma pochissima energia.

Cosa Hanno Realizzato

Precisione: Nei test, il sistema ha indovinato la direzione dello sguardo con un errore di circa 6 gradi (circa la larghezza di un pollice tenuto a braccio teso). Questo è sufficiente per molti usi nel mondo reale.
Test nel Mondo Reale: Hanno costruito un prototipo fisico con lenti reali, maschere e sensori. Quando l'hanno testato su persone reali, hanno dovuto mostrare alla persona solo 12 o 15 punti diversi su uno schermo per "calibrare" il sistema per quella specifica persona, e ha funzionato bene.
Efficienza: Il sistema utilizza una frazione minuscola della potenza di calcolo richiesta dalle fotocamere standard. È così efficiente che potrebbe funzionare su dispositivi molto piccoli alimentati a batteria, come i futuri occhiali per la realtà aumentata.

In Sintesi:
L'articolo dimostra che non hai bisogno di una fotocamera ad alta definizione per tracciare il movimento degli occhi. Utilizzando un filtro ottico intelligente per mescolare la luce in un piccolo insieme di numeri, e una semplice AI per leggere quei numeri, puoi tracciare dove sta guardando qualcuno in meno di 4 millisecondi. Questo è abbastanza veloce da tenere il passo con il cervello umano, rendendolo perfetto per occhiali di realtà virtuale e realtà aumentata di prossima generazione, dove il ritardo causa nausea da movimento.

Enunciato del Problema

I sistemi convenzionali di tracciamento dello sguardo si basano su fotocamere ad alta risoluzione per catturare immagini complete dell'occhio, seguite dall'inferenza di reti neurali profonde. Sebbene accurato, questo approccio introduce un significativo sovraccarico di rilevamento, larghezza di banda e computazione a causa della necessità di leggere ed elaborare milioni di pixel. Questa latenza supera spesso la soglia di 5 ms richiesta dai display AR/VR indossabili di nuova generazione per supportare l'interazione in tempo reale e il rendering foveato senza interrompere l'immersione dell'utente. Le soluzioni esistenti leggere o basate su eventi spesso richiedono ancora aggregazione temporale o ricostruzione simile a un'immagine, non riuscendo a eliminare il collo di bottiglia fondamentale dell'acquisizione e dell'elaborazione di immagini a fotogramma completo.

Metodologia

Gli autori propongono un sistema ottico completamente passivo che bypassa interamente la formazione esplicita dell'immagine. Invece di catturare un'immagine densa, il sistema esegue una codifica ottica orientata al compito per acquisire direttamente una rappresentazione latente compatta e a bassa dimensionalità dell'occhio.

1. Codificatore Ottico e Architettura Hardware
Il cuore del sistema è un "codificatore ottico latente" composto da tre componenti principali:

Matrice di Microlenti (MLA): Una matrice di lenti di Fresnel che riduce in scala l'immagine dell'occhio.
Maschera Binaria al Cromo: Una maschera binaria co-progettata posizionata sul piano focale della MLA.
Matrice di Fototransistor: Una matrice 4×4 (16 elementi) che cattura le misurazioni ottiche spazialmente multiplexate.
La luce proveniente dall'occhio passa attraverso la MLA ed è modulata dalla maschera binaria. L'intensità codificata risultante viene catturata direttamente dai fototransistor, producendo un vettore di misurazione a 16 dimensioni. Questo hardware è integrato con un FPGA per l'acquisizione rapida del segnale.

2. Framework di Addestramento End-to-End
Il sistema è addestrato utilizzando una pipeline simulazione-realtà che ottimizza congiuntamente le maschere di codifica ottica e la rete di inferenza digitale:

Emulazione Digitale: Un codificatore digitale differenziabile $\tilde{E}$ simula il processo ottico utilizzando 16 maschere binarie apprendibili (risoluzione $256 \times 256$ ) applicate alle immagini di input dell'occhio.
Distillazione Latente: Per garantire che le 16 misurazioni contengano informazioni sufficienti, il sistema impiega un approccio di distillazione "insegnante-allievo". Una rete insegnante ( $P_T$ ) inverte un generatore StyleGAN2 pre-addestrato per mappare le immagini dell'occhio in uno spazio latente a 256 dimensioni ( $h_T$ ) e predire lo sguardo. Un decodificatore studente ( $P$ ) è addestrato per mappare il vettore compresso a 16 misurazioni direttamente in questo stesso spazio latente ( $h$ ), nonché per predire la direzione dello sguardo ( $\hat{g}$ ) e un flag di validità ( $\hat{v}$ ).
Funzione di Perdita: L'obiettivo di addestramento combina la regressione supervisionata dello sguardo, la classificazione di validità, la distillazione dello sguardo (corrispondenza con la predizione dello sguardo dell'insegnante) e la distillazione delle caratteristiche (corrispondenza con la rappresentazione latente dell'insegnante).
Aumento dei Dati: Per affrontare il pregiudizio legato all'identità e la limitata diversità del dataset, gli autori utilizzano l'inpainting generativo (modello di diffusione Flux con SAM3 e ControlNet) per variare l'aspetto perioculare (tono della pelle, illuminazione) preservando l'etichetta di verità fondamentale dello sguardo.

3. Stereotipia dello Sguardo
Il framework include una rete di controllo che può orientare lo sguardo nello spazio latente. Predicendo uno spostamento residuo ( $\Delta h$ o $\Delta w^+$ ) basato sui vettori di origine e destinazione dello sguardo, il sistema può modificare la rappresentazione latente per cambiare la direzione dello sguardo preservando l'identità del soggetto, dimostrando che le caratteristiche apprese disaccoppiano efficacemente lo sguardo dall'aspetto.

Contributi Chiave

Framework Spazio-Latente End-to-End: Un framework innovativo che ottimizza congiuntamente la codifica ottica passiva e la decodifica neurale, consentendo l'inferenza diretta dello sguardo da 16 misurazioni scalari senza ricostruire immagini complete dell'occhio.
Prototipo Hardware Compatto: Un sistema di rilevamento ottico a singolo scatto che utilizza una MLA, maschere binarie ottimizzate e una matrice di fototransistor 4×4 con acquisizione FPGA. Questo design raggiunge una latenza end-to-end di 3,4 ms (inclusi rilevamento e computazione).
Pipeline Simulazione-Realtà: Una strategia di valutazione a due stadi che raggiunge un errore di simulazione cross-soggetto di 6,47° e un errore nel mondo reale calibrato per soggetto inferiore a 6° utilizzando solo 12–15 punti di calibrazione.

Risultati

Accuratezza vs Efficienza: Sul dataset ETH-XGaze, il metodo proposto raggiunge un errore angolare di 6,47° utilizzando solo 16 misurazioni e un MLP leggero (0,244M parametri, 0,49M FLOPs).
- Rispetto a una baseline ResNet18 16×16, riduce la dimensionalità di rilevamento di 16 volte, i parametri di circa 48 volte e il calcolo di circa 573 volte.
- Rispetto a una baseline ResNet18 256×256, riduce la dimensionalità di rilevamento di 4096 volte e il calcolo di circa 9300 volte.
- Supera backbones compatti come MobileNetV3 e EfficientNet-B0 in termini di efficienza di parametri e FLOP mantenendo un'accuratezza competitiva.
Latenza: Il sistema dimostra una latenza totale end-to-end di 3,4 ms su una CPU (3,19 ms per rilevamento/acquisizione ottica + 0,22 ms per inferenza). Questo supera significativamente i sistemi edge mobili basati su immagini convenzionali (tipicamente decine di millisecondi) e si avvicina alle prestazioni di tracker commerciali ad alta velocità specializzati (ad esempio, EyeLink 1000 Plus).
Prestazioni nel Mondo Reale: Con un affinamento specifico per il soggetto utilizzando 12 punti di calibrazione, il sistema raggiunge un errore angolare medio di 5,96°, con alcuni soggetti che raggiungono 4,5°.
Privacy: Il sistema preserva la privacy catturando solo caratteristiche latenti rilevanti per il compito piuttosto che immagini biometriche dell'occhio, come dimostrato dall'impossibilità di ricostruire l'identità del soggetto dalle misurazioni.

Significato e Affermazioni

Il paper afferma che spostare l'estrazione delle caratteristiche nel dominio ottico attraverso un design guidato dal compito offre una via praticabile per un tracciamento dello sguardo a latenza ultra-bassa ed energeticamente efficiente. Eliminando la necessità di lettura di immagini ad alta larghezza di banda e di elaborazione computazionale pesante, il sistema soddisfa i rigorosi requisiti di latenza <5 ms per le applicazioni XR immersive. Gli autori sottolineano che, sebbene l'attuale prototipo sia una prova di concetto, la drastica riduzione del volume di dati (da megapixel a 16 scalari) suggerisce una chiara strada per implementazioni altamente efficienti dal punto di vista energetico nei futuri dispositivi indossabili alimentati a batteria. Il lavoro evidenzia il potenziale del "rilevamento come inferenza" per sostituire la formazione di immagini convenzionale per specifici compiti di visione artificiale.