GazeShift: Unsupervised Gaze Estimation and Dataset for VR

Il paper presenta GazeShift, un framework non supervisionato per la stima dello sguardo in realtà virtuale che, sfruttando il nuovo dataset su larga scala VRGaze, raggiunge prestazioni in tempo reale con alta precisione e senza bisogno di dati etichettati.

L'essenziale

Immagina di indossare un visore per la Realtà Virtuale (come un Meta Quest o un Apple Vision Pro). Per rendere l'esperienza magica, il visore deve sapere esattamente dove stai guardando. Se guardi un oggetto, il computer dovrebbe renderlo nitido e sfocare il resto, proprio come fanno i nostri occhi nella vita reale.

Il problema? Insegnare al computer a "leggere" lo sguardo è difficile. Di solito, per farlo, servono migliaia di foto degli occhi etichettate manualmente da umani (es: "in questa foto la persona guarda in alto a sinistra"). Ma etichettare queste foto è costoso, lento e spesso impreciso, perché è difficile sapere con certezza dove una persona sta fissando lo sguardo in quel preciso istante.

Gli autori di questo paper, un team di Samsung e dell'Università Bar-Ilan, hanno risolto il problema con due idee geniali: un nuovo dataset e un nuovo metodo di apprendimento.

Ecco la spiegazione semplice, con qualche analogia per renderla chiara.

1. Il Problema: La "Fotografia" sbagliata

La maggior parte dei visori moderni ha le telecamere posizionate di lato rispetto all'occhio (non proprio davanti). È come se qualcuno ti facesse una foto mentre giri la testa di tre quarti.

• Il vecchio problema: I dati esistenti erano come foto scattate di fronte (perfette, ma non realistiche per i visori moderni).
• La soluzione: Hanno creato VRGaze, un'enorme raccolta di 2,1 milioni di foto degli occhi presi proprio da questi visori "di lato". È come avere un dizionario completo della lingua che i visori parlano realmente, invece di usare un dizionario di una lingua che nessuno usa più.

2. La Soluzione Magica: "GazeShift" (Il Cambia-Sguardo)

Invece di insegnare al computer con etichette noiose ("guarda qui", "guarda là"), hanno creato un sistema chiamato GazeShift che impara da solo, senza bisogno di un insegnante.

Immagina di avere due foto dello stesso occhio:

1. Foto A: L'occhio guarda dritto.
2. Foto B: Lo stesso occhio guarda a sinistra.

Come funziona GazeShift?
Pensa a un trucco di magia o a un fotografo molto intelligente:

• Prende la Foto A (la fonte).
• Prende un "codice segreto" dalla Foto B (il bersaglio) che dice: "Devi spostarti a sinistra".
• Il sistema prova a trasformare la Foto A facendola sembrare la Foto B, usando solo quel codice segreto.

Se il sistema ci riesce e la foto trasformata assomiglia alla Foto B, allora il "codice segreto" ha funzionato! Ha imparato che quel codice significa "guarda a sinistra".

• Il trucco: Non ha bisogno di sapere dove guarda la persona. Deve solo riuscire a trasformare l'immagine da uno stato all'altro. Se ci riesce, ha imparato a capire lo sguardo da solo.

3. Il Segreto: Separare l'Essenza dal Rumore

C'è un problema: quando muovi gli occhi, cambia anche un po' la luce o la posizione delle palpebre. Il sistema potrebbe confondersi.
GazeShift usa un filtro intelligente (chiamato "attenzione").

• Immagina di avere due persone che parlano in una stanza rumorosa. GazeShift è come un assistente che si concentra solo sulle labbra che si muovono (lo sguardo) e ignora il rumore di fondo (la pelle, le ombre, i riflessi).
• Il sistema impara a dire: "Ah, questa parte dell'immagine cambia perché l'occhio si è mosso, quella parte no". Così separa lo "sguardo" dalla "faccia".

4. I Risultati: Veloce, Preciso e Leggero

• Precisione: Su i loro nuovi dati, il sistema sbaglia di meno di 2 gradi. È quasi perfetto, quasi come se fosse stato addestrato da un umano, ma senza che un umano abbia mai scritto un'etichetta.
• Velocità: Funziona in 5 millisecondi direttamente sul chip del visore. È come se il visore pensasse più velocemente di quanto tu batti le palpebre.
• Efficienza: È così leggero che occupa 10 volte meno spazio e fa 35 volte meno calcoli rispetto ai metodi precedenti. È come sostituire un camioncino pesante con una bicicletta elettrica: arriva alla stessa meta, ma consuma pochissima energia.

In sintesi

Hanno creato un nuovo manuale di istruzioni (il dataset VRGaze) specifico per i visori moderni e un algoritmo che impara guardando se stesso (GazeShift).
Invece di dire al computer "guarda qui", gli hanno detto: "Prova a trasformare questa foto in quella lì". Se ci riesce, allora ha capito come funzionano gli occhi umani.

È una soluzione senza etichette, veloce e pronta per essere usata subito nei visori di domani, rendendo l'esperienza di Realtà Virtuale molto più naturale e immersiva.

Sommario tecnico

1. Il Problema

L'estimazione dello sguardo (gaze estimation) è fondamentale per le interazioni uomo-computer, la realtà virtuale (VR) e le tecnologie assistive. Tuttavia, la ricerca nello specifico ambito VR affronta due ostacoli principali:

• Scarsità di dati: Mancano dataset su larga scala e accuratamente etichettati catturati con configurazioni di telecamere off-axis (fuori asse), tipiche degli headset VR moderni (es. Apple Vision Pro, Meta Quest). Le telecamere off-axis introducono distorsioni prospettiche forti che i dataset esistenti (spesso on-axis) non catturano.
• Difficoltà di annotazione: Etichettare manualmente lo sguardo è complesso e costoso. La fissazione su un target non è garantita a causa di saccadi involontari e incertezze nella fissazione, rendendo i dati supervisionati rumorosi e difficili da ottenere.
• Limiti dei metodi attuali: I metodi di apprendimento non supervisionato esistenti sono progettati per telecamere remote RGB (viso intero) e non si adattano bene alla modalità infrarossa "near-eye" (vicino all'occhio) dei visori VR.

2. Metodologia: GazeShift

Gli autori propongono GazeShift, un framework non supervisionato per l'apprendimento di rappresentazioni dello sguardo, progettato specificamente per immagini infrarosse near-eye ma generalizzabile anche a scenari remoti.

Architettura e Principi Chiave

Il modello si basa sull'idea che, in una telecamera montata sull'headset, la maggior parte della variazione di aspetto tra due fotogrammi consecutivi dello stesso occhio sia dovuta al cambiamento dello sguardo.

• Encoder Separati: A differenza di approcci precedenti che usano un encoder condiviso, GazeShift utilizza due encoder distinti:
  • Un Encoder di Aspetto (più profondo) che estrae le caratteristiche spaziali e strutturali dell'immagine sorgente.
  • Un Encoder di Sguardo (più leggero) che estrae un embedding vettoriale dal fotogramma target.
• Redirezione Guidata dall'Attenzione: Il modello impara a trasformare l'immagine sorgente per corrispondere all'immagine target, condizionando la trasformazione sull'embedding dello sguardo del target. Questo avviene tramite un meccanismo di Cross-Attention: l'embedding dello sguardo agisce come query per modulare globalmente le caratteristiche di aspetto, permettendo un "disentanglement" (separazione) efficace tra direzione dello sguardo e caratteristiche personali dell'occhio.
• Loss Funzione Consapevole dello Sguardo (Gaze-Aware Loss): Invece di usare una perdita di ricostruzione standard su tutti i pixel, il modello genera mappe di attenzione che evidenziano le regioni rilevanti per lo sguardo (es. iride). Una funzione di perdita ponderata utilizza queste mappe per focalizzare l'apprendimento sulle aree critiche, sopprimendo il rumore delle regioni periferiche (es. palpebre, sfondo) senza bisogno di maschere esterne.

Calibrazione

Dopo l'addestramento non supervisionato, il modello può essere adattato:

• VR (Near-eye): Utilizza una calibrazione "few-shot" leggera (pochi punti fissi etichettati) per adattare l'embedding a un utente specifico, compensando l'angolo kappa (offset tra asse ottico e visivo) e lo slittamento dell'headset.
• Remote Camera: Utilizza un regressore MLP condiviso su un pool di campioni etichettati.

3. Contributi Chiave

1. VRGaze Dataset: Il primo dataset su larga scala per l'estimazione dello sguardo in VR con telecamere off-axis. Contiene 2,1 milioni di immagini infrarosse sincronizzate (occhio sinistro e destro) raccolte da 68 partecipanti con diverse etnie, età e generi.
2. Framework GazeShift: Un metodo non supervisionato che non richiede dati etichettati per l'addestramento principale, basato su meccanismi di attenzione standard e privo di componenti geometriche complesse o priors specifici.
3. Generalizzazione Cross-Modale: Il modello dimostra capacità di generalizzare sia su dataset VR off-axis che su dataset di telecamere remote (MPIIGaze), superando i metodi supervisionati e non supervisionati esistenti in termini di efficienza e precisione.

4. Risultati Sperimentali

Su VRGaze (Ambito VR Off-Axis)

• Precisione: Con calibrazione per persona, GazeShift raggiunge un errore medio di 1,84°, avvicinandosi alla precisione dei metodi supervisionati (1,54°) e superando significativamente i baseline non supervisionati (es. Cross-Encoder a 2,15°).
• Robustezza: Il modello mantiene prestazioni competitive anche in modalità "person-agnostic" (senza calibrazione specifica per utente).
• Validazione del Disentanglement: Analisi delle embedding mostrano che le variazioni di aspetto (luce, contrasto) influenzano poco l'embedding dello sguardo, mentre le variazioni dello sguardo modificano significativamente l'embedding, confermando la corretta separazione delle feature.

Su MPIIGaze (Ambito Telecamera Remota)

• Efficienza: GazeShift (con encoder MobileNetV2) raggiunge un errore di 7,15° su MPIIGaze, superando i baseline supervisionati e non supervisionati, pur utilizzando 10 volte meno parametri e 35 volte meno FLOPs (operazioni in virgola mobile).
• Scalabilità: Utilizzando un encoder ResNet-18, l'errore scende a 7,56°, mantenendo lo stesso budget computazionale dei baseline ma con una rappresentazione appresa in modo non supervisionato.

Efficienza e Deployment

• Tempo di Inferenza: Implementato nativamente su un GPU VR (Exynos 2200/Xclipse 920), il modello esegue l'inferenza in 5 ms, rendendolo adatto per applicazioni in tempo reale su dispositivi edge.

5. Significato e Impatto

Il lavoro di GazeShift risolve il collo di bottiglia della mancanza di dati etichettati per la VR, fornendo un dataset essenziale (VRGaze) e un metodo di apprendimento che riduce drasticamente la dipendenza dalle annotazioni manuali.

• Praticità: La capacità di funzionare in tempo reale su hardware limitato e di adattarsi rapidamente agli utenti tramite pochi esempi rende la tecnologia pronta per il mercato consumer.
• Generalità: L'approccio basato sull'attenzione per la redirezione dello sguardo offre un paradigma generale per l'apprendimento di rappresentazioni non supervisionate in domini dove le variazioni di aspetto codificano variazioni strutturate (es. pose della testa, movimento facciale).

In sintesi, GazeShift rappresenta un passo avanti significativo verso sistemi di tracciamento oculare VR robusti, economici da addestrare e pronti per il deployment su dispositivi consumer.