Riepilogo Tecnico: GazePrior

Enunciato del Problema

Il tracciamento oculare (ET) è una tecnologia fondamentale per le applicazioni avanzate di Realtà Aumentata (AR) e Realtà Virtuale (VR), abilitando funzionalità come il rendering foveato e l'interazione basata sullo sguardo. Tuttavia, l'addestramento di modelli di deep learning per l'ET è ostacolato dall'alto costo e dal tempo necessario per raccogliere dati reali con ground truth di alta qualità per ogni nuova generazione di dispositivi. Man mano che le configurazioni hardware (posizione delle telecamere, risoluzione) evolvono, diventano necessari nuovi set di addestramento composti da milioni di fotogrammi. I metodi esistenti di generazione di dati sintetici spesso mancano di realismo, mentre i dati reali ottenuti tramite crowdsourcing mancano di accuratezza. Inoltre, gli attuali approcci semi-sintetici che tentano di sintetizzare immagini degli occhi si basano spesso su maschere esplicite del bulbo oculare e rotazioni rigide, ignorando l'accoppiamento intricato tra il bulbo oculare, le palpebre e le caratteristiche facciali circostanti, il che degrada la plausibilità fisica e l'accuratezza.

Metodologia

Gli autori propongono GazePrior, un approccio zero-shot che sfrutta un prior 3D dello sguardo appreso per sintetizzare dati di addestramento ad alta fedeltà per nuovi dispositivi ET utilizzando solo dati di input sparsi da dispositivi esistenti. Il metodo consiste in due fasi principali:

1. Apprendimento di un Prior 3D dello Sguardo Disaccoppiato (Pre-addestramento)

Ispirati dai metodi per avatar 3D, gli autori addestrano un Neural Radiance Field (NeRF) condizionale che modella la distribuzione degli occhi umani attraverso diverse identità, direzioni dello sguardo e condizioni di illuminazione.

• Campo di Radiazione Condizionale: La rete $\Psi$ prende in input un punto 3D $x$, una direzione di vista $v$ e embedding latenti per l'identità del soggetto ($\hat{s}$), la direzione dello sguardo ($\hat{g}$) e l'illuminazione ($\hat{l}$). Produce in output densità $\sigma$ e colore $c$.
• Disaccoppiamento: L'architettura disaccoppia esplicitamente questi fattori. La rete di densità dipende dall'identità e dallo sguardo ma è indipendente dall'illuminazione ($\hat{l}$), mentre la rete di colore dipende da tutti e tre. Ciò garantisce che la coerenza geometrica non sia confusa dai cambiamenti di illuminazione.
• Rappresentazioni Latenti:
  • Soggetto ($\hat{s}$): Un vettore di un dizionario apprendibile per ogni identità, che incoraggia una rappresentazione condivisa a bassa frequenza che agisce come regolarizzatore contro gli artefatti (floaters).
  • Sguardo ($\hat{g}$): A differenza dei modelli di rotazione rigida del bulbo oculare, lo sguardo è codificato tramite codifica sinusoidale del vettore ground-truth dello sguardo. Ciò permette alla rete di apprendere i movimenti non rigidi delle palpebre e delle sopracciglia accoppiati ai cambiamenti dello sguardo.
  • Illuminazione ($\hat{l}$): Un vettore di un dizionario apprendibile che influenza solo l'output del colore, garantendo che la geometria ricostruita rimanga invariante rispetto all'illuminazione.
• Addestramento: Il modello viene pre-addestrato su un ampio dataset (Lin et al. [11]) contenente oltre 400 soggetti con immagini multi-vista, sguardi variabili e illuminazione, utilizzando una funzione di perdita che combina la ricostruzione RGB, la perdita percettiva e la divergenza KL per regolarizzare lo spazio latente.

2. Riorientamento con Input Sparsi (Fine-tuning)

Per adattare il prior a un nuovo dispositivo target (ad esempio, un visore con una configurazione di telecamere diversa), il metodo esegue un'ottimizzazione in due passaggi su immagini sorgenti sparse (ad esempio, 4 viste) da un visore esistente:

1. Ottimizzazione Latente: Con i pesi della rete pre-addestrata bloccati, il sistema ottimizza i codici latenti specifici ($\hat{s}_I, \hat{l}_I$) per il nuovo soggetto e l'illuminazione per adattarsi alle viste sorgenti sparse. L'embedding ground-truth dello sguardo $\hat{g}_I$ è calcolato dalle annotazioni note e mantenuto fisso.
2. Fine-tuning: I pesi della rete vengono sbloccati e ottimizzati congiuntamente ai codici latenti per catturare dettagli specifici della persona e raffinare la ricostruzione.
3. Sintesi: Il campo di radiazione risultante ad alta fedeltà viene renderizzato dalla prospettiva delle telecamere del dispositivo target. Ciò genera immagini di addestramento sintetiche che mantengono le annotazioni ground-truth dello sguardo originali ma corrispondono alle caratteristiche ottiche del nuovo dispositivo.

Contributi Chiave

• Primo Prior dello Sguardo Appreso: Il documento introduce il primo prior 3D dello sguardo che disaccoppia soggetto, sguardo e luce, presentando movimenti delle palpebre biologicamente accurati senza fare affidamento su maschere esplicite del bulbo oculare o rotazioni rigide.
• Ricostruzione 3D con Viste Sparse: Il metodo abilita la sintesi di nuove viste di alta qualità da input estremamente sparsi (anche solo 2-4 viste), un miglioramento significativo rispetto ai metodi precedenti che richiedevano acquisizioni multi-vista dense.
• Sintesi di Dati Zero-Shot: Fornisce una pipeline per generare dati di addestramento per nuovi dispositivi AR/VR senza raccogliere nuovi dati reali, colmando efficacemente il divario di dominio tra hardware legacy e nuovo.
• Prestazioni Superiori: I dati sintetizzati permettono ai modelli ET di raggiungere maggiore accuratezza e robustezza rispetto ai modelli addestrati su dati provenienti da baseline di sintesi concorrenti.

Risultati Sperimentali

Gli autori hanno valutato GazePrior utilizzando il visore Aria come dispositivo target e lo hanno confrontato con baseline all'avanguardia (ControllableGaze [10], Lin et al. [11]).

• Sintesi di Nuove Viste (NVS): Nelle valutazioni quantitative (PSNR, SSIM, MSE), GazePrior ha superato significativamente le baseline man mano che il numero di viste di input diminuiva. Con sole 2 viste di input, GazePrior ha raggiunto un divario di prestazioni di quasi 10 dB rispetto alla migliore baseline. I risultati qualitativi hanno mostrato che GazePrior produce dettagli ad alta fedeltà (ciglia, palpebre) con un divario di dominio minimo rispetto alle catture reali di Aria, mentre le baseline presentavano floaters e artefatti.
• Prestazioni del Tracciamento Oculare: Un modello ET addestrato su dati sintetizzati da GazePrior ha raggiunto un errore medio dell'angolo dello sguardo di 5,85° su dati di test reali di Aria. Questo rappresenta un miglioramento sostanziale rispetto alle baseline (12,53° e 12,69°) e si avvicina alle prestazioni di un modello addestrato su dati reali specifici del dispositivo (4,35°).
• Studi di Ablazione: Lo studio ha confermato che gli spazi latenti disaccoppiati e la separazione dell'illuminazione dalla densità sono critici. L'uso di un singolo vettore latente o il rendere la densità dipendente dalla luce ha portato a cali significativi delle prestazioni. La codifica sinusoidale dello sguardo si è rivelata più efficace rispetto ai dizionari appresi per lo sguardo.

Significato e Affermazioni

Il documento afferma che GazePrior affronta i costi proibitivi della raccolta dati per nuovi dispositivi AR/VR abilitando un approccio zero-shot al tracciamento oculare. Sfruttando dataset annotati esistenti da visori più vecchi e riorientandoli tramite un prior 3D appreso, il metodo permette agli sviluppatori di:

1. Addestrare tracker oculari robusti per nuovi dispositivi prima che siano fisicamente costruiti.
2. Valutare come il posizionamento delle telecamere impatta le prestazioni senza prototipazione fisica.
3. Raggiungere alta accuratezza senza la necessità di costose campagne di raccolta dati su larga scala.

Gli autori posizionano questo lavoro come un passo fondamentale verso l'abilitazione di funzionalità avanzate come il rendering foveato e le interazioni gaze-pinch in XR, rimuovendo il collo di bottiglia della raccolta dati che attualmente ostacola l'iterazione rapida nel settore. Riconoscono limitazioni, come la difficoltà di simulare riflessi corneali ad alta frequenza con campi di radiazione, ma sottolineano il successo del metodo nella generazione di dati di addestramento diversificati e realistici che superano le tecniche di sintesi esistenti.