Riepilogo Tecnico: Stabilizzazione del Tracciamento Oculare Retinico Robusto tramite un Framework Algoritmico Debolmente Supervisionato

1. Enunciato del Problema

Il tracciamento oculare basato su immagini retiniche offre il potenziale per una precisione dello sguardo significativamente superiore rispetto ai metodi tradizionali basati sulla pupilla o sulla cornea utilizzati nella realtà aumentata/virtuale (AR/VR), poiché misura lo sguardo direttamente osservando la distribuzione della luce sulla retina rispetto alla fovea. Tuttavia, gli algoritmi esistenti si affidano principalmente alla registrazione classica tramite corrispondenza di modelli (ad esempio, correlazione incrociata) o a tecniche standard di registrazione basata sul deep learning. Questi approcci affrontano limitazioni critiche negli scenari di tracciamento retinico del mondo reale:

• Variabilità delle Caratteristiche: Le prestazioni peggiorano sotto grandi variazioni dello sguardo e dell'accomodazione, che inducono variazioni complesse nelle caratteristiche retiniche a causa degli spostamenti dell'angolo di visione e della profondità focale.
• Campo Visivo (FoV) Ridotto: I sistemi di tracciamento retinico ad alta risoluzione spesso hanno FoV ridotti (<10°). In queste regioni, le caratteristiche vascolari robuste (arterie e vene) sono frequentemente assenti o scarse, rendendo inefficaci i metodi di registrazione dipendenti dai vasi.
• Degradazione dell'Immagine: I metodi tradizionali che uniscono più immagini in una mappa di riferimento esplicita soffrono di degradazione delle caratteristiche a causa di artefatti di fusione delle immagini, anche con registrazione perfetta, poiché l'aspetto retinico varia tra le immagini nella stessa posizione anatomica.

2. Metodologia

Gli autori propongono un nuovo framework basato sull'apprendimento, debolmente supervisionato, progettato per operare in modo robusto con imaging retinico a FoV ridotto. Il sistema consta di tre fasi principali:

A. Costruzione dello Spazio delle Caratteristiche Canoniche

Invece di creare una mappa di riferimento esplicita e fusa, gli autori introducono uno Spazio delle Caratteristiche Canoniche (CFS).

• Processo: Viene acquisita una scansione a griglia rettangolare della retina. Partendo da un'immagine di riferimento centrale (sguardo 0°, 0°), viene eseguita una registrazione pairwise tra immagini adiacenti.
• Bundle Adjustment: Un algoritmo di bundle adjustment stima la posa spaziale di tutte le immagini all'interno della scansione.
• Trasformazione delle Caratteristiche: I punti chiave rilevati vengono mantenuti nelle loro posizioni stimate e trasformati in un sistema di coordinate canonico condiviso (originato al centro dell'immagine di riferimento). Crucialmente, i descrittori originali delle immagini sono preservati senza fusione, evitando la degradazione delle caratteristiche.
• Stima dello Sguardo: Lo sguardo è stimato confrontando un'immagine sorgente con questo CFS, localizzando il centro dell'immagine nelle coordinate canoniche e convertendo lo spostamento in pixel in angoli di sguardo tramite calibrazione del sistema.

B. Modello di Registrazione Debolmente Supervisionato

Un modello specializzato di deep learning gestisce sia la costruzione del CFS sia la successiva stima dello sguardo. Presenta due innovazioni chiave:

1. Miglioramento dell'Immagine e Descrizione dei Punti Chiave Congiunti:
   • Il modello utilizza una rete di miglioramento dell'immagine leggera (Zero-DCE) come backbone per prevedere aggiustamenti di curve polinomiali per pixel.
   • Impiega un backbone SuperPoint (codificatore condiviso, due teste di decodificatore) per il rilevamento e la descrizione dei punti chiave.
   • Strategia di Addestramento: Poiché è impossibile ottenere punti chiave ground-truth per le immagini retiniche, l'encoder e il rilevatore sono congelati utilizzando pesi pre-addestrati su un dataset sintetico non retinico. Il decodificatore dei descrittori è fine-tunato utilizzando una triplet loss.
   • Funzione di Perdita Conservativa dei Punti Chiave: Una nuova funzione di perdita ($L_{kp}$) incoraggia la rete di miglioramento a produrre immagini in cui il rilevatore pre-addestrato identifica più punti chiave e produce descrittori più robusti, senza richiedere nuove annotazioni ground-truth.
2. Rifiuto degli Outlier:
   • Le corrispondenze grossolane sono stabilite tramite corrispondenza bi-direzionale (mutual nearest-neighbor).
   • Una rete neurale grafica attentiva (adattata da SuperGlue) prevede punteggi di confidenza per queste corrispondenze.
   • Supervisione Debole: Il modello è addestrato utilizzando solo una matrice di traduzione ground-truth grossolana (derivata dall'annotazione manuale di 3+ corrispondenze per coppia) piuttosto che corrispondenze ground-truth dense. Durante l'addestramento viene applicato un bias casuale alle posizioni target per migliorare la generalizzazione.

C. Stima Finale dello Sguardo

Per ogni immagine sorgente in una sequenza video, le caratteristiche vengono estratte e confrontate con il CFS. La stima finale dello sguardo è calcolata come una media pesata in base al punteggio di corrispondenza degli spostamenti tra il centro dell'immagine sorgente e i punti corrispondenti nello spazio canonico.

3. Contributi Chiave

Il documento delinea tre contributi principali:

1. Nuovo Framework Algoritmico: Un approccio debolmente supervisionato per il tracciamento oculare retinico che migliora significativamente robustezza e accuratezza rispetto ai metodi dello stato dell'arte, affrontando specificamente le sfide del FoV ridotto e della scarsità di caratteristiche.
2. Registrazione nello Spazio delle Caratteristiche Canoniche: Un metodo che costruisce una mappa di riferimento in uno spazio delle caratteristiche piuttosto che nello spazio dei pixel, preservando le caratteristiche originali delle immagini ed evitando artefatti di fusione, abilitando al contempo un abbinamento robusto delle caratteristiche.
3. Modello di Registrazione Specializzato: Un modello congiunto di miglioramento dell'immagine e descrizione delle caratteristiche che opera sotto supervisione debole, utilizzando una funzione di perdita conservativa dei punti chiave per adattare i rilevatori pre-addestrati alle immagini retiniche senza richiedere annotazioni ground-truth dense.

4. Risultati Sperimentali

Il metodo è stato valutato su dataset di occhi fittizi e occhi reali (6 partecipanti umani) su un intervallo di sguardo di ±5°.

• Metriche di Prestazione: Il metodo proposto ha raggiunto un errore di sguardo al 95° percentile ($E_{95}$) di < 0,45° (specificamente 0,38° su occhi reali) sull'intera coorte.
• Confronti: Come mostrato nella Tabella 1, il metodo proposto ha superato significativamente i metodi classici (SIFT, ORB), i registri generici basati sul deep learning (SuperPoint, SuperGlue) e un metodo di tracciamento retinico dello stato dell'arte (Substrip NCC).
  • Errore Medio Occhio Reale: Proposto (0,18°) vs Substrip NCC (2,10°) vs SuperGlue (1,41°).
  • $E_{95}$ Occhio Reale: Proposto (0,38°) vs Substrip NCC (8,06°) vs SuperGlue (3,55°).
• Studio di Ablazione: La Tabella 3 dimostra che la rimozione di qualsiasi componente degrada le prestazioni. Notevolmente, la rimozione della Registrazione nello Spazio delle Caratteristiche Canoniche (CFSR) ha causato un crollo massiccio dell'accuratezza (l'errore medio è aumentato da 0,18° a 4,51°), evidenziando l'importanza di evitare la fusione delle immagini. Il modulo di rifiuto degli outlier è stato anch'esso critico per mantenere bassi tassi di errore.

5. Significato e Affermazioni

Gli autori affermano che questo lavoro stabilisce un framework robusto, accurato e pratico per il tracciamento oculare basato su immagini retiniche. Il significato risiede in:

• Robustezza alla Variabilità: La capacità di tracciare lo sguardo in modo affidabile nonostante le variazioni dell'angolo di visione, dell'accomodazione e la scarsità di caratteristiche vascolari nelle immagini a FoV ridotto.
• Scalabilità: L'algoritmo "snello" supporta sia la costruzione della mappa di riferimento sia la stima dello sguardo utilizzando un singolo modello addestrato, evitando la necessità di pipeline complesse a più stadi.
• Praticità: La natura debolmente supervisionata dell'addestramento riduce la dipendenza da annotazioni ground-truth dense difficili da ottenere, rendendo l'approccio più fattibile per il deployment nel mondo reale.

Il documento conclude che, sebbene i risultati attuali siano promettenti, il lavoro futuro potrebbe investigare fasi di allineamento fine (ad esempio, flusso ottico) ed espandere la valutazione a coorti più ampie e diversificate con intervalli di sguardo più ampi.