Sintesi Tecnica: ARGaze: Transformer Autoregressivi per la Stima del Gaze Egocentrico Online

Definizione del Problema

Il documento affronta la stima del gaze egocentrico online, ovvero il compito di predire dove sta guardando chi indossa una telecamera utilizzando solo i fotogrammi video passati e correnti. A differenza della stima del gaze in terza persona, che si basa su segnali osservabili della posa della testa e degli occhi, gli scenari egocentrici mancano di segnali facciali diretti. Inveve, i modelli devono inferire l'attenzione visiva da indizi sparsi e indiretti, come il contenuto della scena e le interazioni mano-oggetto.

Gli approcci mainstream attuali inquadrano questo problema come un problema di integrazione spazio-temporale basato su clip offline. Questi metodi impiegano tipicamente convoluzioni 3D o meccanismi di attenzione bidirezionale che richiedono l'accesso al contesto temporale futuro. Questa architettura viola i vincoli di tempo reale, rendendoli impraticabili per applicazioni di streaming come la Realtà Aumentata (AR) e la robotica assistiva. Inoltre, questi modelli spesso trattano i fotogrammi come clip parallelizzate piuttosto che come sequenze comportamentali continue, fallendo nel catturare la stabilità fisiologica delle fissazioni umane e portando a predizioni erratiche sotto perturbazioni visive.

Metodologia: ARGaze

Gli autori propongono ARGaze, un framework che riformula la stima del gaze come un compito di generazione di sequenze autoregressivo causale. Ispirandosi alla decodifica autoregressiva condizionata dalla visione nei modelli vision-language, ARGaze predice le heatmap del gaze sequenzialmente, condizionando ogni predizione alle caratteristiche visive correnti e a una storia limitata di stime del gaze precedenti.

Il framework è composto da cinque componenti principali:

1. Scene Encoder: Utilizza un modello di fondazione visiva pre-addestrato (DINOv3) per estrarre caratteristiche spazio-temporali gerarchiche dal fotogramma corrente ($I_t$). Incorpora inoltre dei Tracking-aware Templates, che sono ritagli localizzati ad alta risoluzione da fotogrammi storici centrati sulle coordinate del gaze precedentemente predette. Questi template forniscono specifici priori visivi per aiutare il modello a mantenere l'attenzione sui target durante rapidi movimenti della telecamera.
2. Autoregressive Heatmap Tokenizer: Converte una finestra limitata di storia recente del gaze ($H_{t-k:t-1}$) in token temporali ad alta dimensione. Ciò comporta il downsampling delle heatmap storiche, la loro proiezione nello spazio latente tramite convoluzioni 1$\times$1 e l'aggiunta di embedding temporali e di tipo di token per distinguere tra fissazioni passate e token di query correnti.
3. Tracking-aware Template Module: Ritaglia dinamicamente i fotogrammi storici basandosi sulla soft-argmax della precedente heatmap di predizione. Questo fornisce al decoder un contesto visivo localizzato, agendo come un indizio di tracciamento per disambiguare oggetti simili.
4. Causal Transformer Decoder: L'unità centrale di elaborazione che integra i token del gaze storico e le caratteristiche visive (scena globale + template di tracciamento) tramite strati di self-attention e cross-attention. Fondamentalmente, opera in modo strettamente causale, accedendo solo alle osservazioni correnti e passate. Mantiene una finestra di storia limitata, garantendo un'impronta di memoria costante indipendentemente dalla lunghezza del video.
5. Spatial Reconstruction Head: Un ramo di upsampling convoluzionale che mappa i token della sequenza generata nuovamente nel dominio spaziale per produrre la heatmap finale del target del gaze 2D ($H_t$).

Training e Inferenza:

• Training: Il modello è ottimizzato utilizzando una perdita di divergenza di Kullback-Leibler (KL) tra le heatmap predette e quelle reali (ground-truth). Per colmare il divario tra il training (utilizzando la storia ground-truth) e l'inferenza (utilizzando la storia predetta), gli autori impiegano il scheduled sampling.
• Inferenza: Il sistema opera in modalità streaming. Per ogni fotogramma in arrivo, il decoder genera una predizione condizionata dalle caratteristiche visive e dalla finestra di storia a dimensione fissa, garantendo un uso costante della memoria e una reattività in tempo reale.

Contributi Chiave

1. Formulazione Autoregressiva Causale: Il documento introduce ARGaze, che inquadra la stima del gaze egocentrico come un compito di predizione di sequenze causali, consentendo un'inferenza strettamente online senza contesto futuro.
2. Architettura a Memoria Limitata: Utilizzando una finestra di storia del gaze a lunghezza fissa, il metodo garantisce un uso costante della memoria, supportando uno streaming a lungo termine efficiente senza i colli di bottiglia computazionali dei modelli a sequenza illimitata.
3. Robustezza e Accuratezza Migliorate: Il framework integra la modellazione temporale esplicita con la comprensione della scena visiva, dimostrando una maggiore robustezza contro il bias indotto dalle mani e condizioni fuori distribuzione (OOD) rispetto ai metodi precedenti.

Risultati Sperimentali

Gli autori hanno valutato ARGaze su tre benchmark: EGTEA Gaze+, Ego4D ed EgoExo4D.

• Performance: ARGaze ha raggiunto prestazioni state-of-the-art su tutti i benchmark sotto valutazione online.
  • Su EGTEA Gaze+, ha ottenuto un F1 score del 44,48%, superando il baseline causale GLC adattato (41,57%) di quasi 3 punti percentuali.
  • Su Ego4D, ha raggiunto un F1 del 41,82%.
  • Su EgoExo4D, ha ottenuto un F1 del 70,58% e una precisione del 75,66%.
• Efficienza: Nei test di streaming su video lunghi su una GPU NVIDIA RTX A6000, ARGaze ha dimostrato significativi guadagni di efficienza rispetto al baseline GLC:
  • Velocità di Inferenza: Accelerazione di 1,82$\times$ (88,59 FPS rispetto a 48,74 FPS).
  • Latenza: Riduzione della latenza media da 20,56 ms a 11,29 ms.
  • Memoria: Riduzione dell'allocazione di memoria CUDA di 3,13$\times$ (168,2 MB rispetto a 526,3 MB).
• Robustezza:
  • Fuori Distribuzione (OOD): ARGaze ha mantenuto prestazioni solide attraverso gli split OOD (partecipanti, siti e task non visti), suggerendo che cattura dinamiche di attenzione trasferibili piuttosto che fare overfitting su indizi specifici del dominio.
  • Dipendenza dalle Mani: A differenza dei baseline che soffrono di "hand-bias" (tracciamento errato delle mani in movimento) o di un crollo delle prestazioni quando le mani occludono la vista, ARGaze ha mantenuto una fissazione stabile sugli oggetti rilevanti per il task sfruttando le traiettorie del gaze storiche per filtrare le distrazioni visive.
• Test nel Mondo Reale: Negli esperimenti utilizzando un visore Meta Quest 3, ARGaze ha costantemente superato il baseline GLC, migliorando l'F1 della Heatmap da 0,0411 a 0,4667 in attività quotidiane come organizzare la scrivania o preparare il caffè.

Significato e Rivendicazioni

Il documento afferma che ARGaze affronta una lacuna critica nella letteratura esistente: il disallineamento tra i paradigmi di modellazione attuali (che trattano il gaze come clip parallelizzate) e la natura fisiologica del gaze umano (caratterizzato da fissazioni stabili e saccadi). Imponendo una stretta causalità e una memoria limitata, gli autori sostengono che la modellazione autoregressiva sia essenziale per una predizione robusta e in tempo reale in ambienti di streaming.

Gli autori posizionano ARGaze come una soluzione pratica per la Realtà Aumentata e la robotica assistiva, dove i sistemi devono anticipare l'intento dell'utente e fornire una guida proattiva man mano che ogni fotogramma arriva. Il lavoro sottolinea che una stima del gaze accurata, a bassa latenza e con memoria efficiente è fondamentale per i sistemi di IA centrati sull'uomo che comprendono l'intento dell'utente senza fare affidamento su segnali espliciti di testa o occhi. Gli autori notano che, sebbene il lavoro faccia avanzare le capacità algoritmiche, la futura implementazione dovrà dare priorità alla privacy e alle considerazioni etiche riguardanti i dati sensibili dell'intento dell'utente.