DHECA-SuperGaze: Dual Head-Eye Cross-Attention and Super-Resolution for Unconstrained Gaze Estimation

Il paper presenta DHECA-SuperGaze, un metodo di deep learning che migliora la stima dello sguardo in ambienti non controllati integrando la super-risoluzione e un modulo di attenzione incrociata testa-occhio, correggendo inoltre errori di annotazione nel dataset Gaze360 e ottenendo risultati superiori rispetto allo stato dell'arte.

L'essenziale

🕵️‍♂️ Il Detective dell'Attenzione: Come DHECA-SuperGaze legge lo sguardo

Immagina di voler sapere esattamente cosa sta guardando una persona. Non è facile, specialmente se la persona è in movimento, la luce è scarsa o la foto è sfocata. È come cercare di indovinare dove sta guardando un amico in una folla affollata, tenendo gli occhi socchiusi e con una torcia che lampeggia.

Gli scienziati di questa ricerca (dall'Università di Zagabria) hanno creato un nuovo "super-detective" digitale chiamato DHECA-SuperGaze. Ecco come funziona, spiegato con parole semplici.

1. Il Problema: Foto Sgranate e Teste che si muovono

Fino a poco tempo fa, i computer facevano fatica a capire dove guardiamo per due motivi principali:

• La foto è troppo piccola: Spesso le immagini prese "nel mondo reale" (in strada, in ufficio) sono a bassa risoluzione. È come cercare di leggere un libro stampato in caratteri minuscoli e sfocati.
• La testa inganna: Se guardi di lato, la tua testa gira, ma i tuoi occhi potrebbero essere puntati dritti davanti a te. I vecchi computer pensavano che dove guardava la testa fosse anche dove guardavano gli occhi, ma non è sempre vero.

2. La Soluzione: Tre Superpoteri

Il nuovo metodo combina tre tecniche per diventare il migliore in assoluto.

A. Il "Fotografo Magico" (Super-Risoluzione)
Prima di analizzare l'immagine, il sistema usa un trucco chiamato Super-Risoluzione (SR).

• L'analogia: Immagina di avere una foto sgranata di un volto. Invece di analizzarla così com'è, il sistema la "ripara" e la ingrandisce, aggiungendo dettagli che sembravano persi. È come passare da una vecchia TV a tubo catodico a un televisore 4K cristallino.
• Cosa fa: Prende la foto della testa (che è spesso sfocata) e la rende nitida, permettendo al computer di vedere meglio i dettagli.

B. L'Occhio del "Duo Dinamico" (DHECA)
Il sistema non guarda solo la testa o solo gli occhi. Li guarda entrambi e li fa "parlare" tra loro.

• L'analogia: Pensa a due detective che lavorano su un caso. Uno osserva la testa (la direzione generale), l'altro osserva gli occhi (la direzione precisa). Invece di lavorare da soli, si scambiano le informazioni continuamente. Se il primo detective dice "La testa è girata a sinistra", il secondo risponde "Sì, ma i miei occhi sono puntati dritti!".
• La magia: Questo scambio di informazioni (chiamato Cross-Attention) permette al sistema di capire che, anche se la testa è girata, lo sguardo potrebbe essere altrove. È un lavoro di squadra perfetto.

C. La "Pulizia del Laboratorio" (Correzione dei Dati)
I ricercatori hanno scoperto un problema enorme: uno dei database più famosi al mondo (chiamato Gaze360) aveva delle etichette sbagliate.

• L'analogia: È come se in un manuale di istruzioni per guidare, alcune pagine dicessero "gira a destra" quando invece bisognava girare a sinistra.
• Cosa hanno fatto: Hanno controllato migliaia di foto, trovato quelle con le etichette sbagliate (dove il sistema pensava che la persona guardasse in un punto, ma in realtà era un'altra persona nella foto) e le hanno corrette. È come pulire un laboratorio prima di fare un esperimento scientifico.

3. I Risultati: Chi vince la gara?

Hanno messo alla prova il loro nuovo detective contro i migliori del mondo, usando due grandi "palestre" di test (i dataset Gaze360 e GFIE).

• Nel test "Stesso Campo" (Within-dataset): Quando il sistema veniva addestrato e testato sullo stesso tipo di dati, ha battuto tutti gli avversari. Ha ridotto l'errore di direzione dello sguardo di quasi mezzo grado (che è tantissimo in questo campo!).
• Nel test "Campo Straniero" (Cross-dataset): Questo è il vero test di intelligenza. Hanno addestrato il sistema su un dataset e lo hanno fatto testare su un dataset completamente nuovo (mai visto prima). Qui, DHECA-SuperGaze è stato un campione, superando gli altri di un margine enorme.

In Sintesi

Il paper ci dice che per leggere lo sguardo umano al meglio, non basta guardare la faccia. Bisogna:

1. Migliorare la qualità della foto (Super-Risoluzione).
2. Far collaborare testa e occhi in modo intelligente (DHECA).
3. Avere dati puliti e corretti per imparare bene.

Grazie a questo metodo, le future tecnologie potranno capire meglio se un autista è distratto, se uno studente sta copiando durante un esame o se una persona con disabilità motorie sta cercando di controllare il computer solo con lo sguardo. È un passo avanti enorme per rendere le macchine più attente a ciò che guardiamo noi umani.

Sommario tecnico

Titolo: DHECA-SuperGaze: Dual Head-Eye Cross-Attention and Super-Resolution for Unconstrained Gaze Estimation

1. Il Problema

La stima dello sguardo (gaze estimation) in ambienti non controllati ("in-the-wild") è una sfida complessa per diverse ragioni:

• Bassa risoluzione: Le immagini acquisite in scenari reali sono spesso a bassa risoluzione, rendendo difficile l'analisi dei dettagli fini degli occhi.
• Interazione testa-occhio insufficiente: I metodi attuali (SOTA) spesso non modellano adeguatamente la relazione bidirezionale tra l'orientamento della testa e la posizione degli occhi. È noto che esiste una divergenza significativa (fino a 35°) tra la direzione dello sguardo e l'allineamento della testa.
• Errori di annotazione: È stato identificato un problema critico nel dataset Gaze360, uno dei più utilizzati e diversificati: alcune annotazioni dei riquadri di delimitazione (bounding boxes) per il viso e gli occhi sono errate, spesso riferendosi a soggetti diversi da quello centrale per cui è registrato il vettore dello sguardo.

2. Metodologia: DHECA-SuperGaze

Il paper propone un approccio basato sul deep learning che combina Super-Risoluzione (SR) e un modulo di Cross-Attention Duale (DHECA). L'architettura è ibrida (CNN-Transformer) e funziona sia in configurazioni statiche (singola immagine) che temporali (sequenze video).

A. Pre-elaborazione e Super-Risoluzione

• Input: L'immagine di input è l'immagine del viso (head image).
• Rilevamento: Vengono utilizzati landmark facciali (tramite dlib) per localizzare gli occhi e ritagliare le immagini degli occhi (eye crops).
• Super-Risoluzione (SR): L'immagine del viso viene elaborata da un modello SR all'avanguardia (Real-DRCT-GAN) per aumentare la risoluzione e recuperare dettagli persi.
• Multi-scala: L'immagine del viso ad alta risoluzione viene ridimensionata in quattro scale diverse (224, 200, 175, 150 pixel) e poi riportata alla risoluzione originale per catturare caratteristiche a diverse granularità.
• Configurazione Temporale: Per le sequenze video, l'elaborazione SR e il ritaglio degli occhi avvengono su ogni timestep (T=7), con un effetto di "zoom" che si concentra sul frame centrale.

B. Estrazione delle Caratteristiche

• Vengono utilizzati due backbone CNN (ResNet18): uno per le immagini del viso (multi-scala) e uno per le immagini degli occhi.
• Le caratteristiche estratte vengono convertite in token (sequenze di vettori) pronti per l'elaborazione tramite Transformer.

C. Modulo DHECA (Dual Head-Eye Cross-Attention)

Questo è il cuore innovativo del metodo:

• Meccanismo: A differenza dei metodi precedenti che usano solo un'attenzione unidirezionale (es. dagli occhi alla testa), DHECA implementa un'attenzione bidirezionale.
• Funzionamento: I token della testa e degli occhi vengono proiettati in matrici Query (Q), Key (K) e Value (V).
  • In un ramo, gli occhi forniscono le Query e la testa fornisce Key/Value.
  • Nell'altro ramo, la testa fornisce le Query e gli occhi forniscono Key/Value.
• Obiettivo: Questo permette un affinamento reciproco delle caratteristiche visive, consentendo al modello di comprendere come l'orientamento della testa influenzi la posizione degli occhi e viceversa, migliorando la previsione dello sguardo in condizioni di occlusione o angoli estremi.

D. Predizione

• I token di classificazione (CLS) finali dai due rami vengono concatenati e passati a un MLP per prevedere gli angoli di Yaw (rotazione orizzontale) e Pitch (rotazione verticale).
• Viene utilizzata una trasformazione trigonometrica (seno e coseno) per evitare problemi di discontinuità agli angoli di 180°.

3. Contributi Chiave

1. Correzione del Dataset Gaze360: Gli autori hanno identificato e corretto errori di annotazione significativi nel dataset Gaze360. Hanno creato grafici di distribuzione delle posizioni del viso per isolare le annotazioni errate e riapplicato il rilevamento del viso. Hanno dimostrato che l'uso di questa versione "rettificata" migliora le prestazioni di tutti i modelli addestrati su di essa.
2. Modulo DHECA: Introduzione di un nuovo meccanismo di attenzione incrociata duale che sfrutta appieno le interazioni bidirezionali tra le caratteristiche del viso e degli occhi, superando i limiti delle approcci unidirezionali.
3. Configurazione Ottimale SR: Hanno determinato empiricamente che la configurazione migliore consiste nell'applicare la Super-Risoluzione solo alle immagini del viso (mantenendo gli occhi originali ritagliati), piuttosto che applicare SR anche agli occhi o non usarla affatto.

4. Risultati Sperimentali

Il metodo è stato valutato sui dataset Gaze360 e GFIE in scenari statici e temporali, confrontandosi con lo stato dell'arte (SOTA).

• Valutazione Within-Dataset (Addestramento e Test sullo stesso dataset):
  • Statico: Riduzione dell'errore angolare (AE) di 0.48° su Gaze360 e 2.95° su GFIE rispetto al secondo miglior metodo.
  • Temporale: Riduzione dell'AE di 0.59° su Gaze360 e 3.00° su GFIE.
• Valutazione Cross-Dataset (Addestramento su un dataset, Test su un altro):
  • Dimostrato un eccellente potere di generalizzazione.
  • Miglioramenti significativi rispetto ai modelli SOTA: oltre 1.53° di miglioramento su Gaze360 e 3.99° su GFIE in configurazioni statiche e temporali.
• Ablation Study:
  • Il modulo DHECA ha superato sia l'assenza di attenzione che l'uso di Self-Attention o Cross-Attention unidirezionale (come in CrossGaze).
  • L'uso della SR sulle immagini del viso ha confermato un miglioramento sistematico delle prestazioni.
  • L'addestramento sulla versione rettificata di Gaze360 ha portato a un miglioramento medio di ~0.15° per tutti i modelli che utilizzano annotazioni oculari.

5. Significato e Impatto

Il lavoro di DHECA-SuperGaze rappresenta un passo avanti significativo nella stima dello sguardo non vincolata:

• Robustezza: La combinazione di SR e attenzione incrociata duale rende il sistema molto più robusto a immagini a bassa risoluzione e a variazioni nell'orientamento della testa.
• Qualità dei Dati: La correzione del dataset Gaze360 è un contributo fondamentale per la comunità di ricerca, poiché fornisce un benchmark più affidabile per futuri sviluppi.
• Applicazioni Pratiche: Le prestazioni superiori in scenari reali (cross-dataset) rendono questa tecnologia più pronta per applicazioni critiche come il monitoraggio della distrazione dei guidatori, la sorveglianza durante gli esami e le interfacce uomo-macchina per persone con disabilità motorie.

In sintesi, il paper dimostra che modellare esplicitamente l'interazione bidirezionale testa-occhio e migliorare la risoluzione delle immagini di input sono strategie essenziali per raggiungere prestazioni di livello SOTA nella stima dello sguardo "in-the-wild".