GazeMoE: Perception of Gaze Target with Mixture-of-Experts

Il paper presenta GazeMoE, un nuovo framework end-to-end che utilizza un meccanismo Mixture-of-Experts su modelli visivi pre-addestrati per stimare con stato dell'arte i target dello sguardo umano integrando segnali multi-modali e affrontando lo sbilanciamento delle classi.

L'essenziale

Immagina di essere in una stanza piena di persone e cerchi di capire dove sta guardando qualcuno. È facile se la persona ti guarda dritto negli occhi, ma diventa un rompicapo se guarda di lato, se c'è un ostacolo, se è un bambino che si muove troppo, o se guarda qualcosa che si trova fuori dalla foto (e quindi non lo vedi).

Fino a poco tempo fa, i computer facevano fatica a risolvere questo rompicapo perché usavano "un solo cervello" per analizzare tutte le situazioni. Se il computer era bravo a capire gli occhi, spesso si perdeva quando doveva guardare la postura della testa o il contesto della scena.

La Soluzione: GazeMoE (Il "Comitato di Esperti")

Gli autori di questo studio hanno creato un nuovo sistema chiamato GazeMoE. Per capire come funziona, immagina invece di un singolo detective che deve fare tutto da solo, di avere un comitato di esperti riuniti in una stanza.

Ecco come funziona la magia, passo dopo passo:

1. Il "Libro di Conoscenza" Congelato (DINOv2)

Prima di tutto, il sistema usa un cervello artificiale gigante e già molto intelligente (chiamato DINOv2), che è stato addestrato guardando milioni di immagini. È come se avessimo un libro di testo enciclopedico sulla visione umana che non dobbiamo riscrivere, ma solo consultare. Questo libro ci dice già dove sono gli occhi, la testa e gli oggetti nella stanza.

2. Il Sistema "Mixture-of-Experts" (MoE)

Qui entra in gioco l'idea geniale. Invece di far leggere tutto il libro a un solo assistente, il sistema ha un responsabile (il "gatekeeper") che decide quale esperto chiamare per ogni singola situazione.

Immagina quattro esperti specializzati:

• L'Esperto Occhi: Guarda solo le pupille e le palpebre.
• L'Esperto Testa: Analizza l'angolo del collo e la direzione dello sguardo.
• L'Esperto Mani/Gesti: Osserva se la persona sta indicando qualcosa.
• L'Esperto Contesto: Guarda la stanza intera per capire cosa c'è di interessante.

Come funziona nella pratica?

• Se la persona ha gli occhi coperti dalle mani, il responsabile non chiama l'Esperto Occhi (che sarebbe confuso), ma chiama l'Esperto Testa e l'Esperto Contesto.
• Se la persona è un bambino che non guarda in camera, il responsabile attiva gli esperti che capiscono i movimenti strani.
• Il vantaggio: Il sistema non spreca energia analizzando tutto con tutti gli esperti. Ne attiva solo i due o tre più utili per quel momento specifico. È come avere un'auto ibrida che usa la batteria elettrica in città e il motore a benzina in autostrada: efficiente e potente.

3. Imparare dagli Errori (La Bilancia)

C'è un altro problema: nei dati reali, le persone guardano spesso cose che non sono nella foto (fuori campo). I vecchi computer tendevano a ignorare queste situazioni perché erano meno frequenti nei dati di addestramento.

GazeMoE usa una tecnica speciale (chiamata Focal Loss) che è come un insegnante severo ma giusto: quando il computer sbaglia a prevedere dove guarda qualcuno (specialmente se è una situazione rara o difficile), l'insegnante gli fa fare più esercizi su quel caso specifico. In questo modo, il sistema impara a non ignorare le situazioni "fuori campo".

4. Allenamento con "Occhiali da Sole" e "Filtri" (Augmentation)

Per rendere il sistema robusto, gli autori lo hanno allenato mostrandogli immagini modificate: a volte più scure, a volte con colori cambiati, a volte ritagliate in modo strano. È come se allenassimo un atleta facendogli correre sotto la pioggia, col vento e con gli occhiali da sole: quando poi dovrà correre in una giornata di sole perfetto, sarà invincibile.

I Risultati: Perché è speciale?

Il paper mostra che GazeMoE è il migliore al mondo (State-of-the-Art) su diversi test:

• Precisione: Capisce esattamente dove la persona sta guardando, anche in scenari complessi come sport all'aperto o pubblicità TV.
• Adattabilità: Funziona bene anche con immagini distorte (come quelle delle telecamere a 360 gradi) o con bambini, situazioni dove i vecchi sistemi fallivano.
• Velocità: Nonostante sia intelligente, è veloce. Può analizzare circa 13 immagini al secondo, abbastanza per essere usato in tempo reale, ad esempio per far capire a un robot umanoide a chi sta parlando o cosa sta guardando.

In sintesi

GazeMoE è come avere un team di detective specializzati che lavorano insieme in modo intelligente. Invece di usare un approccio "taglia e incolla" rigido, il sistema sceglie dinamicamente gli strumenti giusti per capire dove sta guardando una persona, anche se la situazione è confusa, oscura o fuori dal campo visivo della telecamera. È un passo avanti fondamentale per far capire ai robot e alle intelligenze artificiali cosa pensiamo e cosa ci interessa guardare.

Sommario tecnico

1. Il Problema

La stima del target dello sguardo (dove una persona sta guardando) è fondamentale per applicazioni robotiche e sistemi autonomi che devono comprendere l'attenzione umana, l'interazione uomo-robot, la fatica dei conducenti o i disturbi dello spettro autistico.
Tuttavia, esistono diverse sfide critiche:

• Generalizzazione: I modelli esistenti spesso falliscono in scenari reali complessi rispetto a dataset di laboratorio.
• Fiducia nei segnali visivi: L'estrazione del target dipende da quattro segnali chiave: punti di riferimento oculari, orientamento della testa, gesti e salienza contestuale. Questi segnali possono essere occlusi, distorti (es. lenti grandangolari) o assenti.
• Squilibrio delle classi: Nei dataset reali, i target "fuori campo" (out-of-frame, dove lo sguardo è rivolto verso oggetti non visibili nella telecamera) sono spesso sottorappresentati rispetto a quelli "in campo", rendendo difficile l'addestramento di classificatori robusti.
• Limiti delle architetture attuali: I metodi precedenti non hanno sfruttato appieno le capacità dei modelli foundation pre-addestrati né hanno esplorato architetture adattive per gestire la variabilità dei segnali visivi.

2. Metodologia: GazeMoE

Gli autori propongono GazeMoE, un framework end-to-end che combina un modello foundation congelato con un decoder basato su Mixture-of-Experts (MoE).

• Architettura Encoder-Decoder:
  • Encoder: Utilizza un modello DINOv2 (ViT-Large) pre-addestrato e congelato per estrarre rappresentazioni spaziali fini-granulari della scena. Questo permette di catturare implicitamente segnali come occhi, testa e contesto senza bisogno di pathway separati addestrabili complessi.
  • Decoder: È il cuore dell'innovazione. Invece di un semplice strato feed-forward, utilizza blocchi MoE all'interno di un decoder Transformer.
• Meccanismo Mixture-of-Experts (MoE):
  • Il modulo MoE integra dinamicamente conoscenze condivise e specifiche dello scenario.
  • Include 1 esperto condiviso (per caratteristiche comuni della scena) e 4 esperti instradati (routed experts) specializzati rispettivamente in: aspetto degli occhi, orientamento della testa, gesti e salienza contestuale.
  • Un meccanismo di gating (basato su reti feed-forward indipendenti) seleziona dinamicamente i top-K esperti (in questo caso K=2) da attivare per ogni input. Questo permette al modello di adattarsi se alcuni segnali (es. gli occhi) sono occlusi, attivando solo gli esperti rilevanti.
• Strategia di Addestramento e Loss:
  • Loss per la Heatmap: Utilizza la Binary Cross-Entropy (BCE) a livello di pixel invece della classica MSE. La BCE è meno sensibile agli errori di magnitudine nelle probabilità e gestisce meglio le mappe di calore rumorose.
  • Loss di Classificazione (In/Out): Introduce una Focal Loss come loss ausiliaria per la classificazione "in-frame" vs "out-of-frame". Questo affronta lo squilibrio delle classi focalizzandosi sui campioni difficili e minoritari.
  • Augmentation: Una suite completa di tecniche di aumento dati, inclusi cropping casuale, flipping orizzontale, jittering dei bounding box della testa e, crucialmente, trasformazioni fotometriche (jittering del colore, grigiatura casuale, contrasto, nitidezza) per migliorare la robustezza.

3. Contributi Chiave

1. GazeMoE: Il primo framework end-to-end che applica un decoder MoE specializzato per la stima del target dello sguardo, permettendo un routing adattivo delle feature visive.
2. Strategie di Addestramento Ottimali: Dimostrazione che la combinazione di BCE per le heatmap e Focal Loss per la classificazione, unita a una suite specifica di augmentation fotometrica, è superiore agli approcci precedenti.
3. Robustezza e Generalizzazione: Il modello dimostra capacità eccezionali nel gestire scenari fuori distribuzione (out-of-distribution), inclusi immagini con distorsione da lenti fisheye (GazeFollow360) e l'estrazione dello sguardo di bambini (ChildPlay), ambiti in cui i metodi precedenti falliscono.
4. Rilascio Open Source: Codice e modelli pre-addestrati sono disponibili pubblicamente.

4. Risultati Sperimentali

GazeMoE è stato valutato su cinque dataset benchmark principali: GazeFollow, VideoAttentionTarget (VAT), ChildPlay, GazeFollow360 e EYEDIAP.

• Prestazioni SOTA: Il modello ha raggiunto lo stato dell'arte (State-of-the-Art) su tutti i benchmark.
  • Su GazeFollow, ha ottenuto un AUC di 0.959 e una distanza media di errore (Mean L2) di 0.101, superando modelli precedenti come Gaze-LLE.
  • Su VideoAttentionTarget, ha migliorato significativamente l'accuratezza nella classificazione in/out (AP: 0.917).
  • Su ChildPlay (dataset complesso con bambini), ha ottenuto un AUC di 0.945, superando i metodi esistenti.
  • Su GazeFollow360 (immagini 360° con forte distorsione), ha dimostrato un'adattabilità superiore, avvicinandosi alle prestazioni umane (AUC: 0.9232).
  • Su EYEDIAP (inferenza zero-shot), ha mostrato la capacità di adattarsi a scenari non visti durante l'addestramento.
• Efficienza Computazionale: Nonostante l'architettura complessa, la latenza è di 74.2 ms per immagine (circa 13 FPS), paragonabile a soluzioni più leggere come Gaze-LLE, rendendolo adatto per applicazioni in tempo reale come l'interazione uomo-robot.

5. Significato e Impatto

Questo lavoro rappresenta un passo avanti significativo nel campo della visione artificiale per l'analisi dello sguardo.

• Superamento dei limiti geometrici: Dimostra che non è necessario un modello esplicito di "linea di vista" (che fallisce con distorsioni ottiche), ma che un modello foundation pre-addestrato combinato con un decoder adattivo può imparare a gestire queste complessità.
• Versatilità: La capacità di gestire sia scenari standard che estremi (bambini, lenti grandangolari, occlusioni) rende GazeMoE una soluzione robusta per il mondo reale, non solo per dataset curati.
• Futuro della ricerca: L'uso del MoE per la fusione di segnali multimodali (occhi, testa, contesto) apre nuove strade per la progettazione di decoder adattivi in altri compiti di visione artificiale che richiedono flessibilità di input.

In sintesi, GazeMoE stabilisce un nuovo benchmark per l'estimazione del target dello sguardo, combinando la potenza dei modelli foundation con l'efficienza e l'adattabilità delle architetture Mixture-of-Experts.