See Through the Noise: Improving Domain Generalization in Gaze Estimation

1. Il Problema: Rumore nelle Etichette e Generalizzazione di Dominio

L'articolo affronta una sfida critica nell'estimazione dello sguardo (gaze estimation): la generalizzazione di dominio in presenza di rumore nelle etichette (label noise).

• Contesto: Le tecniche di stima dello sguardo basate sull'aspetto (appearance-based) hanno ottenuto grandi progressi grazie al deep learning, ma soffrono di un drastico calo delle prestazioni quando vengono applicate a domini non visti (es. diversi ambienti, illuminazioni, pose della testa).
• La Causa del Fallimento: Mentre la ricerca precedente si è concentrata sull'apprendimento di rappresentazioni invarianti al dominio, ha spesso ignorato il fatto che i dataset di stima dello sguardo contengono inevitabilmente etichette rumorose. La raccolta di annotazioni precise è difficile a causa di fattori come l'attenzione umana instabile, variazioni ambientali e occlusioni.
• L'Impatto: Il rumore nelle etichette (deviazioni continue rispetto alla direzione reale dello sguardo, non errori categorici come nella classificazione) porta i modelli a sovradattarsi (overfitting) su caratteristiche irrilevanti, degradando la capacità di generalizzare. Le attuali tecniche di apprendimento con etichette rumorose (Noisy Label Learning - LNL) sono progettate principalmente per compiti di classificazione e non sono direttamente applicabili o efficaci nei compiti di regressione continua come l'estimazione dello sguardo, specialmente in scenari cross-domain.

2. Metodologia: Il Framework SeeTN (See-Through-Noise)

Gli autori propongono SeeTN, un nuovo framework che affronta la generalizzazione di dominio mitigando l'impatto del rumore delle etichette attraverso tre fasi principali:

A. Costruzione di un Manifold Semantico (Semantic Manifold Construction)

Per gestire la natura continua delle etichette dello sguardo, il metodo costruisce uno spazio semantico strutturato:

1. Trasformazione delle Caratteristiche: Le feature estratte dalla rete neurale vengono proiettate su una ipersfera unitaria tramite un MLP.
2. Prototipi: Vengono selezionati $K$ prototipi casuali che vengono aggiornati progressivamente (tramite Exponential Moving Average) per rappresentare i centri semantici delle feature.
3. Allineamento Topologico: Viene costruita una matrice di affinità basata sulla similarità coseno sia nello spazio delle feature (Manifold) che nello spazio delle etichette (Gaze Labels).
4. Obiettivo: Minimizzare la discrepanza tra la matrice di affinità delle feature e quella delle etichette. Questo forza il modello a preservare la struttura topologica dello spazio delle etichette (dove punti vicini hanno direzioni simili) all'interno dello spazio delle feature.

B. Identificazione del Rumore tramite Discrepanza di Affinità

Una volta costruito il manifold, il sistema distingue i campioni "puliti" da quelli "rumorosi":

• Viene definito un indicatore $\eta_i$ per ogni campione, che misura la discrepanza (divergenza di Kullback-Leibler) tra la distribuzione delle relazioni nel manifold delle feature e quella nello spazio delle etichette.
• Logica: I campioni con etichette corrette mostrano una coerenza tra le relazioni delle feature e quelle delle etichette. I campioni con etichette rumorose mostrano un'incongruenza significativa.
• Partizionamento: I campioni vengono ordinati in base a $\eta$. Una percentuale superiore ($t\%$) con i valori più alti viene classificata come insieme rumoroso ($D_S^N$), mentre il resto è l'insieme pulito ($D_S^C$).

C. Regularizzazione Robusta al Rumore (Noise-Robust Regularization)

Il framework applica strategie di apprendimento differenziate per i due insiemi:

• Per i campioni puliti ($D_S^C$): Si utilizza la perdita standard di regressione (MAE) per l'estimazione dello sguardo e una perdita di allineamento ($L_{align}^C$) per forzare la coerenza tra le affinità delle feature e quelle delle etichette.
• Per i campioni rumorosi ($D_S^N$): Invece di scartarli (che porterebbe a perdere informazioni), si applica una regolarizzazione specifica ($L_{align}^N$). Questa loss vincola le feature dei campioni rumorosi a seguire la struttura di affinità definita dai campioni puliti. In pratica, trasferisce l'informazione semantica "corretta" dai campioni puliti a quelli rumorosi, riducendo la dipendenza dalle etichette errate.

La funzione di perdita totale combina la perdita di sguardo, la regolarizzazione per i campioni puliti e quella per i campioni rumorosi.

3. Contributi Chiave

1. Prima indagine sistematica: È il primo lavoro che esamina e affronta la generalizzazione di dominio nell'estimazione dello sguardo specificamente dal punto di vista del rumore delle etichette.
2. Framework SeeTN: Propone un approccio innovativo che collega etichette angolari continue e feature in un manifold semantico. Introduce un meccanismo per identificare il rumore basato sulla coerenza topologica e una strategia di regolarizzazione che sfrutta i campioni puliti per correggere quelli rumorosi.
3. Prestazioni Superiori: Dimostra sperimentalmente che gestire esplicitamente il rumore porta a una migliore generalizzazione cross-domain senza compromettere l'accuratezza nel dominio sorgente.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su dataset reali (ETH-XGaze, Gaze360, MPIIFaceGaze, EyeDiap) in configurazioni cross-domain (es. da laboratorio a strada).

• Miglioramento delle Prestazioni: SeeTN supera significativamente le baseline (ResNet-18/50) e gli stati dell'arte (SOTA) come PureGaze, GazeCF, CGaG e AGG.
  • Ad esempio, nel passaggio da Gaze360 a MPIIFaceGaze, SeeTN riduce l'errore angolare medio da 7.94° (baseline) a 6.57° (miglioramento del 17.2%).
  • Migliora anche le prestazioni all'interno dello stesso dominio (within-domain), riducendo l'errore del 3-5%, dimostrando che la rimozione del rumore aiuta anche l'apprendimento base.
• Confronto con LNL: Rispetto a metodi di apprendimento con etichette rumorose adattati (come DivideMix o SUGE), SeeTN è nettamente superiore, confermando che le tecniche specifiche per la regressione e il dominio sono necessarie.
• Visualizzazione: Le analisi t-SNE mostrano che, a differenza della baseline che raggruppa le feature in base alla pose della testa, SeeTN organizza le feature secondo la direzione dello sguardo, preservando la continuità semantica delle etichette.
• Rilevamento del Rumore: La visualizzazione conferma che l'indicatore $\eta$ identifica correttamente i campioni con etichette errate, permettendo al modello di prevedere comunque la direzione corretta basandosi sulla struttura semantica appresa dai campioni puliti.

5. Significato e Impatto

Questo lavoro è significativo perché:

• Cambia il paradigma: Sposta l'attenzione dalla sola "invarianza di dominio" alla "pulizia dei dati" come prerequisito per una buona generalizzazione.
• Risoluzione di un problema specifico: Offre una soluzione pratica alla regressione con etichette rumorose, un problema spesso trascurato perché le tecniche di classificazione non sono direttamente trasferibili.
• Robustezza: Dimostra che è possibile costruire modelli di stima dello sguardo più robusti per applicazioni reali (VR, interazione uomo-computer, analisi medica) dove la raccolta di dati perfettamente annotati è quasi impossibile.
• Efficienza: Non richiede dati del dominio target (è un approccio di Domain Generalization puro), rendendolo applicabile in scenari reali dove i dati di destinazione non sono disponibili durante l'addestramento.

In sintesi, SeeTN dimostra che "vedere attraverso il rumore" (See Through the Noise) è fondamentale per sbloccare il vero potenziale della generalizzazione di dominio nell'estimazione dello sguardo.