Sintesi Tecnica: Quanto Aiuta il Futuro? Uno Studio Controllato di Supervisione con Privilegio del Futuro per la Stima del Gaze Egocentrico Causale

Definizione del Problema

La stima del gaze egocentrico mira a localizzare il focus dell'attenzione di chi utilizza una telecamera a partire da input visivi in prima persona. Sebbene molti modelli allo stato dell'arte operino in contesti offline con accesso a frame futuri (contesto temporale bidirezionale), le applicazioni nel mondo reale, come la realtà aumentata (AR) e l'assistenza indossabile, richiedono una predizione strettamente causale e online, utilizzando solo osservazioni passate e presenti. Questa discrepanza solleva due domande fondamentali:

1. L'assenza di contesto futuro priva intrinsecamente i modelli di preziosi indizi anticipatori per la predizione del gaze?
2. Se l'informazione futura è utile, quanto contesto temporale può essere distillato con successo in un modello strettamente causale durante l'addestramento?

La letteratura esistente manca di una comprensione sistematica di come l'utilità del contesto futuro scali con l'orizzonte temporale e se i suoi benefici saturino entro un intervallo limitato per l'inferenza causale.

Metodologia: Framework ECOGaze

Per affrontare queste domande, gli autori propongono ECOGaze, un framework di addestramento controllato con privilegio del futuro progettato per isolare l'impatto del contesto futuro mantenendo un'architettura di inferenza strettamente causale.

Architettura Core

Il framework utilizza un passaggio forward a due rami attraverso un decoder spazio-temporale leggero e condiviso:

• Encoder di Scena: Un Vision Transformer DINOv3 congelato estrae caratteristiche spaziali a livello di patch per ogni frame. Mantenere l'encoder congelato elimina i confondimenti a livello di rappresentazione, garantendo che le variazioni di performance riflettano il segnale di supervisione piuttosto che il drift delle feature.
• Testa Spazio-Temporale: Una leggera testa transformer elabora la sequenza di embedding delle patch utilizzando l'attenzione spazio-temporale divisa (attenzione temporale seguita da attenzione spaziale).
• Global-Local Focusing (GLF): Un modulo leggero raffina le feature calcolando le similitudini del coseno tra una query globale apprendibile e le feature delle patch per evidenziare le regioni rilevanti per il gaze.

Supervisione con Privilegio del Futuro

L'innovazione principale è il meccanismo di addestramento:

1. Ramo Teacher (Consapevole del Futuro): Durante l'addestramento, questo ramo ha accesso a un orizzonte di look-ahead regolabile $H$. Utilizza una maschera temporale espansa che permette l'attenzione ai frame passati, presenti e $H$ futuri.
2. Ramo Student (Strettamente Causale): Questo ramo utilizza una maschera triangolare inferiore stretta ($H=0$), limitando l'attenzione ai soli frame passati e presenti.
3. Parametri Condivisi: Entrambi i rami condividono pesi e architettura identici. L'unica differenza è la maschera di attenzione temporale.
4. Funzione di Perdita: Lo student è ottimizzato utilizzando una combinazione di una perdita standard rispetto alla verità di base ($L_{GT}$) e una perdita di supervisione con privilegio del futuro ($L_{FPS}$). La $L_{FPS}$ minimizza la divergenza KL tra la predizione dello student e la predizione del teacher (applicando un operatore di stop-gradient al teacher). Ciò costringe lo student causale a distillare la conoscenza anticipatoria dal teacher consapevole del futuro senza che i pesi del teacher siano aggiornati dalla perdita dello student.

In fase di inferenza, viene distribuito solo il ramo student strettamente causale.

Configurazione Sperimentale

• Dataset: Gli esperimenti sono stati condotti su EGTEA Gaze+ (28 ore di attività di cucina, 24 FPS) ed Ego4D (sottoinsieme gaze, 30 FPS).
• Protocollo: L'orizzonte di look-ahead $H$ è stato variato attraverso $\{0, 1, 3, 5, 7, 10, 15\}$.
  • Su EGTEA, $H=1$ corrisponde a circa 0,33 secondi; l'ottimo $H \in [5, 10]$ corrisponde a circa 1,7–3,3 secondi.
  • Su Ego4D, $H=1$ corrisponde a circa 0,27 secondi; l'ottimo $H=10$ corrisponde a circa 2,7 secondi.
• Baseline: I confronti hanno incluso varianti causali di metodi precedenti (es. GLC) e baseline standard, garantendo una valutazione equa sotto stretta causalità.

Risultati Chiave

1. Utilità del Contesto Futuro

La supervisione con privilegio del futuro migliora costantemente la predizione del gaze causale.

• EGTEA Gaze+: Il punteggio F1 è aumentato da 44,7 (baseline, $H=0$) a 45,9 ($H=5$ e $H=10$).
• Ego4D: Il punteggio F1 è aumentato da 40,7 (baseline) a 42,7 ($H=10$).

2. Regime Temporale Limitato

I guadagni di performance non aumentano monotonicamente con un look-ahead più lungo. Al contrario, raggiungono un picco entro una finestra specifica limitata e degradano con orizzonti eccessivi.

• Intervallo Ottimale: Circa 1,7 - 3,3 secondi di contesto futuro (corrispondenti a $H \in [5, 10]$ su EGTEA e $H=10$ su Ego4D).
• Degradazione: A $H=15$ (~4–5 secondi), la performance cala leggermente (es. l'F1 di EGTEA scende a 45,4). Gli autori attribuiscono ciò al rumore proveniente da azioni successive non correlate che oscurano l'intento immediato.

3. Efficienza e Performance

Il modello proposto ECOGaze (utilizzando l' $H$ ottimale) raggiunge le prestazioni state-of-the-art tra i modelli causali pur essendo significativamente più efficiente:

• Accuratezza: Supera la variante causale di GLC (45,9 vs 41,6 F1 su EGTEA; 42,7 vs 41,2 F1 su Ego4D).
• Efficienza: ECOGaze ha 14,2M di parametri (contro i 70,2M di GLC) ed esegue a ~60 FPS (contro ~30 FPS di GLC) su una NVIDIA A5000, offrendo una riduzione della capacità di 5 volte e un'accelerazione di 2 volte.

4. Studi di Ablazione

• Analisi dei Componenti: L'aggiunta di attenzione spaziale, attenzione temporale, GLF e, infine, della supervisione con privilegio del futuro ha migliorato cumulativamente le prestazioni, con l'intero framework che produce l'F1 e la precisione più elevati.
• Scelte di Design: La formulazione dot-product del GLF degli autori si è rivelata superiore alla cross-attention densa (usata in GLC) sia in termini di accuratezza che di efficienza (riducendo i FLOP per clip da 465,4M a 1,8M).

Significato e Rivendicazioni

Il paper sostiene che modelli causali leggeri possono assorbire efficacemente segnali consapevoli del futuro durante l'addestramento per migliorare la stima del gaze in tempo reale. Il contributo primario non è un nuovo modello di gaze in sé, ma una formulazione controllata che isola e quantifica l'utilità del contesto futuro.

Punti chiave enfatizzati dagli autori:

1. Natura Anticipatoria: Il gaze umano è intrinsecamente anticipatorio, e i frame futuri forniscono una supervisione preziosa per la predizione del gaze attuale.
2. Utilità Limitata: Il beneficio del contesto futuro non è infinito; satura entro una finestra di 2–3 secondi. Estendere l'orizzonte troppo oltre introduce rumore da azioni future non correlate.
3. Guida Pratica: Lo studio fornisce una guida azionabile per progettare sistemi di gaze egocentrico a bassa latenza e in tempo reale, dimostando che la stretta causalità all'inferenza non preclude i benefici di un addestramento consapevole del futuro.

Gli autori rimangono modesti, osservando che l'intervallo di look-ahead ottimale può variare tra diversi backbone, scale di modelli e domini di attività oltre quelli rappresentati nei dataset testati. Identificano inoltre casi di fallimento, come la diffusione precoce del gaze durante la ricerca visiva e il motion blur, che rimangono sfide per i modelli strettamente causali.