Riepilogo Tecnico: TextGaze

Definizione del Problema

La stima del target dello sguardo mira a inferire la posizione dello sguardo di una persona all'interno di una scena o a determinare se il target dello sguardo si trovi all'interno dell'inquadratura. Il documento identifica due limitazioni primarie negli approcci esistenti:

1. Metodi multi-branch: Queste architetture incorporano indizi ausiliari (ad es., profondità, posa, caratteristiche della testa) tramite branch separati. Sebbene arricchiscano le rappresentazioni visive, introducono un carico di annotazione significativo, rallentano la convergenza a causa della complessità strutturale e ostacolano il trasferimento di dominio. Inoltre, spesso funzionano come filtri geometrici che non sono in grado di ragionare sugli obiettivi di sguardo validi, portando a una "sotto-specificazione semantica".
2. Metodi semplificati/di prompt-tuning: Approcci recenti tentano di semplificare le architetture utilizzando prompt posizionali con modelli di base (foundation models). Tuttavia, questi metodi soffrono spesso di "defocus semantico", dove il modello si affida alla salienza visiva di basso livello (prossimità spaziale, salienza visiva) piuttosto che al vero intento dello sguardo, risultando in un disallineamento tra l'attenzione predetta e i reali target dello sguardo.

La sfida centrale è bilanciare la necessità di guida semantica con la semplicità architettonica, andando oltre la pura regressione geometrica verso un ragionamento a livello di intento senza reintrodurre strutture multi-branch complesse.

Metodologia: TextGaze

Gli autori propongono TextGaze, un'architettura cross-modale unificata che sfrutta un Large Vision-Language Model (LVLM) come guida semantica scalabile. Il framework sposta la stima dello sguardo dalla regressione geometrica diretta a un processo di riconoscimento dell'intento tramite uno strato semantico.

1. Panoramica dell'Architettura

Il modello è composto da tre componenti principali:

• Modulo di Indizi Scenici Testuali basato su LVLM: Un LVLM congelato (specificamente Qwen2.5-VL-7B-Instruct negli esperimenti) viene istruito tramite prompt per generare descrizioni testuali strutturate dell'aspetto, del comportamento e dell'orientamento grossolano dello sguardo del soggetto. Questi output in linguaggio naturale sono codificati da un encoder di testo BERT congelato in embedding densi ($S_t$). Questo modulo fornisce prior semantici di alto livello (oggetti, azioni) senza richiedere la localizzazione esplicita del target dello sguardo da parte dell'LVLM, che potrebbe essere inaffidabile per target fuori dall'inquadratura.
• Modulo di Elaborazione della Sequenza di Token delle Caratteristiche:
  • Flusso Visivo: Un encoder DINOv2 congelato estrae caratteristiche della scena fini ($F_v$). Per aumentare la sensibilità al target, viene aggiunto un embedding di token di testa apprendibile tramite modulazione mascherata basata sulla bounding box della testa.
  • Fusione: Le sequenze di feature testuali e visive vengono concatenate. Un token apprendibile ($z_{in/out}$) viene preposto per il compito di classificazione in-frame/out-of-frame.
• Modulo di Fusione Cross-Modale e Predizione:
  • Transformer di Fusione: Un transformer a tre strati impilati con post-normalizzazione integra i token visivi e testuali. Utilizza la Multi-Head Self-Attention (MHSA) per consentire un'interazione illimitata tra le modalità.
  • Supervisione Testuale Gerarchica: Per prevenire la degradazione della semantica testuale rilevante per il compito durante la fusione profonda, gli autori introducono un meccanismo di supervisione della coerenza testuale per livello. Questo impone l'allineamento semantico attraverso tutti i livelli del transformer proiettando i token testuali intermedi nuovamente sulle feature dell'encoder di testo originale e minimizzando l'Errore Quadratico Medio (MSE).
  • Testine di Predizione: Un decoder leggero produce una mappa di calore dello sguardo (supervisionata da perdita BCE con target gaussiani) e una probabilità scalare per lo stato in-frame/out-of-frame (supervisionata da cross-entropy binaria).

2. Obiettivo di Addestramento

La funzione di perdita complessiva combina la perdita della mappa di calore ($L_{heat}$), la perdita di classificazione in/out ($L_{in/out}$) e la perdita di supervisione testuale gerarchica ($L_{text}$):
$$L_{all} = L_{heat} + \lambda_1 L_{in/out} + \lambda_2 L_{text}$$

Contributi Chiave

1. Indizi Scenici Testuali: Il documento introduce l'integrazione di indizi scenici testuali nella stima del target dello sguardo per mitigare il defocus semantico. Utilizzando gli LVLM per generare informazioni semantiche ausiliarie (aspetto, azione, intento), il modello acquisisce prior di alto livello senza la complessità dei design multi-branch.
2. Benchmark Potenziati: Gli autori rafforzano i benchmark GazeFollow e VideoAttentionTarget integrando campi di attenzione scena-target-persona orientati agli LVLM, generando indizi contestuali robusti che migliorano l'accuratezza della stima dello sguardo assistita dal testo.
3. Framework Dual-Stream Unificato: È progettato un nuovo framework di fusione cross-modale che combina embedding testuali con rappresentazioni visive fini. Questo approccio imita l'attenzione top-down umana, migliorando il ragionamento spaziale e l'adattabilità della scena pur mantenendo una pipeline snella.

Risultati Sperimentali

Il metodo è stato valutato su quattro dataset mainstream: GazeFollow, VideoAttentionTarget, ChildPlay e GOO-Real.

• Prestazioni State-of-the-Art: Su GazeFollow, TextGaze (utilizzando DINOv2 ViT-L) ha ottenuto risultati competitivi, raggiungendo l'errore L2 medio più basso (0.099) e eguagliando il miglior L2 minimo (0.043), mantenendo al contempo un alto AUC (0.956). Su VideoAttentionTarget, ha superato gli approcci esistenti in termini di AUC, errore L2 e metriche AP per la predizione in-/out-of-frame.
• Generalizzazione Cross-Dataset: Senza fine-tuning o modifica dei prompt, TextGaze ha dimostrato una robusta generalizzazione:
  • Su GOO-Real (scenari di shopping nel mondo reale), ha raggiunto prestazioni state-of-the-art sia nelle metriche AUC che L2.
  • Su ChildPlay (sguardo dei bambini), ha superato tutti i baseline nella metrica AP per la classificazione in-/out-of-frame, evidenziando l'efficacia degli indizi derivati da LVLM per la rilevazione della presenza.
• Studi di Ablazione: Gli esperimenti hanno confermato che la strategia di fusione basata su transformer supera la fusione additiva e quella tramite cross-attention. Inoltre, l'attivazione simultanea della supervisione testuale gerarchica, delle connessioni residue visive e degli embedding posizionali specifici ha prodotto prestazioni ottimali, validando la natura complementare di questi componenti.

Significato e Rivendicazioni

Il paper sostiene che TextGaze fornisca un'alternativa snella ai tradizionali design multi-branch. Sfruttando gli LVLM come guida ausiliaria accessibile, il metodo riesce a bilanciare il compromesso tra gli alti costi di annotazione dei sistemi multi-branch e i limiti semantici dei modelli streamlined puramente visivi.

Gli autori sottolineano che il seguire lo sguardo è intrinsecamente un problema di ragionamento a livello di intento piuttosto che un puro compito di regressione geometrica. TextGaze affronta questo problema spostando il paradigma da "pixel a coordinate" a "pixel a intento semantico a target dello sguardo". I risultati validano che gli LVLM possono efficacementmente connettere la visione con gli intenti di alto livello, offrendo una soluzione scalabile per la stima dello sguardo in scene complesse senza la necessità di branch ridondanti o estese annotazioni specifiche per il dominio.