EgoCampus: Egocentric Pedestrian Eye Gaze Model and Dataset

Il paper introduce EgoCampus, un nuovo dataset e un modello di deep learning (EgoCampusNet) per prevedere lo sguardo di pedoni in ambienti esterni, basandosi su registrazioni egocentriche raccolte con occhiali Meta Project Aria in un campus universitario.

L'essenziale

Immagina di camminare per un campus universitario. Il tuo cervello non guarda tutto allo stesso modo: a volte fissi un albero, a volte un cartello, a volte il volto di un amico che incroci. Ma dove guardi esattamente e perché?

Questo è il cuore del progetto EgoCampus, presentato da ricercatori della Rutgers University. Ecco una spiegazione semplice di cosa hanno fatto, usando qualche metafora per rendere il tutto più chiaro.

1. Il Problema: La "Cecità" dei Robot

Immagina di voler insegnare a un robot a camminare tra la gente senza urtarla. Se il robot ha solo una telecamera, vede tutto, ma non sa cosa è importante. È come avere un libro pieno di parole ma non sapere quali sono le frasi chiave.
Fino a poco tempo fa, gli scienziati studiavano dove guardano le persone solo in situazioni controllate (come fissare uno schermo in un laboratorio) o in ambienti chiusi (come cucinare in cucina). Ma il mondo reale è caotico, esterno e in movimento. Mancava una "mappa" di come gli esseri umani guardano mentre camminano davvero per strada.

2. La Soluzione: Gli Occhiali Magici (EgoCampus)

Per risolvere questo, i ricercatori hanno creato EgoCampus, che è un po' come un diario visivo gigante.

• Come l'hanno fatto: Hanno dato a 82 persone degli occhiali speciali (i Project Aria di Meta) che sembrano normali, ma hanno telecamere, sensori di movimento e, soprattutto, un tracciatore oculare (che sa esattamente dove puntano i tuoi occhi).
• Cosa hanno registrato: Hanno fatto camminare queste persone per 25 percorsi diversi nel campus (circa 6 km in totale). Hanno registrato 32 ore di video, 82 persone diverse e, cosa fondamentale, dove guardavano in ogni singolo istante.
• L'analogia: È come se avessero registrato non solo il film della loro passeggiata, ma avessero anche aggiunto un "puntatore laser" invisibile che mostra esattamente dove la loro attenzione si è posata.

3. Il Cervello del Robot: EgoCampusNet

Avere i dati è utile, ma serve qualcuno che li capisca. I ricercatori hanno creato un'intelligenza artificiale chiamata EgoCampusNet.

• Come funziona: Immagina che questo modello sia un detective.
  • Guarda il video (cosa sta succedendo intorno?).
  • Guarda l'immagine attuale (cosa c'è proprio davanti?).
  • Unisce queste due informazioni per indovinare: "Se fossi io a camminare qui, dove guarderei?".
• La particolarità: A differenza di altri modelli che guardano solo l'immagine statica, questo detective guarda anche il movimento (il video). Capisce che se sto camminando veloce, probabilmente guardo avanti per non inciampare, mentre se rallento, potrei guardare un negozio.

4. Cosa hanno scoperto? (Le Sorprese)

Analizzando i dati, hanno notato cose interessanti:

• Il "Bias del Centro": Quando camminiamo, tendiamo a guardare al centro dell'immagine (dove andiamo). È come se il nostro cervello dicesse: "Focalizziamoci sulla strada". Molti modelli si affidano troppo a questa abitudine.
• I Tracciatori: Quando le persone girano la testa velocemente (perché sentono un rumore o vedono qualcosa), guardano quasi sempre punti di riferimento (edifici, alberi) o segnali di navigazione (altre persone, incroci). Non guardano il cielo o il terreno, ma ciò che serve per orientarsi.
• La sfida: I modelli esistenti, se provati su questi dati senza essere "addestrati" specificamente, falliscono. È come dare a un pilota di Formula 1 un'auto da rally: non sa come comportarsi in quel nuovo ambiente. Il modello creato dai ricercatori (ECN) è stato addestrato proprio su questi dati e funziona molto meglio.

5. Perché è importante?

Questo lavoro è come fornire una mappa del tesoro per il futuro della robotica e dell'intelligenza artificiale.

• Robot più sicuri: Se un robot sa dove guardano le persone, può prevedere i loro movimenti e camminare in modo più naturale e sicuro tra di noi.
• Realtà aumentata: Potremmo avere occhiali che mostrano informazioni solo su ciò che stiamo guardando davvero, senza distrarci.
• Comprensione umana: Ci aiuta a capire meglio come funziona l'attenzione umana in un mondo reale e caotico.

In sintesi

I ricercatori hanno creato un enorme database di "occhi umani" mentre camminano per strada e hanno costruito un cervello artificiale che impara da questi occhi.
È come se avessimo insegnato a un robot a "pensare" come un pedone, non solo a vedere come una telecamera. Questo ci avvicina al giorno in cui robot e umani potranno condividere gli spazi pubblici in armonia, capendosi a vicenda.

Il dataset e il codice saranno presto disponibili per tutti, come una "palestra" aperta per chiunque voglia allenare i propri robot a camminare nel mondo reale.

Sommario tecnico

1. Il Problema

La ricerca attuale sulla previsione dello sguardo (gaze prediction) e dell'attenzione visiva si è concentrata prevalentemente su ambienti controllati, compiti strutturati (come cucinare o pulire) o su video statici e schermi. Esiste un vuoto significativo nella comprensione di come gli esseri umani dirigano l'attenzione visiva mentre navigano in ambienti esterni complessi (outdoor navigation).
I dataset esistenti spesso mancano di:

• Dati sincronizzati di sguardo, video e sensori di movimento in contesti esterni.
• Una vasta gamma di soggetti che percorrono percorsi identici per permettere confronti trasversali.
• La capacità di modellare l'attenzione dinamica durante la locomozione pedonale, dove gli stimoli visivi cambiano rapidamente e le interazioni con l'ambiente sono cruciali per la navigazione.

2. Metodologia

A. Il Dataset: EgoCampus

Gli autori hanno introdotto EgoCampus, un nuovo dataset multimodale progettato specificamente per lo studio dell'attenzione visiva pedonale in un campus universitario.

• Raccolta Dati: I dati sono stati raccolti utilizzando gli occhiali Meta Project Aria, che integrano:
  • Una camera RGB frontale (1408x1408 a 30Hz).
  • Due camere monocromatiche interne per il tracciamento oculare (eye-tracking).
  • Sensori inerziali (IMU), magnetometro, barometro, GPS e segnali Wi-Fi/Bluetooth.
• Statistiche: Il dataset comprende 32 ore di video (circa 3,5 milioni di frame) provenienti da 82 soggetti diversi che hanno percorso 25 percorsi unici (per un totale di 6 km) sul campus dell'Università di Rutgers.
• Elaborazione: I dati sono stati elaborati per garantire la privacy (sfocatura dei volti dei passanti non partecipanti tramite EgoBlur) e sincronizzati temporalmente. Le coordinate dello sguardo e i dati IMU sono stati allineati ai frame video.
• Caratteristiche Uniche: A differenza di dataset come Ego4D o GEETUP, EgoCampus offre percorsi continui (media di 108 secondi per clip), un numero elevato di partecipanti e dati sensoriali ricchi e sincronizzati, permettendo l'analisi di comportamenti di sguardo sia individuali che trasversali.

B. Il Modello: EgoCampusNet (ECN)

Per affrontare il compito di previsione, gli autori hanno sviluppato EgoCampusNet, un modello di deep learning che prevede i punti di fissazione dello sguardo per ogni frame di un video egocentrico.

• Architettura: Il modello si basa sull'assunzione che le informazioni passate (il contesto video) influenzino il comportamento futuro dello sguardo.
  1. Backbone Video: Utilizza un encoder video pre-addestrato (principalmente X3D) per estrarre caratteristiche spazio-temporali dal video di input.
  2. Query Frame: L'immagine corrente (query) viene codificata separatamente tramite blocchi ResNet.
  3. Fusione: Le caratteristiche spazio-temporali del video e le caratteristiche dell'immagine corrente vengono fuse tramite blocchi CNN leggeri.
  4. Decodifica: Una rete decoder CNN ridimensiona la mappa di caratteristiche fuse per produrre una mappa di calore dello sguardo (gaze heatmap) con le stesse dimensioni spaziali dell'input, rappresentando la probabilità relativa che l'utente guardi una specifica area.
• Addestramento: Il modello è stato addestrato su una singola GPU NVIDIA RTX 3090 utilizzando l'ottimizzatore ADAM e una funzione di perdita MSE.

3. Risultati

Valutazione Quantitativa

Gli esperimenti hanno confrontato ECN con modelli statali dell'arte (SOTA) nel campo della saliency (EML-Net, DeepGazeIIE, GLC, ecc.) e con baselines semplici (priori di centro e di dataset).

• Performance: ECN ha dimostrato prestazioni competitive con un numero di parametri significativamente inferiore (42.5M) rispetto ai modelli più grandi (es. CV MM con 420M).
• Il problema del "Center Bias": I risultati hanno rivelato una forte bias verso il centro nelle mappe di sguardo pedonale (gli utenti guardano spesso davanti a sé mentre camminano). Modelli basati solo su prior (come il "Center Prior") ottengono punteggi molto alti su metriche standard (AUC-Judd), ma falliscono nel catturare deviazioni attive.
• Metriche Pesate: Gli autori hanno introdotto una strategia di pesatura relativa al prior. Quando le metriche sono pesate per penalizzare le previsioni che seguono semplicemente la distribuzione di prior (cioè quando lo sguardo si discosta dal centro), le prestazioni dei modelli basati su prior crollano.
  • GLC e ECN mostrano una maggiore robustezza in queste condizioni, dimostrando di catturare meglio gli spostamenti attentivi "off-axis" (fuori asse).
  • In particolare, GLC ottiene le prestazioni migliori in assoluto, ma ECN rimane un baseline efficiente ed efficace.

Risultati Qualitativi

Le analisi visive mostrano che:

• Modelli come EML-Net tendono a sovrastimare l'area di sguardo.
• ECN impara fortemente il bias centrale, il che è spesso corretto per la locomozione, ma può essere meno preciso quando il soggetto guarda oggetti specifici (es. altri pedoni) rispetto ad altri modelli che tentano di indovinare tali distrazioni.
• I modelli migliori (SUM, GLC, CV MM) mantengono stime conservative vicino al centro, ma riescono occasionalmente a focalizzarsi su pedoni o caratteristiche distanti.

4. Contributi Chiave

1. EgoCampus Dataset: La prima risorsa su larga scala che combina video egocentrico, tracciamento oculare, dati IMU e GPS per la navigazione pedonale in ambienti esterni, con 82 soggetti su percorsi condivisi.
2. EgoCampusNet (ECN): Un nuovo modello di previsione dello sguardo che fonde efficientemente caratteristiche video spazio-temporali e caratteristiche dell'immagine corrente.
3. Nuova Strategia di Valutazione: Introduzione di una metodologia di pesatura delle metriche che tiene conto del prior del dataset, permettendo di valutare meglio la capacità dei modelli di prevedere deviazioni attentive reali rispetto alla semplice tendenza al centro.
4. Analisi Comportamentale: Scoperta che durante le rotazioni rapide della testa, l'attenzione è catturata principalmente da punti di riferimento strutturali (edifici, alberi) e segnali di navigazione, piuttosto che da dettagli fini.

5. Significato e Impatto

Questo lavoro è fondamentale per lo sviluppo di Agenti Embodied (AI incarnata) e per l'interazione uomo-robot.

• Robotica e Navigazione: Comprendere dove guardano i pedoni permette ai robot di prevedere il comportamento umano, migliorare la sicurezza nella navigazione condivisa e sviluppare metodi di campionamento ambientale che mimano l'attenzione umana.
• Accessibilità: Il dataset e il codice saranno resi pubblici, fornendo una base solida per la ricerca futura sull'attenzione visiva in scenari reali ("in the wild").
• Complementarità: Il dataset è accompagnato da YOPO-Campus, che registra gli stessi percorsi da una prospettiva robotica, creando una risorsa completa per lo studio della navigazione in sistemi uomo-robot.

In sintesi, EgoCampus sposta il focus della ricerca sull'attenzione visiva dai laboratori controllati al mondo reale, fornendo dati e modelli essenziali per far evolvere l'intelligenza artificiale verso una maggiore consapevolezza spaziale e comportamentale.