EgoCampus: Egocentric Pedestrian Eye Gaze Model and Dataset

Cet article présente EgoCampus, un nouveau jeu de données et un modèle (EgoCampusNet) pour prédire le regard des piétons en extérieur, collectés à l'aide de lunettes Project Aria sur un campus universitaire.

L'essentiel

🧐 Le Grand Jeu de "Où est-ce qu'on regarde ?"

Imaginez que vous marchez dans un campus universitaire bondé. Vous évitez les poteaux, vous regardez vos amis, vous lisez les panneaux, et vous évitez de heurter un cycliste. Votre cerveau fait des milliers de calculs par seconde pour décider où poser vos yeux.

Les chercheurs de l'Université Rutgers se sont posé une question simple : Peut-on apprendre à une machine à faire exactement la même chose ? C'est-à-dire, peut-on créer un robot ou une intelligence artificielle qui "regarde" les choses importantes au bon moment, tout comme un humain ?

Pour répondre à cette question, ils ont créé deux choses magiques : un super-jeu de données (EgoCampus) et un nouveau cerveau artificiel (EgoCampusNet).

---

1. Le Super-Enregistrement : EgoCampus 🎥🕶️

Jusqu'à présent, la plupart des études sur le regard humain se faisaient dans des laboratoires ennuyeux, où des gens regardaient des images fixes sur un écran. C'est comme essayer d'apprendre à nager en regardant une photo de piscine. Pas très efficace !

Pour faire mieux, les chercheurs ont équipé 82 personnes de lunettes spéciales (les lunettes Project Aria de Meta). Ces lunettes sont comme des yeux de cyborg :

• Elles ont une caméra devant pour filmer ce que la personne voit (comme un film en première personne).
• Elles ont des capteurs pour suivre exactement où les yeux de la personne regardent (même si la tête bouge).
• Elles ont des capteurs de mouvement (comme un gyroscope de smartphone) pour savoir si la personne accélère, tourne ou s'arrête.

L'analogie du "Voyageur dans le temps" :
Imaginez que vous filmez 82 touristes marchant sur 25 chemins différents dans le campus pendant 32 heures. À chaque instant, vous savez exactement où leurs yeux sont posés. C'est comme avoir un super-pouvoir : vous pouvez voir le monde à travers leurs yeux et savoir ce qui a capté leur attention.

Le résultat ? Une énorme bibliothèque de vidéos (32 heures !) où chaque image est annotée avec un petit point rouge indiquant "Regardez ici !".

---

2. Le Nouveau Cerveau : EgoCampusNet 🧠

Une fois qu'ils avaient toutes ces vidéos, ils ont voulu entraîner une intelligence artificielle (IA) pour prédire où un humain regarderait ensuite.

Ils ont créé un modèle appelé EgoCampusNet. Comment fonctionne-t-il ?

• L'ancien film : Le modèle regarde les quelques secondes de vidéo qui viennent de passer (le passé).
• La photo actuelle : Il regarde l'image du moment présent.
• La fusion : Il combine ces deux informations.

L'analogie du "Detective de l'attention" :
Imaginez un détective qui essaie de deviner où vous allez regarder.

• Si vous marchez tout droit, le détective sait que vous regardez probablement devant vous (le centre de l'image).
• Mais si le détective voit que vous avez tourné la tête brusquement (grâce aux capteurs de mouvement) ou qu'il y a un chien bizarre sur le côté, il sait que vous allez regarder ailleurs.

Ce modèle est comme un détective qui ne se contente pas de deviner au hasard, mais qui utilise l'histoire de votre marche pour prédire votre prochain regard.

---

3. Les Résultats : Pas si facile que ça ! 📉

Les chercheurs ont testé leur nouveau détective (EgoCampusNet) contre d'autres modèles existants.

• Le piège du "Centre" : Ils ont découvert que la plupart des humains, quand ils marchent, regardent souvent droit devant eux (au centre de l'image). Beaucoup de modèles intelligents trichent un peu : ils disent "Je vais toujours regarder au centre" et ça marche souvent ! C'est comme un joueur de foot qui tire toujours au centre de la cage parce que c'est le plus facile.
• La vraie difficulté : Le vrai défi, c'est de prédire quand on regarde ailleurs (un panneau, un ami, un obstacle).
• La victoire : Le modèle des chercheurs (EgoCampusNet) est très bon pour ne pas tricher. Il arrive à prédire quand on regarde sur le côté, même si c'est plus rare. Il est aussi beaucoup plus léger et rapide que les autres modèles géants.

---

4. Pourquoi c'est important pour le futur ? 🤖🚶

Pourquoi se donner autant de mal pour savoir où les gens regardent ?

1. Des robots plus intelligents : Si vous voulez qu'un robot aide un humain ou marche à côté de lui sans le bousculer, il doit comprendre ce que l'humain regarde. Si le robot voit que l'humain regarde un trou dans le trottoir, le robot peut s'arrêter ou ralentir.
2. Des voitures autonomes : Une voiture qui comprend où les piétons regardent peut mieux anticiper leurs mouvements.
3. La réalité virtuelle : Pour créer des jeux vidéo ou des mondes virtuels plus réalistes, il faut savoir où l'œil humain va se poser pour afficher les détails au bon endroit.

En résumé 🌟

Les chercheurs ont créé le plus grand film de "regards humains" jamais réalisé dans la vraie vie (EgoCampus) et ont entraîné un nouveau cerveau artificiel (EgoCampusNet) pour apprendre à prédire ces regards.

C'est comme passer d'un cours de natation théorique à une vraie séance d'entraînement dans l'océan. Grâce à cela, les robots et les voitures du futur pourront mieux comprendre nos intentions et interagir avec nous de manière plus naturelle et plus sûre.

Résumé technique

1. Problématique et Contexte

La prédiction de l'attention visuelle humaine lors de la navigation dans des environnements réels est un défi majeur pour l'interprétation du comportement et de l'intention, notamment pour le développement d'agents incarnés (robots, véhicules autonomes) évoluant dans des espaces partagés.

Cependant, la recherche existante souffre de plusieurs limitations :

• Environnements restreints : La plupart des travaux se concentrent sur des tâches en intérieur (cuisine, nettoyage) ou sur des images statiques/vidéos d'écran.
• Manque de données de navigation : Peu de jeux de données capturent le regard (eye gaze) de piétons se déplaçant dans des environnements extérieurs complexes.
• Données hétérogènes : Les datasets existants (comme Ego4D) manquent souvent de données de regard synchronisées avec des capteurs de mouvement pour la navigation piétonne à grande échelle.

L'objectif de ce travail est de combler ce vide en fournissant une ressource de données et un modèle pour prédire le regard des piétons en mouvement dans des environnements extérieurs réels.

2. Contributions Clés : Le Dataset EgoCampus

Les auteurs introduisent EgoCampus, un nouveau jeu de données multimodal conçu spécifiquement pour l'étude de l'attention visuelle des piétons.

• Collecte de données :
  • Matériel : Utilisation des lunettes Meta Project Aria, intégrant une caméra RGB avant (1408x1408, 30Hz), des caméras infrarouges pour le suivi oculaire, des IMU, un magnétomètre, un baromètre, du GPS et des signaux Wi-Fi/Bluetooth.
  • Participants et Trajectoires : 82 sujets distincts ont parcouru 25 trajets prédéfinis sur le campus de l'Université Rutgers (New Brunswick), couvrant environ 6 km.
  • Volume : 32 heures de vidéo (environ 3,5 millions de frames) avec des coordonnées de regard synchronisées.
• Spécificités :
  • Contrairement à des datasets comme GEETUP, EgoCampus offre des trajectoires continues (médiane de 108,2 secondes par clip) plutôt que des clips courts segmentés.
  • Les trajets sont parcourus dans les deux sens (aller et retour).
  • Respect de la vie privée : Utilisation de l'algorithme EgoBlur pour flouter les visages des passants non consentants.
• Statistiques : Le dataset inclut des données IMU à haute fréquence (1000Hz) alignées temporellement avec la vidéo, permettant une analyse fine des mouvements de tête et du regard.

3. Méthodologie : EgoCampusNet (ECN)

Pour exploiter ce dataset, les auteurs proposent EgoCampusNet (ECN), un modèle de prédiction de regard basé sur la fusion spatio-temporelle.

• Architecture :
  • Encodage Vidéo : Utilisation d'un backbone vidéo pré-entraîné (principalement X3D) pour extraire des caractéristiques spatio-temporelles à partir d'une séquence vidéo d'entrée. Cela permet de capturer le contexte dynamique et les mouvements passés.
  • Encodage Image : Une image requête (généralement la dernière frame) est encodée via un bloc ResNet séparé.
  • Fusion : Les caractéristiques temporelles (du vidéo) et spatiales (de l'image requête) sont concaténées le long de la dimension des canaux.
  • Décodage : Un réseau CNN léger décode ces caractéristiques fusionnées pour produire une carte de chaleur (heatmap) de regard à la même résolution spatiale que l'entrée.
• Entraînement :
  • Optimiseur ADAM avec une fonction de perte MSE (Mean Squared Error).
  • Le modèle est entraîné sur 10 époques en environ 8 heures sur une seule GPU NVIDIA RTX 3090.
  • Stratégie d'échantillonnage : 16 frames extraites d'une fenêtre glissante de 64 frames pour la prédiction de la dernière frame.

4. Résultats et Évaluation

Les auteurs évaluent ECN par rapport à des modèles de pointe (SOTA) en salience d'image, salience vidéo et prédiction de regard, ainsi qu'à des baselines simples (priorité centrale et priorités du dataset).

• Métriques : Utilisation de métriques basées sur la localisation (AUC-Judd) et la distribution (CC, KLD, SIM). Une stratégie innovante de pondération relative au prior est introduite pour pénaliser les modèles qui se contentent de prédire le centre de l'image (biais central), fréquent en navigation piétonne.
• Performances Quantitatives :
  • ECN obtient des résultats compétitifs avec un nombre de paramètres réduit (42,5 M) par rapport aux modèles massifs comme GLC (70,2 M) ou CV MM (420,5 M).
  • Bien que le modèle GLC [27] obtienne les meilleures performances brutes, ECN démontre une robustesse significative.
  • Analyse du biais central : Les résultats montrent un fort biais vers le centre de l'image (direction du mouvement). Lorsqu'on applique la pondération pour éliminer ce biais, les performances des modèles basés uniquement sur le prior chutent drastiquement, tandis que ECN et GLC maintiennent une meilleure capacité à prédire des déplacements de regard "hors axe" (vers des points d'intérêt latéraux).
• Résultats Qualitatifs :
  • ECN produit des cartes de chaleur plus focalisées que les modèles comme EML-Net ou DeepGazeIIE qui tendent à surestimer la zone de regard.
  • Le modèle apprend correctement à ignorer les visages des autres piétons lorsqu'ils ne sont pas l'objet principal de l'attention, contrairement à certains modèles qui se focalisent excessivement sur les visages.

5. Signification et Impact

Ce travail apporte plusieurs avancées majeures pour la communauté de la vision par ordinateur et de la robotique :

1. Ressource de Données Unique : EgoCampus est le premier dataset à grande échelle combinant vidéo, suivi oculaire précis et données de capteurs inertiels/GPS pour la navigation piétonne en extérieur. Il comble le fossé entre les datasets de tâches en intérieur et la navigation réelle.
2. Modélisation de l'Attention : Il démontre que la prédiction du regard en navigation nécessite de prendre en compte la dynamique temporelle (mouvement passé) et non seulement le contenu statique de l'image.
3. Applications en IA Incarnée : Les résultats ont des implications directes pour la robotique sociale et l'interaction humain-robot. Comprendre où un humain regarde permet aux robots de mieux anticiper les intentions de navigation, d'éviter les collisions et de coopérer plus naturellement.
4. Comparabilité Robot-Piéton : Le dataset est couplé à YOPO-Campus (parcouru par un robot téléopéré), offrant une opportunité unique d'étudier les différences de perception et d'attention entre les vues piétonnes et robotiques sur les mêmes trajectoires.

En conclusion, EgoCampus et le modèle ECN posent les bases pour une nouvelle génération de modèles d'attention visuelle capables de fonctionner dans des environnements dynamiques et réels, au-delà des contraintes des laboratoires. Le code et les données seront rendus publics via le dépôt GitHub de l'Université Rutgers.