A Spatio-temporal Graph Network Allowing Incomplete Trajectory Input for Pedestrian Trajectory Prediction

Ce papier présente le STGN-IT, un réseau de graphes spatio-temporels capable de prédire les trajectoires futures de piétons même à partir de données historiques incomplètes, en intégrant des états d'observation et des obstacles statiques pour surpasser les algorithmes actuels.

L'essentiel

🤖 Le Problème : Le Robot qui a la "vue brouillée"

Imaginez un robot autonome (comme un petit livreur ou un aspirateur intelligent) qui doit se déplacer dans une rue bondée. Son travail est de prédire où vont aller les piétons pour éviter de les percuter.

Le problème, c'est que dans la vraie vie, la vue du robot n'est pas parfaite. Parfois, un piéton passe derrière un poteau, un camion ou un autre groupe de personnes. Pendant une fraction de seconde, le robot le "perd de vue".

• Les anciens robots (les algorithmes actuels) : Ils sont très rigides. Si le robot perd un piéton de vue ne serait-ce qu'une seconde, il panique et dit : "Je ne peux plus prédire où il va, je vais ignorer cette personne." C'est comme si un garde du corps, voyant son client disparaître derrière un mur, décidait de ne plus le protéger du tout. C'est dangereux !
• La solution proposée (STGN-IT) : Ce nouveau système est plus malin. Il dit : "Même si je ne vois pas ce piéton maintenant, je sais qu'il est là. Je vais deviner où il va en utilisant ce que je sais de son mouvement précédent et de l'environnement."

🗺️ L'Analogie du "Dessinateur de Cartes"

Pour comprendre comment fonctionne ce nouveau système, imaginez un dessinateur qui doit prédire le trajet d'un cycliste.

1. Le Dessin Incomplet : Le cycliste passe derrière un immeuble. Sur le papier, son trait s'arrête brutalement.

   • L'ancien robot efface le cycliste de la carte.
   • Le nouveau robot (STGN-IT) continue le trait, mais il ajoute un petit point d'interrogation pour dire : "Je ne vois pas, mais je sais qu'il est là".

2. La Carte des Obstacles (La grille d'occupation) :
   Le robot ne regarde pas juste les gens. Il a aussi une carte mentale du sol (comme une grille de pixels) qui lui montre où sont les murs, les poubelles et les arbres.

   • L'analogie : C'est comme si le robot avait des yeux de super-héros qui voient à travers les murs pour savoir où sont les obstacles fixes. S'il voit un mur sur la trajectoire prévue, il dit au piéton virtuel : "Hé, ne marche pas là, il y a un mur !"

3. Le Réseau de Relations (Le Graphique Spatio-Temporel) :
   Le robot ne regarde pas les gens isolément. Il imagine une toile d'araignée invisible reliant tous les piétons et les obstacles entre eux.

   • L'analogie : Imaginez une danse de groupe. Si un danseur (un piéton) change de direction, cela influence ses voisins. Le robot utilise cette "toile" pour comprendre que si le piéton A s'arrête, le piéton B va probablement le contourner. Même si le piéton A est caché, le robot utilise la toile pour deviner son mouvement.

🛠️ Comment ça marche ? (Les 3 Astuces Magiques)

Les chercheurs ont ajouté trois ingrédients secrets à leur recette :

1. Le Code de "Caché" (Encodage) :
   Au lieu de dire "ce piéton est à la position 0,0" (ce qui ferait croire au robot qu'il est revenu au point de départ), le robot utilise un code spécial. C'est comme mettre une étiquette "Caché" sur le piéton. Le robot sait : "Ah, il est à la position X, mais il est caché, donc je ne vais pas paniquer."

2. Le Regroupement Intelligent (Clustering) :
   Le robot classe les gens et les obstacles par groupes logiques.

   • L'analogie : Au lieu de lire une liste de noms au hasard, il regroupe les gens qui se parlent ou qui sont proches. Cela lui permet de mieux comprendre les interactions, comme un chef d'orchestre qui voit les sections de violons et de cuivres séparément pour mieux diriger la musique.

3. La Double Prédiction (Le "Rebond") :
   Le robot ne prédit qu'une seule fois. Il fait deux passes :

   • Pass 1 : Il prédit où les gens vont aller.
   • Pass 2 : Il regarde cette prédiction, ajoute les obstacles (murs, poteaux) qu'il a vus sur la carte, et dit : "Attends, si ce piéton va là, il va percuter ce mur. Je vais corriger ma prédiction pour qu'il contourne le mur."
     C'est comme un joueur de billard qui tire la première bille, voit où elle va, et ajuste le tir de la deuxième bille pour éviter les obstacles.

🏆 Le Résultat : Pourquoi c'est génial ?

Les chercheurs ont testé leur système sur des données réelles (des rues avec des piétons).

• Résultat : Même quand les piétons disparaissent derrière des obstacles, le nouveau robot (STGN-IT) continue de les suivre et de prédire leur trajectoire avec beaucoup plus de précision que les autres.
• Sécurité : Dans les tests, les anciens robots laissaient souvent des "trous" dans la sécurité (ils ignoraient les piétons cachés), ce qui risquait de provoquer des accidents. Le nouveau robot, lui, reste vigilant même quand il ne voit pas tout.

En résumé

Ce papier présente un robot plus intelligent et prudent. Au lieu de dire "Je ne vois pas, donc je ne sais pas", il dit "Je ne vois pas, mais je vais utiliser mon expérience et ma carte pour deviner ce qui se passe". C'est une avancée majeure pour rendre les robots plus sûrs dans nos rues bondées et parfois cachées par des obstacles.

Résumé technique

1. Problématique

La prédiction de trajectoire des piétons est cruciale pour la navigation des robots mobiles dans des environnements partagés avec des humains. Cependant, la majorité des algorithmes existants (basés sur des filtres bayésiens, des RNN, ou des graphes spatio-temporels) supposent que les trajectoires historiques d'entrée soient complètes.

• Limitation des approches actuelles : Dans une vision égocentrique (vue du robot), les piétons sont souvent masqués par des obstacles ou d'autres personnes, rendant leurs trajectoires historiques « incomplètes » (des frames manquantes). Les algorithmes classiques échouent alors à prédire la trajectoire future de ces piétons.
• Mode de filtrage vs Mode de remplissage (Pad) :
  • Mode Filtrage : L'algorithme ignore les piétons avec des trajectoires incomplètes. Cela réduit l'erreur de mesure (ADE/FDE) mais est dangereux pour le robot, car il ne détecte pas les collisions potentielles avec des piétons masqués.
  • Mode Remplissage (Pad) : Les positions manquantes sont remplies par des coordonnées nulles (0,0). Bien que plus sûr, cela introduit un biais : l'algorithme interprète souvent le piéton comme ayant physiquement bougé vers le point (0,0), ce qui dégrade la performance.
• Objectif : Développer un système capable de prédire des trajectoires futures fiables même lorsque l'historique du piéton est partiellement obscurci, en utilisant des données de type robotique (cartes d'occupation) plutôt que des vues aériennes.

2. Méthodologie : STGN-IT

Les auteurs proposent STGN-IT (Spatio-Temporal Graph Network allowing Incomplete Trajectory), un réseau neuronal basé sur des graphes spatio-temporels, conçu pour gérer les données manquantes et intégrer l'environnement statique.

L'architecture repose sur deux prédictions séquentielles et quatre modules principaux :

A. Construction du graphe spatio-temporel

• Nœuds : Représentent les piétons et les obstacles à un instant $t$. Chaque nœud contient la position et la vitesse.
• Arêtes : Représentent les corrélations entre les nœuds (différences de position et de vitesse).
• Clustering (DBSCAN) : Un algorithme de clustering réorganise l'ordre des nœuds dans la matrice d'entrée pour regrouper les entités interagissant fortement (piétons proches ou piéton-obstacle), facilitant l'extraction de caractéristiques par les réseaux de convolution.

B. Encodage de l'état d'observation

Pour résoudre le problème du « remplissage par zéro » (Pad mode) qui trompe le réseau :

• Le système ajoute des vecteurs d'encodage ($N^o_t$ et $E^o_t$) qui indiquent explicitement si une donnée est observable ou masquée.
• Cela permet au réseau de distinguer un piéton réellement situé à (0,0) d'un piéton masqué, évitant ainsi l'interprétation erronée du mouvement.

C. Prédiction de trajectoire et Compensation

• Compensation GRU : Deux réseaux GRU (Gated Recurrent Unit) sont utilisés pour compenser les positions manquantes en exploitant les caractéristiques des frames précédentes, reconstruisant ainsi une représentation latente cohérente.
• Extraction de caractéristiques : Un réseau de convolution graphique spatio-temporel (STGCN) et un réseau de convolution d'extrapolation temporelle (TECN) extraient les dynamiques sociales et environnementales.
• Décodage : Un Bi-GRU et un MLP (Perceptron Multicouche) génèrent les déplacements futurs et les positions finales.

D. Module d'ajout d'obstacles (Double Prédiction)

C'est une innovation clé de STGN-IT :

1. Première prédiction : Le réseau prédit les trajectoires sans information environnementale statique.
2. Ajout d'obstacles : Basé sur une carte d'occupation (générée automatiquement à partir de nuages de points LIDAR, contrairement aux cartes sémantiques manuelles), le système identifie les obstacles statiques proches des trajectoires prédites.
3. Deuxième prédiction : Ces obstacles sont ajoutés comme des nœuds supplémentaires dans le graphe spatio-temporel. Le réseau effectue une nouvelle prédiction en tenant compte de ces contraintes physiques, améliorant ainsi la précision et la sécurité (évitement d'obstacles).

3. Contributions Clés

1. STGN-IT : Un nouveau réseau capable d'accepter des trajectoires historiques incomplètes tout en maintenant une haute précision, grâce à une méthode d'encodage spécifique de l'état d'observation.
2. Intégration de l'environnement statique : Utilisation de cartes d'occupation (occupancy grid maps) pour modéliser les obstacles statiques comme des nœuds du graphe, améliorant la capacité d'évitement.
3. Validation du mode « Pad » : Les auteurs démontrent que l'évaluation en mode « Pad » (avec trajectoires incomplètes) est plus pertinente pour la navigation robotique que le mode « Filtrage », car elle force l'algorithme à gérer les incertitudes réelles.
4. Réactivité accrue : Le système peut prédire la trajectoire d'un piéton 1,2 seconde après sa détection (contre 3,2s pour d'autres algorithmes), car il ne nécessite pas une fenêtre d'observation complète.

4. Résultats Expérimentaux

Les expériences ont été menées sur le jeu de données STCrowd (STC), qui contient des données LIDAR 3D et des vues égocentriques, ainsi que sur une version modifiée STC-c avec 10% de données supprimées aléatoirement pour simuler des masquages.

• Métriques : Erreur de déplacement moyenne (ADE) et erreur de déplacement final (FDE).
• Performance comparative : STGN-IT surpasse les algorithmes de l'état de l'art (Social-STGCNN, SGCN, GraphTERN, etc.) dans toutes les conditions, y compris avec des trajectoires incomplètes.
  • Dans la condition la plus difficile (trajectoires incomplètes), STGN-IT affiche une dégradation de performance d'environ 15%, alors que les autres algorithmes subissent une dégradation de 25% à 50% (certains échouent totalement à s'entraîner).
  • STGN-IT obtient les meilleurs scores ADE et FDE dans les trois modes de test (complet, incomplet, et avec masquage).
• Analyse qualitative : Les visualisations montrent que STGN-IT prédit des trajectoires lisses qui évitent les obstacles statiques et les autres piétons, là où les autres modèles produisent des collisions ou échouent à prédire les trajectoires des piétons masqués.
• Étude d'ablation : La suppression de n'importe quel module (encodage d'état, clustering, ou ajout d'obstacles) entraîne une baisse de performance d'au moins 20%, confirmant l'importance de chaque composant.

5. Signification et Conclusion

Ce travail est significatif car il comble le fossé entre les algorithmes de prédiction de trajectoire théoriques (souvent testés sur des vues aériennes parfaites) et les besoins pratiques de la robotique mobile (vues égocentriques avec occlusions).

En permettant aux robots de prédire le comportement des piétons même lorsque ceux-ci sont temporairement invisibles, et en intégrant nativement la géométrie de l'environnement via des cartes d'occupation, STGN-IT améliore la sécurité et la fiabilité de la navigation autonome en milieu humain. L'article propose également un changement de paradigme dans l'évaluation des algorithmes, privilégiant le mode « Pad » pour refléter la réalité opérationnelle des robots.