⚡ electrical engineering

Traffic-Aware Pedestrian Intention Prediction

Cet article propose un réseau de neurones convolutifs sur graphes spatio-temporels sensible au trafic (TA-STGCN) qui intègre l'état dynamique des signaux de circulation et les caractéristiques des boîtes englobantes pour améliorer significativement la précision de la prédiction de l'intention des piétons pour les véhicules autonomes, réalisant un gain de 4,75 % par rapport aux modèles de référence sur le jeu de données PIE.

Auteurs originaux : Fahimeh Orvati Nia, Hai Lin

Publié 2026-07-15

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Fahimeh Orvati Nia, Hai Lin

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de deviner ce qu'un ami est sur le point de faire ensuite. Va-t-il faire un signe de la main pour dire bonjour, ou est-il sur le point de traverser en courant une rue très fréquentée ? Pour faire une bonne supposition, vous ne regardez pas seulement les jambes de votre ami ; vous regardez l'ensemble de la scène. Vous vérifiez si le feu de signalisation est rouge ou vert, vous voyez à quelle distance il se trouve du trottoir, et vous remarquez si une voiture fonce vers lui. C'est le cœur d'un domaine appelé « prédiction de l'intention des piétons ». Il s'agit d'une branche de la science dédiée à apprendre aux ordinateurs, plus précisément aux voitures autonomes, à comprendre le comportement humain. L'objectif est simple mais vital : si une voiture peut prédire qu'une personne a l'intention de traverser la route, elle peut ralentir ou s'arrêter avant qu'un accident ne se produise. Pendant des années, les ordinateurs ont essayé d'apprendre cela en observant le mouvement des gens, mais ils passaient souvent à côté des indices les plus importants : les signaux de circulation et le contexte complexe et dynamique d'une rue de ville réelle.

Ce document présente une nouvelle façon plus intelligente pour les ordinateurs de lire ces indices. Les chercheurs, Fahimeh Orvati Nia et Hai Lin, ont construit un modèle qu'ils appellent TA-STGCN (Traffic-Aware Spatio-Temporal Graph Convolutional Network). Voyez ce modèle comme un détective super observateur qui ne se contente pas de regarder une personne ; il regarde la personne et les feux de signalisation et les voitures en même temps, comprenant comment ils communiquent tous entre eux au fil du temps.

Le Problème : Les ordinateurs qui manquent le tableau d'ensemble

Pendant longtemps, les ordinateurs essayant de prédire le comportement des piétons étaient un peu comme des étudiants qui n'étudieraient que le manuel sans jamais sortir dehors. Les premières méthodes reposaient sur des mathématiques simples pour suivre où se trouvait une personne et à quelle vitesse elle se déplaçait. Plus tard, les modèles d'apprentissage profond (comme les CNN et les LSTM) sont devenus meilleurs pour repérer des motifs dans les vidéos, mais ils ignoraient souvent la « scène ». Ils pouvaient voir une personne marchant vers une rue, mais ils ne remarqueraient pas nécessairement que le feu de signalisation est actuellement rouge, ou que la personne se tient juste à côté d'un passage piéton.

Les auteurs soutiennent que c'est une grave erreur. Dans le monde réel, la décision d'un piéton de traverser est fortement influencée par son environnement. Si le feu est vert pour les voitures, un piéton attend généralement. Si le feu devient rouge pour les voitures (et vert pour lui), il pourrait s'élancer. Les modèles existants manquaient souvent ces signaux dynamiques, ce qui entraînait des suppositions trop lentes ou tout simplement erronées.

La Solution : Un détective avec une carte de feux de signalisation

La solution de l'équipe, TA-STGCN, est conçue pour corriger cela en traitant la scène de rue comme un immense puzzle vivant où chaque pièce est connectée. Ils utilisent un « Graphe Spatio-Temporel », une façon sophistiquée de dire qu'ils dessinent des lignes invisibles reliant le piéton à tout ce qui l'entoure : les feux de signalisation, les voitures et les passages piétons.

Voici comment fonctionne le modèle, décomposé en parties simples :

Les deux flux d'informations : Le modèle observe la scène de deux manières différentes en même temps.
- Le flux du « Où » : Il suit l'emplacement exact du piéton et la façon dont sa « boîte » (le contour numérique autour de lui) change de taille. Si la boîte devient plus grande, cela signifie que la personne se rapproche de la voiture.
- Le flux du « Quoi » : Il regarde ce que sont les objets et dans quel état ils se trouvent. Crucialement, cela inclut l'état du feu de signalisation (Rouge, Jaune ou Vert).
La connexion par graphe : Imaginez une toile d'araignée reliant le piéton au feu de signalisation. Le modèle utilise un type spécial de mathématiques (Réseaux de Neurones Convolutifs sur Graphes) pour permettre à ces connexions de « communiquer » entre elles. Il apprend qu'un « Feu Vert » pour les voitures signifie généralement « Attendre », tandis qu'un « Feu Rouge » pour les voitures peut signifier « Passer ».
La machine à remonter le temps : Le modèle ne se contente pas de regarder une seule image ; il regarde un court clip vidéo (15 images, soit 0,5 seconde). Il utilise une unité de mémoire appelée LSTM (Long Short-Term Memory) pour se souvenir de ce qui s'est passé une fraction de seconde auparavant. Cela l'aide à comprendre si une personne hésite ou si elle est déjà en train de quitter le trottoir.

Ce qu'ils ont trouvé : Des suppositions plus intelligentes

Les chercheurs ont testé leur nouveau détective contre les anciens modèles en utilisant un ensemble de données appelé PIE, qui contient plus de 6 heures de vidéos de conduite réelles en ville. Ils ont demandé aux modèles de prédire si un piéton allait traverser la rue dans les secondes qui suivent.

Les résultats étaient clairs : le nouveau modèle était meilleur pour deviner.

Précision (Accuracy) : Le modèle TA-STGCN a donné la bonne réponse 84,65 % du temps. Il s'agit d'un bond significatif par rapport aux meilleurs modèles précédents, qui tournaient autour de 79,00 %.
Précision et Rappel : Le modèle était meilleur pour repérer les personnes qui avaient réellement l'intention de traverser (Rappel de 88,03 %) et il était moins susceptible de donner de fausses alertes pour des personnes qui restaient simplement immobiles (Précision de 86,50 %).
Trajectoire : Non seulement il a deviné si la personne allait traverser, mais il a aussi prédit où elle se trouverait un instant plus tard avec moins d'erreurs qu'auparavant (une Erreur de Déplacement Moyenne de 0,43).

Les auteurs ont explicitement montré que l'ajout des informations sur les feux de signalisation était la clé. Lorsqu'ils ont comparé leur modèle à une version sans les données de feux de signalisation, la version avec les feux a obtenu de meilleurs résultats sur chaque métrique. Cela prouve que le modèle ne fait pas que deviner ; il utilise réellement les signaux de circulation pour prendre des décisions plus intelligentes.

Le Bémol : C'est encore un travail en cours

Bien que les résultats soient prometteurs, l'article prend soin de ne pas prétendre qu'il s'agit d'un produit parfait et fini, prêt pour toutes les voitures sur la route aujourd'hui. Les auteurs soulignent quelques limitations importantes :

Le problème de « l'œil » : Actuellement, le modèle repose sur des données parfaitement étiquetées. Il suppose que quelqu'un a déjà dessiné les boîtes autour des piétons et identifié parfaitement les feux de signalisation. Dans le monde réel, une voiture autonome doit trouver ces éléments elle-même à l'aide de ses propres caméras et capteurs. Si les « yeux » de la voiture font une erreur, le modèle TA-STGCN pourrait être confus.
Vitesse : Le modèle est intelligent, mais il est aussi un peu lourd. Il effectue beaucoup de calculs pour relier tous les points du graphe. Faire fonctionner cela sur un petit ordinateur à l'intérieur d'une voiture (un système embarqué) pourrait être lent. Les auteurs suggèrent que les travaux futurs devront rendre le modèle plus rapide et plus léger afin qu'il puisse fonctionner en temps réel sans retard.
Scénarios manquants : Les données utilisées ne couvraient pas toutes les situations possibles, comme les arrêts de bus très fréquentés ou les espaces partagés où les gens se comportent différemment. Le modèle pourrait avoir besoin de plus d'entraînement pour gérer ces endroits délicats.

L'essentiel à retenir

Ce document suggère que si nous voulons que les voitures autonomes soient véritablement sûres, elles doivent cesser de regarder les piétons de manière isolée. Elles doivent comprendre toute la scène : les feux de signalisation, les passages piétons et le flux de la ville. En apprenant à l'ordinateur à prêter attention aux signaux de circulation, le modèle TA-STGCN montre une amélioration de 4,75 % de la précision par rapport aux meilleures méthodes précédentes. C'est une étape vers la création de véhicules autonomes non seulement intelligents, mais conscients de leur contexte, les aidant à prendre la bonne décision lorsqu'un piéton décide de traverser la rue.

Résumé Technique : Prédiction de l'Intention des Piétons Sensible au Trafic (TA-STGCN)

Définition du Problème
L'estimation précise de l'intention des piétons est une composante critique pour la navigation sécurisée des véhicules autonomes (VA), car les piétons représentent une part importante des décès liés à la circulation routière mondiale. Bien que les modèles d'apprentissage profond existants aient fait progresser le domaine en capturant les dépendances spatiales et temporelles, beaucoup ne parviennent pas à intégrer de manière adéquate les informations contextuelles dynamiques, spécifiquement les états des signaux de circulation (Rouge, Jaune, Vert) et le contexte de la scène. Les approches traditionnelles reposant sur des caractéristiques faites à la main ou des filtres classiques (par exemple, le filtre de Kalman étendu) peinent à se généraliser et à gérer les comportements non linéaires. Même les modèles récents d'apprentissage profond négligent souvent l'influence spécifique des feux de circulation et des passages piétons sur la prise de décision des piétons, ce qui entraîne des imprécisions potentielles dans les environnements urbains complexes.

Méthodologie : TA-STGCN
Pour remédier à ces limitations, les auteurs proposent le Traffic-Aware Spatio-Temporal Graph Convolutional Network (TA-STGCN). Le modèle est conçu pour intégrer directement les états dynamiques des panneaux de signalisation et le contexte de la scène dans le processus de prédiction d'intention.

Aperçu de l'Architecture : Le modèle utilise une architecture multi-flux qui traite deux flux de caractéristiques distincts :
1. Flux Image-Classe : Combine les données visuelles et les étiquettes de classe d'objets.
2. Flux Localisation-Classe : Combine les coordonnées spatiales (boîtes englobantes) et les étiquettes de classe d'objets.
  Les deux flux sont traités par des couches de graphes spatio-temporels (ST-Graph) pour encoder les interactions spatiales et les dépendances temporelles à court terme. Les sorties sont concaténées et transmises à un encodeur temporel composé de cellules LSTM (Long Short-Term Memory) pour capturer les dépendances à long terme avant de passer par un réseau entièrement connecté (FCN) pour la classification finale.
Construction du Graphe : Le système modélise les interactions entre les piétons et les éléments de trafic (ex. : feux de circulation, véhicules) en utilisant un graphe spatio-temporel $G = (V, E)$ . Les nœuds représentent les piétons et les éléments de trafic, tandis que les arêtes représentent les interactions au fil du temps. La matrice d'adjacence est normalisée pour stabiliser l'entraînement, et une matrice paramétrique apprend l'importance relative des différentes interactions.
Représentation des Caractéristiques :
- Caractéristiques des Piétons : Extraites via CNN, incluant la position, la vitesse, l'apparence et la taille de la boîte englobante (bounding box). L'inclusion de la taille de la boîte englobante est un choix de conception spécifique pour capturer la proximité du piéton avec le véhicule autonome.
- Caractéristiques des Panneaux de Signalisation : Encodées sous forme de vecteurs contenant le type, l'état (Rouge, Jaune, Vert), la classe et la position.
- Données d'Entrée : Le modèle utilise des données d'image ( $I$ ), des données de localisation ( $L_f$ ) et des données de classe ( $C_f$ ) dérivées des annotations de vérité terrain afin d'isoler la performance d'estimation d'intention des erreurs de détection d'objets.
Objectifs : Le modèle produit à la fois la probabilité de traversée ( $\hat{y}$ ) et les futures positions des piétons ( $\hat{p}_{t+\Delta t}$ ). Il est optimisé en minimisant la fonction de perte de l'entropie croisée binaire.

Contributions Clés

Intégration des Signaux de Trafic : Contrairement aux modèles antérieurs qui peuvent traiter le contexte de la scène de manière générale, le TA-STGCN intègre explicitement les états dynamiques des signaux de circulation (Rouge, Jaune, Vert) comme caractéristiques clés, reconnaissant leur influence directe sur le comportement des piétons.
Taille de la Boîte Englobante comme Caractéristique : Le modèle introduit la taille de la boîte englobante comme une caractéristique critique pour inférer la proximité du piéton avec le véhicule, améliorant ainsi la capacité du modèle à détecter l'intention de traverser.
Modélisation de Graphe Spatio-Temporel : L'approche utilise une architecture STGCN à double flux pour modéliser conjointement les interactions spatiales (entre les piétons et les éléments de trafic) et l'évolution temporelle (changements de ces relations au fil du temps).

Résultats et Évaluation
Le modèle a été évalué sur le jeu de données PIE, qui contient plus de 6 heures de vidéos de conduite urbaine annotées. Le jeu de données a été divisé en ensembles d'entraînement, de validation et de test, avec des séquences de 15 images (0,5 seconde) utilisées comme entrée.

Métriques de Performance : Le modèle a été évalué en utilisant l'Exactitude (Accuracy), la Précision, le Rappel (Recall), le F1-Score, l'Erreur de Déplacement Moyenne (ADE) et l'Erreur de Déplacement Finale (FDE).
Performance Comparative : Le TA-STGCN a surpassé les méthodes traditionnelles (SVM, RNN) et les bases d'apprentissage profond existantes (GCN, Modèle de Référence PIE).
- Exactitude : Le TA-STGCN a atteint 84,65 %, dépassant le modèle de référence PIE et le GCN (tous deux à 79,00 %) ainsi que le RNN (76,89 %).
- Amélioration : Les auteurs rapportent une exactitude supérieure de 4,75 % par rapport au modèle de référence.
- Prédiction de Trajectoire : Le modèle a obtenu les taux d'erreur les plus bas, avec une ADE de 0,43 et une FDE de 0,91, surpassant le modèle de référence (ADE 0,47, FDE 0,92).
Analyse des Composants : Une étude comparative entre un STGCN standard et le TA-STGCN proposé a confirmé que l'intégration des informations sur les panneaux de signalisation a amélioré les performances sur toutes les métriques, incluant une augmentation de la Précision (86,50 %) et du Rappel (88,03 %).

Signification et Limites
L'article affirme que le TA-STGCN démontre l'efficacité de l'intégration de la conscience des signaux de circulation dynamiques et de la taille de la boîte englobante dans la prédiction de l'intention des piétons, menant à une performance plus robuste dans les contextes urbains complexes. Les résultats suggèrent que la modélisation explicite de l'état des feux de circulation améliore considérablement la fiabilité des systèmes de sécurité des VA.

Cependant, les auteurs maintiennent une position modeste concernant le déploiement dans le monde réel, reconnaissant plusieurs limitations :

Dépendance à la Vérité Terrain : L'évaluation actuelle repose sur des jeux de données pré-annotés pour la détection et la classification d'objets. Dans des scénarios réels, le modèle dépend de la précision et de la vitesse des modules de détection d'objets externes, ce qui introduit un potentiel de bruit et de latence.
Surcharge de Calcul : La construction de graphes spatio-temporels et l'utilisation de couches LSTM introduisent des coûts de calcul qui peuvent poser problème pour un déploiement en temps réel sur des dispositifs embarqués aux ressources limitées.
Diversité du Jeu de Données : Le jeu de données actuel manque de couverture pour certains scénarios critiques, tels que les arrêts de bus et les espaces partagés, ce qui peut limiter la généralisation du modèle à tous les environnements de trafic.

Les auteurs concluent que bien que le TA-STGCN améliore considérablement la précision de la prédiction, les travaux futurs doivent se concentrer sur l'optimisation de l'efficacité de calcul pour les applications en temps réel et sur l'expansion de la diversité des jeux de données pour assurer une généralisation plus large.