Gesture Matters: Pedestrian Gesture Recognition for AVs Through Skeleton Pose Evaluation

Résumé technique : L'importance du geste : Reconnaissance des gestes piétons pour les VA par l'évaluation de la pose squelettique

Énoncé du problème
Alors que les véhicules autonomes (VA) sont déployés dans les systèmes de transport intelligents, une lacune critique subsiste dans leur capacité à interpréter la communication non verbale entre les piétons et les conducteurs. Bien que des règles de circulation formelles régissent la priorité, le trafic réel repose souvent sur des indices non verbaux informels — spécifiquement les gestes — pour négocier les intentions et résoudre les impasses. Les conducteurs humains perçoivent naturellement ces signaux sociaux, mais les VA manquent actuellement de la capacité perceptive pour les interpréter, s'appuyant au lieu de cela sur des règles prédéfinies qui peuvent ne pas capturer l'incertitude du comportement humain. Cette limitation risque de rendre les VA excessivement prudents ou peu réactifs dans des environnements urbains complexes. De plus, la recherche existante manque d'un ensemble de données dédié et réel, spécifiquement adapté à la reconnaissance des gestes des piétons, les ensembles de données actuels étant souvent limités aux environnements simulés ou à des catégories de gestes spécifiques.

Méthodologie
Pour combler ces lacunes, les auteurs proposent un cadre de vision par ordinateur pour la reconnaissance des gestes des piétons utilisant des séquences vidéo du monde réel issues de l'ensemble de données WIVW. La méthodologie se déroule selon les étapes suivantes :

1. Curation des données et taxonomie :

   • Les auteurs ont utilisé l'ensemble de données WIVW, sélectionnant 180 vidéos extérieures, en vue frontale et centrées sur le piéton (excluant la VR en intérieur et les perspectives à la troisième personne) pour garantir la pertinence de l'interaction piéton-VA.
   • Une taxonomie de quatre classes de gestes a été établie sur la base d'une revue de la littérature : « Stop », « Go », « Remerciement & Salutation » et « Aucun geste ». Cette agrégation a été conçue pour améliorer la robustesse à travers différentes régions et cultures.
   • Les vidéos ont été prétraitées pour isoler les images positives aux gestes, éliminant les séquences non essentielles.

2. Estimation de la pose et normalisation :

   • Le cadre utilise le modèle RTMPose-m (via MMPose) pour extraire les points clés du squelette 2D (17 points suivant l'annotation COCO) des images vidéo.
   • Une méthode de normalisation basée sur le torse a été implémentée pour atténuer les variations d'échelle et de position. Les points clés sont normalisés par rapport au point médian des hanches et mis à l'échelle par la taille du torse (calculée comme la distance euclidienne moyenne entre les épaules et les hanches), garantissant que les caractéristiques restent invariantes à la distance du piéton par rapport à la caméra.

3. Ingénierie des caractéristiques (Feature Engineering) :

   • Caractéristiques statiques (71 caractéristiques) : Dérivées des points clés normalisés pour capturer la configuration de la pose à des instants individuels. Celles-ci incluent les positions moyennes des points clés, les positions maximales des points clés et les distances moyennes entre des points clés spécifiques (ex. : main-à-main, main-à-épaule).
   • Caractéristiques dynamiques (5 caractéristiques) : Dérivées pour capturer l'évolution temporelle et le mouvement. Celles-ci incluent la vitesse moyenne et l'accélération des mains gauche et droite, ainsi que le rapport de vitesse entre les deux mains.
   • L'ensemble final de caractéristiques comprend 76 caractéristiques (71 statiques + 5 dynamiques).

4. Classification et analyse :

   • Un classificateur de type Forêt Aléatoire (Random Forest) a été sélectionné pour son explicabilité et ses performances prouvées dans la reconnaissance d'activités basées sur le squelette.
   • t-SNE (t-distributed Stochastic Neighbor Embedding) a été utilisé pour visualiser le regroupement des sous-ensembles de caractéristiques (statiques uniquement, dynamiques uniquement et combinées) afin d'évaluer la séparabilité des classes.
   • L'importance des caractéristiques a été évaluée à l'aide des scores d'importance de Gini pour identifier les facteurs discriminants.

Résultats clés

• Précision de classification : L'ensemble de caractéristiques combinées (statiques et dynamiques) a atteint la précision de classification la plus élevée de 87,04 %. Cela représentait une amélioration par rapport au modèle statique uniquement (83,33 %) et au modèle dynamique uniquement (66,67 %).
• Performance par classe :
  • La classe « Aucun geste » a été parfaitement classifiée.
  • La classe « Go » a atteint 88 % de précision dans le modèle statique.
  • La classe « Stop » a montré l'amélioration la plus significative lors de l'ajout des caractéristiques dynamiques, passant de 59 % (statique uniquement) à 71 % (combiné).
• Discriminateurs de caractéristiques :
  • Analyse statique : La position verticale moyenne ($y$) de la main droite et la distance main-à-main étaient les caractéristiques statiques les plus discriminantes.
  • Analyse dynamique : La vitesse de la main a été identifiée comme le principal discriminateur. Plus précisément, la vitesse de la main gauche a été identifiée comme la caractéristique la plus importante dans le modèle combiné. Les auteurs attribuent cela au fait que les piétons du côté droit de la route utilisent principalement leur main gauche pour signaler aux véhicules.
• Regroupement (Clustering) : L'analyse t-SNE a révélé que, bien que « Aucun geste » soit facilement distinguable, « Stop » et « Remerciement & Salutation » présentent un chevauchement dans les caractéristiques statiques en raison de positions de mains similaires. L'introduction de caractéristiques dynamiques a aidé à séparer modérément ces classes, bien qu'une certaine ambiguïté demeure entre « Go » et « Remerciement & Salutation », probablement due à des durées de gestes similaires.

Signification et contributions
L'article prétend combler le fossé entre la recherche sur les gestes des piétons et l'analyse computationnelle en fournissant un cadre qui utilise des données réelles plutôt que des environnements simulés. Ses principales contributions sont :

1. Standardisation : La proposition d'une taxonomie de quatre classes dérivée de la littérature transculturelle et des ensembles de données existants pour standardiser la catégorisation des gestes pour les applications de VA.
2. Validation du cadre : Démontrer qu'une combinaison de pose statique et de dynamique de mouvement est critique pour la reconnaissance précise des gestes, atteignant un score de précision de 87 %.
3. Aperçu comportemental : Identifier que la position de la main et la vitesse de mouvement sont les facteurs les plus discriminants, offrant des informations spécifiques sur la manière dont les VA peuvent mieux interpréter l'intention des piétons.
4. Utilisation de l'ensemble de données : Adapter avec succès l'ensemble de données WIVW pour la reconnaissance des gestes des piétons, fournissant une base pour de futures recherches dans des contextes de trafic réels.

Les auteurs concluent que, bien que le cadre actuel améliore les capacités perceptives, les travaux futurs devraient explorer les modèles d'apprentissage profond, la modélisation de séquences temporelles (ex. : LSTM) et les caractéristiques du domaine fréquentiel pour mieux distinguer les mouvements périodiques et résoudre les regroupements ambigus.