Robust Human Trajectory Prediction via Self-Supervised Skeleton Representation Learning

Cet article propose une méthode robuste de prédiction de trajectoire humaine qui intègre un modèle de représentation squelettique auto-supervisé préentraîné par auto-encodage masqué pour atténuer l'impact des occlusions et des joints manquants sans compromettre la précision.

L'essentiel

Imaginez que vous essayez de prédire où va marcher une personne dans une foule. C'est comme essayer de anticiper le prochain mouvement d'un danseur. Pour les robots ou les caméras de sécurité, c'est crucial : il faut savoir si la personne va tourner à gauche, s'arrêter ou traverser la rue.

Jusqu'à présent, les ordinateurs regardaient surtout où la personne était (sa trajectoire). Mais c'est comme essayer de deviner l'avenir d'un danseur en regardant seulement ses pieds sur le sol : on manque beaucoup d'indices !

C'est pourquoi les chercheurs ont commencé à utiliser le squelette de la personne (la position de ses épaules, coudes, genoux, etc.). Le corps humain est un langage : si quelqu'un penche son torse vers la gauche, il va probablement tourner à gauche. C'est un indice précieux.

Le Problème : La "Cécité" de la Caméra
Dans la vraie vie, les caméras ne sont pas parfaites. Des gens passent devant, des objets cachent des parties du corps. C'est ce qu'on appelle l'occlusion.
Imaginez que vous regardez un danseur, mais que quelqu'un passe devant lui et cache son bras gauche et sa jambe droite. Votre ordinateur, qui essaie de lire le "squelette", voit des trous. Il panique, perd ses repères et fait une prédiction catastrophique. C'est comme essayer de deviner la fin d'une histoire en ayant perdu la moitié des pages.

La Solution : L'Entraînement "Caché"
L'équipe de chercheurs de l'Université de Chiba a proposé une idée brillante pour résoudre ce problème. Au lieu d'essayer de faire fonctionner l'ordinateur avec des données abîmées, ils ont décidé de l'entraîner spécifiquement à deviner ce qui manque.

Voici comment ils ont fait, avec une analogie simple :

1. Le Jeu du "Trou dans le Puzzle" (Apprentissage auto-supervisé) :
   Imaginez que vous apprenez à un enfant à reconnaître un visage. Au lieu de lui montrer des photos parfaites, vous lui montrez des photos où vous avez caché le nez, ou un œil, ou la bouche avec un autocollant. Vous lui demandez : "Devine ce qui se cache sous l'autocollant !".
   L'enfant va apprendre à utiliser le reste du visage (la forme des joues, la position des sourcils) pour deviner le nez manquant. Il devient un expert en "complétion mentale".

   C'est exactement ce que les chercheurs ont fait avec leur IA. Ils ont pris des milliers de vidéos de personnes, et ils ont effacé aléatoirement des parties du squelette (comme si des joints étaient manquants). L'IA a dû apprendre à reconstruire mentalement le corps entier à partir des parties visibles.

2. Le Super-Squelette Robuste :
   Après cet entraînement intense, l'IA ne voit plus les "trous" comme des catastrophes. Elle a développé une représentation mentale robuste. Elle sait que même si elle ne voit pas le genou, la position de la hanche et du pied lui dit où le genou devrait être. Elle a appris l'esprit du mouvement, pas juste la position des points.

3. La Prédiction Finale :
   Maintenant, quand cette IA "entraînée aux trous" regarde une nouvelle vidéo pour prédire le futur, elle utilise ce super-pouvoir. Même si la caméra cache une partie du corps, l'IA dit : "Pas de panique, je connais la structure du corps, je vais utiliser ce que je vois pour deviner le reste et prédire la trajectoire avec précision."

Pourquoi c'est génial ?
Avant, il fallait choisir entre deux options :

• Soit l'IA était très précise quand tout était visible, mais elle s'effondrait dès qu'il y avait un obstacle.
• Soit on l'entraînait avec des obstacles, mais elle devenait moins précise même quand tout était clair.

La méthode de cette équipe est comme un athlète polyvalent. Elle reste aussi performante que les meilleures quand tout est clair, mais elle ne s'effondre pas quand il y a du brouillard ou des obstacles. Elle garde ses capacités de prédiction même quand les données sont imparfaites.

En résumé :
Au lieu de dire à l'ordinateur "Regarde ce que tu vois", ils lui ont appris "Apprends à deviner ce que tu ne vois pas". Grâce à ce petit entraînement spécial, l'ordinateur devient un détective plus intelligent, capable de prédire le futur des piétons même dans les situations les plus chaotiques et cachées. C'est une avancée majeure pour la sécurité des robots et des voitures autonomes !

Résumé technique

1. Problématique

La prédiction de trajectoire humaine est essentielle pour des applications comme la navigation autonome et la vidéosurveillance. Les méthodes existantes utilisent souvent uniquement les positions passées, ce qui limite la capacité à inférer l'intention du piéton (changements de direction, motifs de mouvement). Pour pallier cela, des travaux récents intègrent des séquences squelettiques (poses 3D) comme modalité complémentaire.

Cependant, un défi majeur subsiste : dans des environnements réels, les données squelettiques sont souvent incomplètes en raison d'occlusions, d'erreurs de détection ou de changements d'orientation.

• Le compromis (Trade-off) : Les méthodes actuelles qui s'adaptent aux données manquantes (en entraînant directement sur des squelettes corrompus) voient souvent leur précision chuter dans des conditions propres (sans occlusion). À l'inverse, les modèles entraînés sur des données propres sont très sensibles aux occlusions.
• Objectif : Développer une méthode qui améliore la robustesse face aux joints manquants sans sacrifier la précision de prédiction dans des conditions idéales.

2. Méthodologie Proposée

Les auteurs proposent un cadre en deux étapes qui sépare l'apprentissage de la représentation squelettique de la prédiction de trajectoire finale.

A. Apprentissage Auto-Supervisé de Représentation Squelettique (Pré-entraînement)

L'objectif est d'apprendre un encodeur capable de générer des représentations latentes stables même lorsque des parties du squelette sont manquantes.

• Architecture : Un encodeur-décodeur asymétrique.
  • Encodeur : Un ST-GCN (Spatio-Temporal Graph Convolutional Network) qui traite les joints visibles.
  • Décodeur : Un MLP léger qui reconstruit les coordonnées des joints masqués.
• Stratégie de Masquage (Masking) : Pendant le pré-entraînement, une sous-ensemble de joints est masqué (remplacé par des zéros) de manière aléatoire. Le modèle apprend à reconstruire les coordonnées manquantes à partir des joints visibles et du contexte spatio-temporel.
• Stratégies de masquage testées :
  • Temporellement cohérent : Les mêmes joints sont masqués sur toutes les trames (simule une occlusion longue).
  • Aléatoire : Les joints sont masqués indépendamment à chaque trame (simule des erreurs de détection sporadiques).
  • Par partie du corps : Des groupes de joints (ex: bras, jambes) sont masqués ensemble (simule des occlusions sévères).
• Résultat : L'encodeur apprend des caractéristiques de mouvement robustes qui ne dépendent pas de la présence de tous les joints.

B. Intégration dans la Prédiction de Trajectoire

L'encodeur pré-entraîné est intégré dans un modèle de prédiction de trajectoire existant (Social-TransMotion).

• Remplacement : La projection linéaire standard des poses 3D est remplacée par la sortie de l'encodeur pré-entraîné.
• Gel des poids : Lors de l'entraînement de la tâche de prédiction (fine-tuning), l'encodeur squelettique est gelé (frozen). Seuls les modules de prédiction sont optimisés.
• Philosophie clé : Au lieu d'adapter le prédicteur aux données corrompues, on rend la représentation elle-même robuste. Cela permet de préserver l'utilisation des indices squelettiques informatifs tout en réduisant la sensibilité aux joints manquants.

3. Contributions Clés

1. Cadre à deux étapes : Une séparation explicite entre l'apprentissage de la représentation squelettique (par reconstruction auto-supervisée) et la prédiction de trajectoire, permettant de gérer le compromis précision-robustesse.
2. Robustesse au niveau de la représentation : Démonstration que l'apprentissage par masquage (Masked Autoencoding) permet d'acquérir des représentations qui restent informatives malgré des motifs de données manquantes variés, plutôt que de simplement reconstruire les poses.
3. Analyse de dépendance : Preuve que les gains de performance ne viennent pas d'une réduction de l'utilisation des squelettes (ce qui affaiblirait le modèle), mais d'une meilleure utilisation des caractéristiques squelettiques même en présence d'occlusions.

4. Résultats Expérimentaux

Les expériences ont été menées sur le dataset synthétique JTA (qui contient de nombreuses occlusions).

• Performance en conditions propres (Clean) : La méthode proposée atteint une précision supérieure aux modèles de base (Baseline) et aux modèles entraînés directement sur des données corrompues.
• Robustesse aux occlusions :
  • Dans des scénarios de faible à modérée absence de données (0.0 à 0.4 de taux de masquage), la méthode proposée surpasse systématiquement les modèles de base.
  • Elle maintient une performance compétitive même dans des scénarios de forte absence (jusqu'à 0.6).
• Analyse de dépendance (Skeleton Reliance) :
  • En désactivant l'entrée squelette, la méthode proposée subit une chute de performance plus importante que les modèles de base, prouvant qu'elle utilise davantage les informations squelettiques.
  • Contrairement aux modèles "robustes" classiques qui deviennent moins dépendants des squelettes pour survivre aux occlusions, cette méthode reste fortement dépendante des squelettes mais les traite de manière plus fiable.
• Comparaison qualitative : Sur des trajectoires courbes (où l'orientation du corps est cruciale), la méthode proposée prédit correctement la courbure même avec des données partielles, là où les autres modèles prédisent des trajectoires trop rectilignes.

5. Signification et Impact

Ce travail démontre que la robustesse dans la prédiction de trajectoire ne doit pas être obtenue en "diluant" l'information squelettique, mais en apprenant des représentations latentes intrinsèquement robustes.

• Avantage pratique : La méthode offre une solution viable pour les systèmes réels où les capteurs (caméras, LiDAR) produisent inévitablement des données de pose incomplètes.
• Efficacité : L'ajout de l'encodeur pré-entraîné n'augmente que légèrement le temps d'inférence et le nombre de paramètres par rapport aux modèles de base.
• Perspective : L'approche suggère que l'apprentissage auto-supervisé basé sur la reconstruction est une stratégie fondamentale pour rendre les modèles multimodaux résilients aux défaillances de capteurs, applicable au-delà de la simple prédiction de trajectoire.

En résumé, l'article propose une solution élégante au compromis classique entre précision et robustesse en déplaçant la charge de la robustesse de la phase de prédiction vers la phase d'encodage des caractéristiques squelettiques.