🤖 AI

TrajMamba: An Ego-Motion-Guided Mamba Model for Pedestrian Trajectory Prediction from an Egocentric Perspective

Ce papier propose TrajMamba, un modèle Mamba guidé par le mouvement de l'observateur qui améliore la prédiction des trajectoires piétonnes en perspective égocentrique en modélisant explicitement le mouvement relatif entre le piéton et le véhicule, atteignant ainsi des performances de pointe sur les ensembles de données PIE et JAAD.

Auteurs originaux : Yusheng Peng, Gaofeng Zhang, Liping Zheng

Publié 2026-03-17

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Yusheng Peng, Gaofeng Zhang, Liping Zheng

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🚶‍♂️ TrajMamba : Le "Sixième Sens" pour les Voitures Autonomes

Imaginez que vous êtes au volant d'une voiture autonome. Vous regardez un piéton qui traverse la rue devant vous. Le problème ? Vous bougez aussi.

Si la voiture avance vite, le piéton semble bouger différemment que s'il marchait sur place. C'est comme regarder par la fenêtre d'un train : les arbres défilent, mais est-ce qu'ils bougent vraiment, ou est-ce le train qui avance ?

Pour une voiture autonome, prédire où va aller le piéton est un casse-tête mathématique complexe. C'est là qu'intervient TrajMamba.

🧠 Le Problème : La Danse à Deux

La plupart des systèmes actuels essaient de deviner la trajectoire du piéton en mélangeant deux informations dans un grand "pot de soupe" :

Ce que fait le piéton.
Ce que fait la voiture.

Le problème, c'est que dans ce mélange, il est difficile de savoir exactement comment le mouvement de la voiture influence la perception du mouvement du piéton. C'est comme essayer de comprendre une conversation entre deux personnes en écoutant un enregistrement où leurs voix sont mélangées sans séparation.

🚀 La Solution : TrajMamba et son "Guide"

Les chercheurs ont créé un nouveau modèle appelé TrajMamba. Pour le comprendre, utilisons une analogie simple : le capitaine et le navigateur.

Le Capitaine (Le Mamba) :
Le modèle utilise une technologie nouvelle appelée Mamba. Imaginez Mamba comme un capitaine de navire ultra-rapide et très efficace. Contrairement aux anciens capitaines (les réseaux de neurones classiques comme les LSTM) qui devaient tout relire lentement, Mamba peut lire l'histoire du mouvement très vite, comme un livre qu'on lit d'une traite, tout en se souvenant de chaque détail.
Le Navigateur (Le Décodeur Guidé) :
C'est la grande innovation. Au lieu de mélanger les informations, TrajMamba sépare les rôles :
- Il prend l'histoire du piéton (ses pas passés) comme contexte.
- Il prend le mouvement de la voiture (sa vitesse, sa direction) comme un guide ou un compas.
L'analogie du GPS :
Imaginez que vous devez prédire où ira un ami qui court.
- Ancienne méthode : Vous mélangez la vitesse de votre ami avec la vitesse de votre voiture dans un seul calcul flou.
- Méthode TrajMamba : Vous dites : "Mon ami a couru ainsi (contexte). Maintenant, si ma voiture tourne à gauche (guide), alors la trajectoire apparente de mon ami va changer de cette manière précise."
Le modèle apprend explicitement : "Quand la voiture accélère, le piéton semble reculer. Quand la voiture tourne, le piéton semble glisser." Il utilise le mouvement de la voiture comme une instruction pour ajuster la prédiction du piéton.

🎯 Comment ça marche en pratique ?

Le modèle ne prédit pas la position exacte du piéton (ce qui est dur). Il prédit l'erreur par rapport à une ligne droite simple.

L'idée : "Si le piéton continuait tout droit à la même vitesse, il serait ici."
La prédiction : "Mais comme la voiture tourne, il va dévier de 2 mètres vers la droite."
C'est comme si le modèle ne cherchait pas à dessiner toute la route, mais seulement les petits détours nécessaires.

🏆 Les Résultats : Une Victoire Claire

Les chercheurs ont testé ce système sur deux bases de données réelles (des heures de vidéos de voitures et de piétons).

Résultat : TrajMamba est plus précis que tous les autres systèmes existants.
Efficacité : Il est aussi beaucoup plus léger et rapide à calculer. C'est comme passer d'un vieux camion de déménagement (les anciens modèles) à une Formule 1 électrique (Mamba) : plus rapide, moins gourmand en énergie, et plus précis dans les virages.

En résumé

TrajMamba est un nouveau cerveau artificiel pour les voitures autonomes. Au lieu de confondre le mouvement du piéton avec celui de la voiture, il utilise le mouvement de la voiture comme un guide intelligent pour mieux comprendre ce que le piéton va faire. C'est plus rapide, plus précis, et cela rend nos futures voitures autonomes beaucoup plus sûres pour tous les piétons.

1. Problématique

La prédiction des trajectoires futures des piétons est cruciale pour la sécurité des véhicules autonomes et la navigation des robots mobiles. La majorité des recherches existantes opèrent dans une perspective tiers (vue de dessus, type drone ou caméra de surveillance), où le mouvement du piéton est analysé dans un cadre de référence fixe.

Cependant, les véhicules autonomes et les robots perçoivent leur environnement depuis une perspective égocentrique (première personne). Le défi majeur réside dans le fait que la caméra (l'ego) et le piéton sont tous deux en mouvement. Le mouvement apparent observé dans l'image est la superposition du mouvement intrinsèque du piéton et du mouvement du véhicule porteur (la caméra).

Limites des approches actuelles : Les méthodes existantes fusionnent souvent les caractéristiques du mouvement du piéton et de l'ego (mouvement du véhicule) de manière implicite (fusion précoce ou tardive) dans un espace latent commun avant la décodification. Cette approche rend la modélisation de la relation dynamique relative ambiguë et empêche l'analyse explicite de la façon dont le mouvement de l'ego régule dynamiquement le mouvement du piéton.

2. Méthodologie : TrajMamba

Les auteurs proposent TrajMamba, un cadre de prédiction de trajectoire guidé par le mouvement de l'ego, basé sur l'architecture Mamba (un modèle d'espace d'état sélectif, SSM). Le modèle se compose de quatre modules principaux :

A. Représentation d'Entrée et de Sortie (Différenciée)

Entrée : Au lieu d'utiliser uniquement les coordonnées de la boîte englobante, le modèle calcule l'état de mouvement $M_t$ incluant la position, la vitesse (déplacement du centre), et la variation d'échelle (largeur/hauteur).
Hypothèse CV-CS (Constant Velocity - Constant Scaling) : Le modèle suppose que sur de courtes périodes, le piéton maintient une vitesse et une échelle constantes. Un "trajectoire de référence" est calculée à partir des 5 dernières observations.
Sortie : Le réseau ne prédit pas la position absolue, mais le résidu (l'offset) par rapport à cette trajectoire de référence. Cela injecte des connaissances physiques a priori et facilite l'optimisation.

B. Encodeurs (PME et EME)

Encodeur de mouvement du piéton (PME) : Utilise un modèle Mamba pour extraire les caractéristiques temporelles des mouvements passés du piéton.
Encodeur de mouvement de l'ego (EME) : Utilise un modèle Mamba distinct pour encoder les informations de mouvement du véhicule (vitesse ou états de comportement comme accélérer/décélérer).
Avantage de Mamba : Contrairement aux LSTM, GRU ou Transformers, Mamba offre une modélisation séquentielle linéaire et une efficacité supérieure pour les longues séquences.

C. Décodeur Guidé par l'Ego-Motion (EMGD)

C'est le cœur de l'innovation. Au lieu de fusionner les features avant la décodification :

Les caractéristiques de mouvement du piéton servent de contexte historique.
Les caractéristiques de mouvement de l'ego (au dernier instant observé) servent de signaux de guidage conditionnels explicites pour la prédiction future.
Le décodeur Mamba apprend explicitement le mécanisme de modulation dynamique : comment le mouvement du véhicule influence le mouvement futur du piéton dans le cadre de référence de la caméra.

D. Générateur de Trajectoire Future (FTG)

Un MLP (Perceptron Multicouche) mappe les caractéristiques décodées futures vers les boîtes englobantes prédites (en ajoutant les résidus prédits à la trajectoire de référence).

3. Contributions Clés

Nouveau cadre basé sur Mamba : Introduction de TrajMamba, la première architecture utilisant Mamba pour la prédiction de trajectoire piétonne en perspective égocentrique.
Décodeur Explicite (EMGD) : Conception d'un décodeur qui traite le mouvement de l'ego comme une condition explicite pour guider la prédiction, résolvant l'ambiguïté des méthodes de fusion implicite.
Représentation Résiduelle Physique : Utilisation de l'hypothèse CV-CS pour prédire des offsets par rapport à une trajectoire de référence, améliorant la plausibilité physique et la précision.
Performance État-de-l'Art (SOTA) : Démonstration d'une supériorité significative sur les jeux de données benchmarks PIE et JAAD.

4. Résultats Expérimentaux

Les expériences ont été menées sur les jeux de données PIE et JAAD avec des métriques standard : ADE (Erreur de Déplacement Moyenne), FDE (Erreur de Déplacement Finale), ARB et FRB.

Performance Globale : TrajMamba surpasse systématiquement les méthodes de référence (LSTM, GRU, Transformer, BiTrap, PedFormer, etc.).
- Sur PIE (1s de prédiction) : Amélioration de 40,98 % sur l'ADE et 44,02 % sur le FDE par rapport au modèle précédent le plus performant (PedFormer).
- Sur JAAD (1s de prédiction) : Amélioration de 22,30 % sur l'ADE et 26,11 % sur le FDE.
Efficacité Computationnelle : Les ablations montrent que les modèles basés sur Mamba ont considérablement moins de paramètres et de coûts de calcul (FLOPs) que les modèles basés sur Transformer ou LSTM, tout en offrant de meilleures performances.
Ablations :
- Le décodeur guidé par l'ego (EMGD) surpasse constamment les mécanismes de fusion postérieure (PFD).
- L'utilisation de Mamba comme encodeur et décodeur est supérieure à LSTM, GRU et Transformer pour l'extraction de caractéristiques de mouvement temporel.

5. Signification et Impact

Ce travail est significatif car il adresse le problème fondamental de la prédiction de trajectoire en perspective égocentrique, souvent négligé au profit des vues de dessus.

Innovation Architecturale : L'application de l'architecture Mamba (SSM) dans le domaine de la vision par ordinateur pour la prédiction de trajectoire démontre son potentiel pour remplacer les Transformers et les RNN, offrant un meilleur compromis entre précision et efficacité.
Modélisation Relationnelle : En séparant explicitement le contexte (piéton) et le guide (ego), le modèle capture mieux la dynamique complexe des interactions véhicule-piéton, ce qui est essentiel pour la prise de décision des véhicules autonomes.
Perspectives Futures : Les auteurs notent que le modèle ne prend pas encore en compte les interactions entre piétons dans les foules, ce qui constitue la prochaine étape de recherche.

En résumé, TrajMamba établit une nouvelle référence pour la prédiction de trajectoire en perspective première, combinant une modélisation physique intelligente (résidus CV-CS) avec l'efficacité computationnelle et la capacité de modélisation séquentielle de l'architecture Mamba.