💻 computer science

Three-Step Hierarchical Transformer for Multi-Pedestrian Trajectory Prediction

Cet article propose un Transformer hiérarchique à trois étapes qui sépare explicitement l'encodage temporel, la fusion multimodale et le raisonnement sur les interactions sociales afin d'atteindre des performances de pointe en matière de prédiction de trajectoire de piétons sur des jeux de données réels, tout en améliorant la scalabilité et l'interprétabilité.

Auteurs originaux : Raphaël Delécluse, Hazem Wannous, Laurent Grisoni, Laurent Guimas

Publié 2026-06-23

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Raphaël Delécluse, Hazem Wannous, Laurent Grisoni, Laurent Guimas

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous vous trouvez dans une gare bondée, essayant de deviner où une personne spécifique se trouvera dans les prochaines secondes. Pour y parvenir, vous devez observer trois choses différentes :

Comment elle se déplace en ce moment (Marche-t-elle vite ? S'arrête-t-elle ?).
Ce que son langage corporel dit (Tourne-t-elle la tête ? Tient-elle une valise qui suggère qu'elle pourrait s'arrêter ?).
Ce que font toutes les autres personnes autour d'elle (Une foule bloque-t-elle son chemin ? Un ami lui fait signe de la main ?).

La plupart des programmes informatiques qui tentent de prédire cela sont submergés. Ils essaient d'examiner ces trois éléments à la fois, ce qui rend les mathématiques complexes, lentes et difficiles à comprendre.

Ce document présente un nouveau modèle informatique appelé le Three-Step Hierarchical Transformer (Transformeur Hiérarchique à Trois Étapes). Imaginez cela comme une équipe de trois détectives spécialisés travaillant en ligne, plutôt qu'un seul détective essayant de tout faire à la fois.

L'équipe de détectives en trois étapes

Étape 1 : Le « Suiveur de Mouvement » (Encodeur Temporel)
D'abord, le modèle regarde uniquement le parcours passé de la personne. Il ignore son langage corporel et ignore les autres personnes. C'est comme un coureur qui ne surveille que la piste.

Ce qu'il fait : Il demande : « Sur la base de l'endroit où cette personne se trouvait ces dernières secondes, où est-elle susceptible d'aller ensuite ? »
L'analogie : Imaginez un prévisionniste météo qui ne regarde que la vitesse du vent. Il peut prédire si une tempête arrive, mais il ne sait pas encore s'il pleut. Cette étape crée un « brouillon » du futur parcours.

Étape 2 : Le « Lecteur de Langage Corporel » (Décodeur de Modalité)
Ensuite, le modèle prend ce brouillon et l'affine grâce à des indices supplémentaires. Il observe la posture de la personne (tourne-t-elle la tête ?), sa boîte englobante (quelle est sa taille ?), ou d'autres détails visuels.

Ce qu'il fait : Il demande : « Le suiveur de mouvement a dit qu'elle irait tout droit, mais regardez ! Elle tourne la tête à gauche. Ajustons le parcours. »
L'analogie : C'est comme un détective qui voit un suspect serrant une carte contre lui. Même si le suspect marchait droit, la carte suggère qu'il pourrait s'arrêter à un coin de rue. Le modèle utilise un « résumé intelligent » (un GRU léger) pour digérer rapidement ces indices corporels sans être accablé par trop de données.

Étape 3 : Le « Gestionnaire de Foule » (Transformeur de Scène)
Enfin, le modèle observe toute la scène. Il prend le parcours raffiné de la personne cible et le compare avec les trajectoires de toutes les autres personnes de la foule.

Ce qu'il fait : Il demande : « Si cette personne va à gauche, va-t-elle heurter quelqu'un ? Est-ce que ce groupe de personnes se déplace ensemble ? » Il ajuste le parcours pour s'assurer que la personne ne traverse pas un mur ou un ami.
L'analogie : C'est comme un chef d'orchestre. Le chef n'écoute pas seulement un violon ; il écoute comment le violon s'intègre avec les tambours et les flûtes. Si les tambours deviennent forts, le violon devra peut-être jouer plus doucement. Ici, le modèle s'assure que le parcours de la personne est cohérent dans le contexte de toute la foule.

Pourquoi cette conception est spéciale

1. Elle est efficace (Économise de l'énergie)
Si vous essayiez de faire ces trois étapes en même temps (en regardant le temps, le langage corporel et toute la foule simultanément), l'ordinateur devrait effectuer un nombre massif de calculs, comme essayer de résoudre un puzzle géant où chaque pièce est connectée à toutes les autres. Cela devient trop lent et coûteux.

L'affirmation de l'article : En divisant cela en trois étapes, le modèle n'effectue les calculs lourds que lorsque c'est nécessaire. C'est comme trier le courrier : d'abord par pays, puis par ville, puis par rue. C'est beaucoup plus rapide que d'essayer de trier chaque lettre selon toutes les adresses possibles en même temps.

2. Elle est flexible (Gère les informations manquantes)
Parfois, une caméra peut manquer le visage d'une personne, ou la vidéo peut être floue.

L'affirmation de l'article : Comme les étapes sont séparées, si l'étape du « Langage Corporel » manque un indice, le modèle peut toujours utiliser les étapes du « Suiveur de Mouvement » et du « Gestionnaire de Foule » pour faire une bonne estimation. Il ne plante pas simplement parce qu'une information est manquante.

3. Elle est claire (Facile à comprendre)
Parce que les étapes sont distinctes, les chercheurs peuvent examiner le modèle et dire : « Ah, l'erreur s'est produite à l'étape 2, pas à l'étape 3. » Cela rend l'amélioration et la correction plus faciles.

Les résultats : Est-ce que cela a fonctionné ?

Les auteurs ont testé cette « Équipe en trois étapes » sur trois ensembles de données différents (vidéos de jeux simulés et vidéos réelles de personnes marchant dans des villes et à l'intérieur).

Le résultat : Le modèle a surpassé presque toutes les autres méthodes existantes. Il était particulièrement performant pour prédire où les gens finiraient par arriver (Erreur de Déplacement Final) et à quelle distance la prédiction était en moyenne erronée (Erreur de Déplacement Moyenne).
Preuve du monde réel : Il a bien fonctionné dans des environnements réels encombrés et désordonnés (comme les ensembles de données JRDB et Urban), et pas seulement dans des simulations propres et parfaites.
Victoire spécifique : L'article note que le modèle est particulièrement doué pour repérer les comportements de « virage précoce » — prédire qu'une personne est sur le point de tourner avant même qu'elle ne commence réellement à le faire, grâce aux indices du langage corporel.

Résumé

En bref, cet article propose une manière plus intelligente pour les ordinateurs de deviner où les piétons vont se rendre. Au lieu d'une approche chaotique de type « cuisine tout-en-un » qui mélange tout dans un grand sac, il utilise une chaîne de montage en trois étapes :

Observer le mouvement.
Lire le langage corporel.
Vérifier la foule.

Cette approche est plus rapide, consomme moins de puissance informatique et produit des prédictions plus précises sur la façon dont les gens se déplacent dans notre monde agité.

Résumé Technique : Transformer Hiérarchique à Trois Étapes pour la Prédiction de Trajectoire Multi-Piétons

Formulation du Problème

La prédiction de trajectoire des piétons est une tâche critique pour la navigation autonome, l'analyse de foule et la surveillance de la sécurité. Le défi consiste à modéliser simultanément trois facteurs complexes : la dynamique temporelle (évolution du mouvement), les indices multimodaux (ex. : pose corporelle, boîtes englobantes, vitesse) et les interactions sociales (influences entre agents) au sein d'environnements encombrés et complexes.

Les approches existantes traitent souvent ces facteurs de manière isolée ou les entremêlent dans des blocs d'attention uniques et coûteux en calcul. Les modèles basés uniquement sur la trajectoire peinent à saisir les indices d'intention révélés par l'articulation du corps, tandis que les modèles multimodaux reposent souvent sur des stratégies de fusion simplistes. De plus, la fusion des signaux temporels, multimodaux et sociaux dans un mécanisme d'attention unifié entraîne fréquemment une faible extensibilité, une réduction de l'interprétabilité et des coûts de calcul élevés dus à la complexité quadratique par rapport au nombre d'agents, de pas de temps et de modalités.

Méthodologie

Les auteurs proposent un Transformer Hiérarchique à Trois Étapes qui découple explicitement le raisonnement en trois niveaux complémentaires : l'encodage temporel, la fusion multimodale et le raisonnement d'interaction au niveau de la scène. Cette factorisation structurée vise à améliorer l'extensibilité, la flexibilité et l'interprétabilité.

1. Encodeur Temporel (Étape 1)

Fonction : Traite la trajectoire de chaque piéton indépendamment pour capturer la dynamique du mouvement (tendances de vitesse, changements de direction) sans considérer les autres modalités ou agents.
Mécanisme : Utilise un Transformer opérant le long de la dimension temporelle. Il prend des jetons de trajectoire observés et ajoute des jetons de requête (query tokens) apprenables pour extrapoler une hypothèse de futur initiale sur l'horizon de prédiction ( $T + \Delta$ ).
Entrée : Caractéristiques de trajectoire projetées dans un espace latent avec un encodage positionnel composite (sinusoïdal pour le temps, appris pour l'identité de l'agent).
Sortie : Une hypothèse de trajectoire initiale pour chaque piéton.

2. Décodeur de Modalité (Étape 2)

Fonction : Affine les hypothèses de trajectoire initiales en les conditionnant par des modalités auxiliaires (ex. : pose 3D, boîtes englobantes).
Mécanisme : Emploie un mécanisme de cross-attention de type décodeur.
- Requêtes (Queries) : Les plongements (embeddings) de trajectoire encodés temporellement.
- Clés/Valeurs (Keys/Values) : Plongements de modalités. Pour garantir l'efficacité, chaque séquence de modalité est d'abord résumée en un jeton unique par piéton à l'aide d'une unité récurrente à porte (GRU - Gated Recurrent Unit). Cela évite l'attention sur des séquences temporelles complètes pour chaque modalité.
Robustesse : Gère naturellement les modalités manquantes ou variables grâce au masquage d'attention.
Sortie : Plongements de trajectoire affinés, enrichis par des indices sémantiques et cinématiques.

3. Transformer de Scène (Étape 3)

Fonction : Modélise les interactions entre piétons au niveau de la scène pour ajuster les prédictions individuelles en fonction du contexte social.
Mécanisme : Opère sur un ensemble aplati de jetons temps-agent ( $N \times (T + \Delta)$ ). Un encodeur Transformer effectue une auto-attention à travers tous les piétons et tous les pas de temps.
Logique : Puisque les jetons encodent déjà des hypothèses de mouvement futur, le mécanisme d'attention permet au modèle de raisonner sur les événements sociaux à venir (collisions, suivi, formation de groupes) et d'ajuster les trajectoires en conséquence.
Sortie : Plongements socialement affinés transmis à une tête de prédiction MLP légère pour la trajectoire finale.

Efficacité de Calcul

L'architecture traite la complexité quadratique des Transformers standards ( $O(L^2)$ où $L = T \times N \times M$ ) en factorisant l'attention :

Temporelle : $O(N \cdot L_1^2)$ où $L_1 = T + \Delta$ .
Cross-modale : $O(N \cdot L_1 \cdot M)$ (linéaire par rapport aux modalités grâce à la summarisation par GRU).
Scène : $O(L_3^2)$ où $L_3 = N \cdot (T + \Delta)$ .
Cette conception garantit que le modèle passe à l'échelle efficacement avec le nombre de modalités et d'agents tout en maintenant l'expressivité.

Contributions Clés

Architecture Novatrice : Un Transformer hiérarchique à trois étapes qui découple le raisonnement temporel, multimodal et social, offrant un cadre modulaire et interprétable.
Stratégie de Fusion Efficace : Introduction d'une méthode de fusion multimodale efficace en termes de calcul utilisant la summarisation par GRU et la cross-attention de type décodeur, permettant une intégration évolutive d'indices hétérogènes.
Évaluation Complète : Études quantitatives, qualitatives et d'ablation approfondies démontrant des performances de pointe (SOTA) sur des jeux de données réels et des résultats compétitifs sur des données synthétiques.

Résultats Expérimentaux

Le modèle a été évalué sur trois jeux de données : JTA (synthétique), JRDB (intérieur/extérieur réel), et Pedestrians and Cyclists in Road Traffic (Urbain).

Performance Quantitative :
- JRDB : A atteint des résultats SOTA, réduisant l'Erreur de Déplacement Moyen (ADE) de 0,37 m (meilleure base de référence) à 0,33 m et l'Erreur de Déplacement Final (FDE) de 0,72 m à 0,67 m.
- Urban : A montré une amélioration substantielle par rapport aux méthodes basées uniquement sur la trajectoire (0,51 m ADE contre ~0,57 m) et les bases multimodales, atteignant 0,96 m FDE.
- JTA : A obtenu des performances compétitives (0,96 m ADE, 1,91 m FDE) face aux meilleures bases de référence multimodales.
Études d'Ablation : Ont confirmé que le modèle hiérarchique complet surpasse les variantes dépourvues d'indices multimodaux ou de raisonnement social. Plus précisément, le raisonnement social a réduit de manière significative les erreurs de point final, tandis que les indices multimodaux ont amélioré l'anticipation temporelle.
Analyse Qualitative : Le modèle a démontré sa capacité à anticiper des comportements complexes comme les virages précoces (en exploitant les indices de pose) et les ajustements induits par l'interaction (céder le passage, suivre). Cependant, les auteurs notent que dans les scénarios avec plusieurs continuations possibles (ex. : dans les virages), les prédictions peuvent suivre des chemins plausibles mais non conformes à la vérité terrain, reflétant l'incertitude inhérente.

Signification et Revendications

L'article affirme que la modélisation hiérarchique structurée fournit une base puissante pour la prédiction de trajectoire. En séparant les processus de raisonnement, le modèle parvient à :

Interprétabilité : Distinction claire entre la manière dont le temps, la modalité et le contexte social influencent les prédictions.
Extensibilité : Gestion efficace d'un nombre variable de piétons et de modalités sans le coût prohibitif de l'attention conjointe.
Robustesse : Capacité à opérer de manière fiable même lorsque des modalités spécifiques sont manquantes ou bruitées.

Les auteurs concluent que leur approche équilibre efficacement l'efficacité de calcul avec la nécessité de modéliser le mouvement humain complexe et multidimensionnel, validant les avantages de la décomposition de la tâche de prédiction en étapes de raisonnement spécialisées. Des travaux futurs sont suggérés pour étendre ce cadre à la prédiction probabiliste et à une modélisation plus riche de la scène.