💻 informatique

UniMotion: A Unified Motion Framework for Simulation, Prediction and Planning

UniMotion est un cadre de transformateur unifié, de type décodeur uniquement, qui intègre les tâches de simulation, de prédiction et de planification de mouvement grâce à des représentations partagées et des stratégies d'entraînement adaptées, atteignant des performances de pointe et une évolutivité accrue sur le Waymo Open Motion Dataset.

Auteurs originaux : Nan Song, Junzhe Jiang, Jingyu Li, Xiatian Zhu, Li Zhang

Publié 2026-02-03

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Nan Song, Junzhe Jiang, Jingyu Li, Xiatian Zhu, Li Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot à conduire une voiture dans une ville animée. Pour ce faire en toute sécurité, le robot doit maîtriser trois « super-pouvoirs » différents :

La Simulation : Faire semblant d'être d'autres conducteurs pour voir comment ils pourraient agir (comme un simulateur de vol pour les voitures).
La Prédiction : Deviner exactement où les autres voitures iront dans les prochaines secondes.
La Planification : Décider du meilleur chemin que la propre voiture du robot doit prendre.

Jusqu'à présent, les chercheurs construisaient généralement trois « cerveaux » distincts pour ces trois tâches. Un cerveau était excellent pour deviner, un autre pour faire semblant, et un troisième pour planifier.

Les auteurs de cet article, UniMotion, ont posé une question simple : Pourquoi avons-nous besoin de trois cerveaux différents alors qu'ils semblent tous accomplir le même travail de base ?

Ils ont réalisé que comprendre comment les voitures interagissent, comment elles se déplacent et comment elles réagissent à la route est en fait la même compétence, simplement appliquée différemment. Ainsi, ils ont construit UniMotion, un seul « super-cerveau » unifié capable d'accomplir ces trois tâches à la fois.

L'idée principale : Un cerveau, trois chapeaux

Voyez UniMotion comme un acteur polyvalent capable de jouer trois rôles différents dans une pièce de théâtre :

L'Improvisateur (Simulation) : Cet acteur crée des scénarios aléatoires et diversifiés pour s'entraîner. « Et si cette voiture déviait à gauche ? Et si elle s'arrêtait soudainement ? »
Le Devin (Prédiction) : Cet acteur observe la scène actuelle et dit : « Je parie que ce camion tournera à droite dans 3 secondes. »
Le Réalisateur (Planification) : Cet acteur décide du script pour le personnage principal (le véhicule égo) : « D'accord, puisque le camion tourne, nous devrions ralentir et nous déplacer sur la voie de gauche. »

Au lieu d'embaucher trois acteurs différents en espérant qu'ils se comprennent, UniMotion est un seul acteur qui porte un chapeau différent pour chaque scène. Parce qu'il apprend les trois rôles simultanément, il devient meilleur dans la compétence fondamentale de « compréhension du trafic » que n'importe lequel des acteurs spécialisés seul.

Comment ça marche : L'astuce des « Tokens »

Pour faire fonctionner cela, l'équipe a dû traduire le monde désordonné des routes en un langage que l'ordinateur peut comprendre facilement. Ils ont utilisé une technique appelée tokenisation.

Imaginez prendre une route longue et sinueuse ainsi qu'une voiture en mouvement, et les découper en petits blocs de Lego uniformes.

Le chemin d'une voiture devient une suite de blocs de Lego.
Les lignes de la route deviennent une suite de blocs de Lego.

L'ordinateur traite ensuite ces blocs comme des mots dans une phrase. Tout comme un modèle de langage (comme celui avec lequel vous discutez en ce moment même) prédit le mot suivant dans une phrase, UniMotion prédit le prochain « bloc de Lego » du trajet d'une voiture.

Pour la Simulation : Il joue à un jeu de « remplir les blancs » pour générer de nombreux futurs possibles.
Pour la Prédiction : Il regarde les blocs passés et calcule les futurs blocs les plus probables.
Pour la Planification : Il utilise les blocs prédits des autres voitures pour décider de ses propres mouvements.

La recette secrète : S'entraîner ensemble, puis se spécialiser

L'article décrit un processus d'entraînement en deux étapes, qui est comparable à un étudiant qui étudie pour un examen général, puis se spécialise pour un métier précis.

L'Entraînement Conjoint (La phase de Généraliste) : Le modèle est entraîné sur les trois tâches en même temps. Il apprend les règles communes de la route. Cela le rend très robuste et performant pour comprendre la vue d'ensemble. L'article montre que cette approche d'« étude de groupe » aide en fait le modèle à mieux performer sur les tâches individuelles, car les tâches s'enseignent mutuellement.
L'Ajustement Précis ou Fine-Tuning (La phase de Spécialiste) : Une fois que le modèle a appris les bases, les chercheurs lui donnent un peu de « coaching spécialisé » supplémentaire pour la tâche spécifique qu'il doit accomplir.
- S'il doit être un Simulateur, ils utilisent un système de récompense (comme un score de jeu vidéo) pour lui apprendre à être plus réaliste et à éviter les collisions.
- S'il doit être un Prédicteur, ils ajoutent un outil spécial pour l'aider à deviner plusieurs issues possibles (puisque les humains peuvent être imprévisibles).
- S'il doit être un Planificateur, ils lui apprennent à faire confiance à ses propres prédictions concernant les autres voitures pour prendre des décisions plus sûres.

Les Résultats

L'équipe a testé ce « super-cerveau » sur un immense ensemble de données de scénarios de conduite réels appelé le Waymo Open Motion Dataset.

En Simulation : Il est devenu l'un des meilleurs pour créer des scénarios de trafic réalistes, battant les modèles spécialisés précédents.
En Prédiction : Il a deviné avec précision où les voitures allaient aller, égalant ou dépassant les meilleurs concurrents.
En Planification : Il a pris les décisions de conduite les plus sûres et les plus efficaces pour le véhicule égo.

L'essentiel

L'article soutient qu'en unifiant ces tâches dans un seul cadre, nous n'obtenons pas seulement un modèle qui fait trois choses ; nous obtenons un modèle qui comprend le trafic mieux que la somme de ses parties. C'est comme réaliser qu'un grand chef n'a pas besoin de trois cuisines différentes pour couper, cuire et dresser les assiettes — il a juste besoin d'une excellente cuisine et des bons outils pour passer d'une tâche à l'autre. UniMotion est cette cuisine magistrale pour la conduite autonome.

Résumé Technique : UniMotion

Problématique

La compréhension du mouvement est une pierre angulaire de la conduite autonome, englobant trois tâches fondamentales : la simulation de mouvement, la prédiction de trajectoire et la planification de l'ego. Bien que ces tâches soient critiques pour modéliser des scénarios de trafic dynamiques, elles sont traditionnellement abordées de manière isolée à l'aide de conceptions de modèles spécialisées. Cette séparation entrave la généralisation inter-tâches, limite l'évolutivité du système et néglige les bénéfices mutuels potentiels dérivés de leurs capacités sous-jacentes partagées : la compréhension des interactions multi-agents, la modélisation des comportements de mouvement et le raisonnement sur la dynamique temporelle et spatiale. Les approches existantes échouent souvent à exploiter les points communs entre diverses générations de mouvement (simulation) et prévisions de trajectoire à longue portée (prédiction/planification), ce qui entraîne un développement redondant et une fragmentation des connaissances.

Méthodologie

Les auteurs proposent UniMotion, un cadre de mouvement unifié conçu pour capturer les structures partagées entre les tâches de mouvement tout en s'adaptant à leurs exigences spécifiques. Le cadre repose sur une architecture Transformer de type "decoder-only", choisie pour sa simplicité, sa scalabilité et sa forte capacité générative.

1. Représentation Unifiée et Architecture

Tokenisation : Pour assurer la généralisation, le cadre standardise les entrées via la tokenisation. Les trajectoires des agents sont segmentées à intervalles fixes et regroupées par clustering pour former un vocabulaire de tokens d'agents ( $S_a$ ). De même, les polylignes de cartes HD sont divisées et regroupées pour créer des tokens de cartes ( $S_m$ ). Ceux-ci sont injectés dans des vecteurs de caractéristiques ( $E_a$ et $E_m$ ).
Structure Encodeur-Décodeur : Le modèle utilise un encodeur de carte pour traiter les caractéristiques de la carte ( $F_m$ $F_{m}$ ) et un décodeur d'agent factorisé. Le décodeur utilise trois mécanismes d'attention :
- Auto-attention temporelle.
- Cross-attention agent-carte.
- Auto-attention agent-agent.
- Des plongements de position relatifs sont utilisés pour maintenir l'invariance sous les transformations de coordonnées.

2. Stratégie d'Entraînement Conjoint

UniMotion unifie les trois tâches en les abstrayant en deux composantes fondamentales : la génération de mouvements diversifiés et la prévision de trajectoire à longue portée. Le modèle est entraîné conjointement en utilisant des masques d'attention spécifiques aux tâches et des objectifs adaptés :

Simulation de mouvement : Modélisée comme une tâche de génération de langage auto-régressive. Elle utilise un masque d'attention causal et la prédiction du prochain token (NTP - Next-Token Prediction) pour générer de manière itérative des états multi-agents, en mettant l'accent sur la diversité à court terme.
Prédiction de trajectoire : Traitée comme une tâche séquence-à-séquence (seq2seq). Elle emploie un masque d'attention seq2seq (les tokens historiques s'attendent entre eux ; les tokens futurs s'attendent au passé et aux tokens futurs précédents). Crucialement, elle introduit la régression de futur à longue portée (LFR - Long-range Future Regression), remplaçant la classification de tokens par une régression de trajectoire normalisée pour prédire directement des trajectoires complètes à longue portée, garantissant ainsi la précision.
Planification de l'ego : Perçue comme une combinaison de génération et de prédiction. Le modèle prédit d'abord les trajectoires futures des agents environnants, puis génère progressivement la trajectoire du véhicule ego basée sur ces prédictions.

3. Fine-Tuning Spécifique aux Tâches

Pour atteindre des performances de pointe dans des applications spécifiques, le cadre emploie des stratégies de fine-tuning dédiées sans introduire de nouveaux paramètres :

Simulation (basée sur le RL) : Utilise l'apprentissage par renforcement (spécifiquement GRPO) pour aligner les trajectoires générées avec le comportement de conduite humain et les règles de circulation. Une fonction de récompense combine la similitude cinématique (vraisemblance des données de vérité terrain) et l'évitement de collision.
Prédiction (Multi-modale) : Introduit un décodeur Transformer léger avec des ancres d'intention pour affiner les sorties multi-modales, améliorant la diversité et la confiance des trajectoires.
Planification (Pred2Gen) : Aborde le décalage de distribution entre les tokens d'agents prédits et les données d'entraînement en affinant le processus de génération de l'ego en utilisant les résultats prédits (filtrés et remplacés par la vérité terrain si nécessaire) de manière supervisée de bout en bout.

Contributions Clés

Cadre Unifié : L'article abstrait les tâches de mouvement en deux catégories centrales et propose UniMotion, un cadre basé sur Transformer qui modélise conjointement la simulation, la prédiction et la planification pour favoriser la généralité et le partage de connaissances inter-tâches.
Spécialisation via le Fine-Tuning : Les auteurs conçoivent des stratégies de fine-tuning efficaces (RL pour la simulation, décodage multi-modal pour la prédiction, et Pred2Gen pour la planification) qui permettent au modèle entraîné conjointement de maîtriser l'expertise spécifique à chaque tâche.
Validation Empirique : Des expériences approfondies sur le Waymo Open Motion Dataset (WOMD) démontrent que l'entraînement conjoint favorise une généralisation robuste, tandis que les versions affinées atteignent des résultats de pointe sur l'ensemble des trois tâches de mouvement.

Résultats Expérimentaux

Le modèle a été évalué sur le Waymo Open Motion Dataset (486k scénarios d'entraînement).

Simulation : Sur le Waymo Open Sim Agents Challenge, UniMotion a atteint une Métrique de Réalisme (Realism Meta Metric) de 0,7851, surpassant les méthodes précédentes comme UniTFormer (0,7776) et LLM2AD (0,7779). Le modèle a montré une force particulière dans les métriques cinématiques grâce au fine-tuning basé sur le RL.
Prédiction : Sur le classement de prédiction WOMD, UniMotion a atteint un minADE de 0,5718 et un minFDE de 1,1643, se classant de manière compétitive face aux meilleures méthodes comme EDA et RMP-YOLO.
Planification : Dans les benchmarks de planification Waymo, UniMotion a nettement surpassé les approches antérieures, atteignant une erreur de planification de 0,083 à 1 seconde et 2,246 à 5 secondes, avec des taux de collision et de violation de feu rouge notablement plus bas que les bases d'apprentissage par imitation.

Les études d'ablation ont confirmé que l'entraînement conjoint avec NTP et LFR produit de meilleures performances que l'entraînement mono-tâche, et que le fine-tuning spécifique aux tâches apporte des améliorations constantes sur tous les indicateurs.

Signification et Revendications

L'article affirme qu'UniMotion établit une solution polyvalente et évolutive pour la conduite autonome en démontrant que les tâches de mouvement, souvent traitées comme des problèmes isolés, partagent des structures fondamentales pouvant être exploitées pour une optimisation conjointe. Les auteurs soutiennent que cette approche unifiée permet non seulement un partage efficace de la représentation, mais permet également une spécialisation ciblée via le fine-tuning, comblant ainsi l'écart entre la compréhension générale du mouvement et la performance experte par tâche.

Le travail souligne que si le cadre "decoder-only" offre de la flexibilité, il dépend d'informations positionnelles détaillées pour les interactions spatio-temporelles, ce qui limite actuellement l'application directe des technologies plus larges liées aux LLM. Des travaux futurs sont suggérés pour explorer l'apprentissage inter-datasets afin d'améliorer davantage les performances de l'entraînement conjoint.