💻 computer science

MAPLE: Latent Multi-Agent Play for End-to-End Autonomous Driving

MAPLE est un cadre évolutif sans simulateur qui améliore la conduite autonome de bout en bout en permettant un entraînement en boucle fermée réactif et multi-agents dans l'espace latent des modèles vision-langage-action, grâce à un affinage supervisé et à l'apprentissage par renforcement avec des récompenses de diversité.

Auteurs originaux : Rajeev Yasarla, Deepti Hegde, Hsin-Pai Cheng, Shizhong Han, Yunxiao Shi, Meysam Sadeghigooghari, Hanno Ackermann, Litian Liu, Pranav Desai, Fatih Porikli, Mohammad Ghavamzadeh, Hong Cai

Publié 2026-05-15

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Rajeev Yasarla, Deepti Hegde, Hsin-Pai Cheng, Shizhong Han, Yunxiao Shi, Meysam Sadeghigooghari, Hanno Ackermann, Litian Liu, Pranav Desai, Fatih Porikli, Mohammad Ghavamzadeh, Hong Cai

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot à conduire une voiture. La plupart des méthodes actuelles consistent à apprendre à un élève à conduire en lui montrant une vidéo d'un conducteur parfait et en disant : « Copiez exactement ce que vous voyez. » Cela fonctionne bien par une journée calme, mais si le monde réel lance une courbe imprévue – comme un piéton qui déboule soudainement ou un autre conducteur qui vous coupe la route – le robot panique car il n'a jamais pratiqué de réagir à ces surprises. Il ne sait que suivre un script.

L'article présente MAPLE, une nouvelle méthode pour entraîner les voitures autonomes, qui ressemble davantage à une simulation de jeu vidéo qu'à une leçon vidéo. Voici comment cela fonctionne, décomposé en concepts simples :

1. Le Problème : Le Conducteur « Scripté »

Les modèles d'IA de conduite autonome actuels sont entraînés de manière « en boucle ouverte ». Ils observent des heures de données de conduite enregistrées où les autres voitures et les piétons suivent simplement leurs trajectoires préenregistrées. L'IA apprend à imiter la voiture principale, mais traite tous les autres comme un décor statique.

L'Analogie : Imaginez jouer à un jeu vidéo où les ennemis sont de simples découpes en carton se déplaçant sur une trajectoire fixe. Vous apprenez à les éviter facilement. Mais dans le monde réel, les ennemis sont vivants ; ils réagissent à vous. Si vous essayez de jouer à un vrai jeu en utilisant vos compétences contre des « ennemis en carton », vous aurez un accident.

2. La Solution : Le Jeu dans l'« Espace Latent »

MAPLE résout ce problème en permettant à l'IA de jouer à un jeu où tout le monde est vivant et réagit aux autres. Cependant, exécuter une simulation 3D haute définition du monde entier pour chaque seconde d'entraînement est incroyablement lent et coûteux (comme essayer de rendre un film en temps réel).

Au lieu de cela, MAPLE effectue l'entraînement dans un « Espace Latent ».

L'Analogie : Pensez à l'« Espace Latent » comme au monde des rêves ou au processus de pensée interne de l'IA. Au lieu de générer une image photoréaliste d'une voiture tournant à gauche, l'IA travaille avec un « jeton » compact et abstrait (un résumé numérique) qui signifie : « La voiture tourne à gauche à la vitesse X ».
MAPLE permet à la voiture autonome (l'égo) et aux autres agents du trafic (piétons, autres voitures) de jouer des scénarios futurs dans ce « monde des rêves », étape par étape. Ils réagissent aux mouvements des autres sans avoir besoin de générer un seul pixel de vidéo. Cela rend l'entraînement incroyablement rapide et évolutif.

3. Le Processus d'Entraînement : Deux Étapes

L'article décrit un processus d'entraînement en deux étapes pour transformer ce « joueur de rêves » en un conducteur réel :

Étape 1 : La « Pratique à l'Ombre » (Affinement Supervisé)
D'abord, l'IA s'entraîne dans ce monde des rêves en essayant de copier les mouvements de vrais conducteurs humains à partir de données enregistrées. Elle apprend les règles de base de la route et comment prédire où les autres voitures pourraient aller.

L'Analogie : C'est comme un élève conducteur regardant un pilote professionnel et essayant d'imiter ses mouvements de volant dans un simulateur, mais où les autres voitures du simulateur apprennent également à se déplacer de manière réaliste.

Étape 2 : Le « Tournoi » (Apprentissage par Renforcement)
Une fois que l'IA connaît les bases, elle entre dans une phase de « tournoi ». Ici, l'IA est récompensée non seulement pour copier les humains, mais aussi pour :

La Sécurité : Ne pas avoir d'accident.
Le Progrès : Atteindre la destination.
La Diversité : C'est une innovation clé. L'IA est encouragée à essayer différents styles de conduite. Parfois, elle doit être prudente (comme une grand-mère au volant), et parfois assertive (comme un pilote de course).
L'Analogie : Imaginez une IA d'échecs. Si elle ne joue que les coups qu'elle a vus dans un livre, elle perdra contre un nouvel adversaire. Mais si elle joue des milliers de parties contre elle-même, en essayant différentes stratégies (certaines risquées, d'autres sûres), elle apprend à gérer n'importe quel adversaire. MAPLE fait cela pour la conduite, encourageant l'IA à inventer de nouvelles façons sûres de gérer des situations de trafic complexes qu'elle n'aurait peut-être jamais rencontrées dans les données originales.

4. Les Résultats : Un Conducteur Plus Intelligent

Les auteurs ont testé MAPLE sur une référence appelée Bench2Drive, qui est un test rigoureux de la capacité d'une voiture à gérer une conduite urbaine complexe et interactive.

Le Résultat : MAPLE a obtenu les meilleurs résultats (État de l'art) par rapport à toutes les autres méthodes. Elle a conduit plus sûrement, a terminé plus d'itinéraires sans accident et a géré des situations délicates (comme la fusion ou le céder le passage) bien mieux que les modèles précédents.
Pourquoi ? Parce qu'elle n'a pas seulement mémorisé un script ; elle a appris à jouer avec les autres conducteurs dans un environnement réactif en boucle fermée.

Résumé

MAPLE est un cadre d'entraînement qui apprend aux voitures autonomes en leur permettant de « rêver » des scénarios de conduite où elles interagissent avec d'autres agents réalistes et réactifs. En s'entraînant dans cet « espace de rêve » rapide et abstrait, et en récompensant l'IA pour sa sécurité, son efficacité et la diversité de son style de conduite, il crée un conducteur robotique beaucoup moins susceptible d'avoir un accident face au chaos imprévisible du monde réel.

Résumé Technique : MAPLE – Jeu Multi-Agent Latent pour la Conduite Autonome de Bout en Bout

1. Énoncé du Problème

La conduite autonome de bout en bout (E2E) vise à unifier la perception, la prédiction et la planification en un seul modèle appris. Bien que les récents modèles Vision-Language-Action (VLA) aient amélioré la robustesse en ancrant le comportement de conduite dans le langage, ils souffrent d'une limitation critique : ils sont principalement entraînés de manière en boucle ouverte par affinage supervisé (SFT) sur des données de conduite enregistrées.

Cette approche traite les agents de circulation environnants comme non réactifs, échouant à modéliser les interactions en boucle fermée inhérentes à la conduite réelle. Par conséquent, ces modèles peinent avec :

Décalage de Covariable : De petites déviations par rapport aux trajectoires démontrées s'accumulent au fil du temps, entraînant des échecs de planification.
Étiquettes Éparses : Les trajectoires de vérité terrain ne capturent qu'une infime fraction de l'espace d'action possible, limitant l'apprentissage de politiques robustes pour les scénarios à longue traîne.
Limites de la Simulation : Les méthodes d'entraînement en boucle fermée existantes reposent sur des simulateurs externes (par exemple, CARLA) opérant sur des représentations symboliques (boîtes englobantes, cartes). Bien que évolutifs, ces simulateurs sont coûteux en calcul pour être exécutés au niveau des pixels pour les modèles E2E et souffrent souvent de décalages de fidélité visuelle avec les données réelles.

Le défi central est de permettre un entraînement multi-agent en boucle fermée et évolutif pour les planificateurs E2E sans dépendre de simulateurs coûteux et de faible fidélité au niveau des pixels.

2. Méthodologie : Cadre MAPLE

Les auteurs proposent MAPLE (Jeu Multi-Agent Latent), un cadre qui simule le comportement du véhicule égo et de plusieurs agents réactifs entièrement dans l'espace latent d'un modèle VLA. Cela évite la charge computationnelle de la simulation au niveau des pixels tout en supportant des interactions en boucle fermée et multi-étapes.

Architecture

MAPLE est construit sur une base de modèle de langage multimodal (Qwen2.5-1.5B-VL) et inclut :

Encodeurs : Encodeurs de vision et de carte pour traiter les images multi-vues et les caractéristiques de la carte.
Jetons Latents : Les agents sont représentés par des jetons latents compacts encodant la dynamique (position, vitesse, accélération), le type, le segment de carte et le statut de circulation.
Têtes :
- Tête de Planification d'Action : Un Auto-Encodeur Variationnel (VAE) qui décode les jetons du véhicule égo et des agents réactifs en points de passage de trajectoire.
- Tête de Prédiction de Mouvement : Un MLP qui régresse les trajectoires futures pour les agents de fond (non réactifs).
- Prédiction d'État Futur : Une tête entraînée pour prédire l'état suivant des agents afin de stabiliser l'espace des jetons.

Pipeline d'Entraînement

Le cadre fonctionne en trois étapes distinctes :

Étape 1 : Pré-entraînement

Le socle VLA est pré-entraîné sur des tâches auxiliaires pour apprendre des représentations de jetons latents stables :

Détection d'objets 3D, segmentation de carte, prédiction de mouvement des agents et segmentation des feux de circulation.
Prédiction d'État Futur : Le modèle prédit l'état suivant ( $S_{t+1}$ ) étant donné l'état actuel ( $S_t$ ), en minimisant une fonction de perte combinant l'entropie croisée pour les étiquettes discrètes (type, segment de carte, statut de circulation) et la régression $\ell_1$ pour la dynamique continue.

Étape 2 : Affinage Supervisé (SFT) avec Déroulement Multi-Agent

Cette étape introduit des déroulements de scénarios autoregressifs dans l'espace latent :

Déroulement Multi-Agent : Le véhicule égo et un sous-ensemble d'agents réactifs (ceux susceptibles d'interagir) sont déroulés conjointement sur un horizon $T$ . Les agents de fond sont prédits par régression mais ne sont pas contrôlés par les têtes de planification.
Processus : À chaque étape, le modèle prédit les jetons futurs conditionnés par les jetons actuels et les descriptions de scénarios. Ces jetons sont décodés en trajectoires et réinjectés en entrée pour l'étape suivante.
Objectif : Le modèle est supervisé en utilisant les trajectoires de vérité terrain pour le véhicule égo et les agents réactifs, en minimisant les pertes de planification et de prédiction de mouvement sur l'horizon de déroulement.

Étape 3 : Apprentissage par Renforcement Post-Entraînement (RL)

Pour gérer les événements à longue traîne et encourager des comportements diversifiés, le modèle SFT est affiné en utilisant l'Optimisation de Politique Relative par Groupes (GRPO). La structure de récompense est conçue pour promouvoir la sécurité, le progrès et la diversité :

Récompense Globale ( $G_t$ ) : Encourage les déroulements sans collision et pénalise les infractions au niveau du scénario.
Récompense Spécifique au Véhicule ( $r_t$ ) : Promet l'achèvement de l'itinéraire et pénalise les comportements dangereux (par exemple, faible temps jusqu'à la collision).
Récompense de Diversité ( $D_t$ ) : Un composant novateur qui encourage des comportements de conduite hétérogènes (par exemple, des changements de voie conservateurs par rapport à assertifs). Elle calcule la distance $\ell_1$ par paire entre les descripteurs de comportement (accélération, à-coups, TTC, centrage dans la voie, etc.) à travers différents planificateurs. Cela empêche l'effondrement de la politique et encourage la génération de scénarios critiques pour la sécurité distincts, absents des données enregistrées.

3. Contributions Clés

Déroulement Multi-Agent Sans Simulateur : Les auteurs introduisent un mécanisme pour faire évoluer conjointement le véhicule égo et les agents réactifs dans l'espace latent d'un VLA. Cela permet des interactions en boucle fermée et multi-étapes pendant l'entraînement sans simulateurs externes ni rendu au niveau des pixels, réduisant considérablement les coûts computationnels.
RL Conscient de la Diversité : L'article propose une récompense de diversité au sein de l'étape RL qui promeut explicitement des comportements d'agents distincts. Cela conduit à des interactions multi-agents plus riches et à des politiques en boucle fermée plus robustes, répondant à l'effondrement de mode souvent observé dans l'affinage par RL.
Performances de l'État de l'Art : Le cadre atteint de nouveaux résultats de l'état de l'art sur le benchmark Bench2Drive, démontrant des améliorations significatives des scores de conduite et de la robustesse dans des scénarios multi-capacités complexes.

4. Résultats Expérimentaux

Les expériences ont été menées sur le benchmark Bench2Drive (basé sur CARLA), utilisant 950 clips pour l'entraînement et 50 pour la validation, avec une évaluation en boucle fermée sur 220 itinéraires.

Performance : MAPLE a obtenu un Score de Conduite (DS) de 85,2 (et 88,3 avec une supervision de chemin géométrique), surpassant toutes les méthodes existantes, y compris SimLingo (85,1), DiffRefiner (87,1) et ORION (77,7).
Multi-Capacités : Le modèle a montré des améliorations constantes dans les comportements urbains complexes tels que les changements de voie, les dépassements, le freinage d'urgence, le céder le passage et la gestion des panneaux de signalisation, atteignant un score moyen Multi-Capacités de 70,6 % (73,2 % avec supervision).
Études d'Ablation :
- Stratégie de Déroulement : Un déroulement complet sur les étapes de pré-entraînement, SFT et RL a amélioré le Score de Conduite de 12,3 points par rapport à la base.
- Multi-Planificateur vs Planificateur Unique : L'utilisation de plusieurs planificateurs distincts pour les agents réactifs (Jeu Multi-Agent) a surpassé les bases à planificateur unique, améliorant le DS de 4,8 points et le Taux de Réussite de 7,7 points.
- Récompense de Diversité : L'activation de la récompense de diversité était cruciale pour obtenir les meilleurs résultats, empêchant l'effondrement de la politique et améliorant le réalisme des interactions.

5. Signification et Revendications

L'article revendique que MAPLE représente une approche évolutive et efficace pour faire progresser la conduite autonome de bout en bout en résolvant le fossé de l'"environnement réactif". Sa signification réside dans :

Évolutivité : En opérant dans l'espace latent, il évite les coûts computationnels prohibitifs et les problèmes de fidélité visuelle des simulateurs au niveau des pixels, rendant l'entraînement multi-agent en boucle fermée réalisable pour les grands modèles VLA.
Robustesse : Le mécanisme de RL conscient de la diversité permet au modèle d'apprendre des comportements au-delà de la distribution des données enregistrées, améliorant la sécurité dans les scénarios à longue traîne et interactifs.
Praticité : Le cadre est "amovible au moment de l'inférence", ce qui signifie que le déroulement multi-agent complexe n'est utilisé que pendant l'entraînement, n'entraînant aucune surcharge supplémentaire lors du déploiement.

Les auteurs reconnaissent des limites, notant que les déroulements latents peuvent manquer de la dynamique de haute précision de la simulation physique et que les expériences actuelles sont confinées au benchmark Bench2Drive. Cependant, ils posent que ce cadre constitue une étape critique vers des systèmes autonomes E2E robustes, efficaces en données et sûrs.