DAP: A Discrete-token Autoregressive Planner for Autonomous Driving

Le papier présente DAP, un planificateur autorégressif à tokens discrets qui améliore la performance de la conduite autonome en prédisant conjointement la sémantique BEV et les trajectoires du véhicule, tout en intégrant un affinage par apprentissage par renforcement pour atteindre des résultats de pointe avec un budget paramétrique compact.

L'essentiel

🚗 DAP : Le "Cerveau" qui Imagine le Futur pour Conduire

Imaginez que vous conduisez une voiture. Pour ne pas avoir d'accident, vous ne regardez pas seulement la route devant vous maintenant. Vous imaginez aussi ce qui va se passer dans les 2 ou 3 prochaines secondes : "Si ce piéton traverse, je dois freiner. Si cette voiture change de voie, je dois accélérer."

C'est exactement ce que fait DAP (Discrete-token Autoregressive Planner), mais avec une intelligence artificielle très spéciale.

1. Le Problème : Les Anciennes Voitures "Aveugles"

Jusqu'à présent, la plupart des systèmes de conduite autonome fonctionnaient comme un photographe qui prend une photo et tire une ligne droite.

• Ils regardent la scène actuelle.
• Ils calculent une trajectoire (le chemin à suivre).
• Ils l'exécutent.

Le problème ? Ils ne comprennent pas vraiment comment la scène va évoluer. C'est comme essayer de jouer aux échecs en ne regardant que le coup actuel, sans imaginer la réponse de l'adversaire. Cela rend la voiture fragile : si la situation change un tout petit peu, elle panique.

2. La Solution DAP : Le "Réalisateur de Film"

L'équipe derrière DAP a eu une idée brillante : au lieu de juste prédire le chemin de la voiture, faisons prédire à l'IA le film entier de la scène.

Imaginez que DAP est un réalisateur de film qui tourne une scène en temps réel. À chaque instant, il ne décide pas seulement où la voiture doit aller, il imagine aussi :

1. L'avenir de la route : Où seront les autres voitures ? Où seront les piétons ? (C'est la partie "BEV" ou vue aérienne).
2. L'action de la voiture : Comment la voiture va-t-elle tourner ou accélérer pour s'adapter à ce futur imaginaire ?

L'analogie du Lego :
DAP ne dessine pas une trajectoire fluide comme un crayon. Il construit le futur brique par brique (comme des Lego).

• Il prend des "briques" discrètes pour décrire la route (un arbre ici, une voiture là).
• Il prend des "briques" pour décrire les mouvements (tourner à gauche, accélérer).
• Il assemble ces briques une par une, comme un enfant qui construit un château, en vérifiant à chaque fois : "Si je mets cette brique de voiture ici, est-ce que ma brique de voiture (moi) peut passer ?"

C'est ce qu'on appelle un modèle autoregressif : il prédit le futur en se basant sur ce qu'il vient de prédire juste avant.

3. L'Entraînement : De l'Élève à l'Expert (Leçon de Conduite + Récompense)

Pour apprendre à conduire, DAP passe par deux étapes, un peu comme un jeune conducteur :

• Étape 1 : L'Imitation (Le Copier-Coller)
  DAP regarde des milliers d'heures de vidéos de vrais conducteurs humains. Il apprend à copier leurs mouvements. C'est bien, mais ça ne suffit pas : il pourrait copier un mauvais réflexe.

• Étape 2 : Le Renforcement (Le Coach de Sport)
  C'est ici que DAP devient intelligent. On lui donne un coach (une récompense virtuelle).

  • Si DAP imagine une trajectoire qui évite une collision, le coach dit : "Bravo ! +10 points !"
  • Si DAP imagine une trajectoire qui frôle un obstacle (même si ça ressemble à la trajectoire du conducteur humain), le coach dit : "Non ! Trop dangereux ! -100 points !"

  Grâce à cela, DAP apprend à préférer la sécurité même si cela signifie s'éloigner un peu de ce que ferait un humain moyen. Il apprend à "sentir" le danger avant même qu'il n'arrive.

4. Pourquoi c'est génial ? (Petit mais Puissant)

La plupart des IA de conduite actuelles sont comme des super-ordinateurs : énormes, gourmands en énergie, et difficiles à installer dans une voiture normale.

DAP, lui, est comme un smartphone de dernière génération.

• Il est compact (il n'a que 120 millions de paramètres, ce qui est minuscule comparé aux milliards des autres).
• Il est rapide (il prend des décisions en quelques millisecondes).
• Et pourtant, il conduit aussi bien, voire mieux, que les géants de la technologie sur les bancs d'essai.

En Résumé

DAP, c'est comme donner à une voiture autonome un super-pouvoir d'imagination.
Au lieu de réagir aveuglément à la route, elle joue une partie d'échecs mentale : "Si je fais ça, la voiture bleue va faire ça, donc je dois faire ça..." en utilisant des briques de Lego numériques pour construire ce futur. Et grâce à un système de récompense intelligent, elle apprend à choisir les coups les plus sûrs et les plus confortables.

C'est une preuve que pour conduire de manière autonome, on n'a pas besoin de la plus grosse IA du monde, mais de la bonne façon de penser le futur. 🚀🚗

Résumé technique

Résumé Technique : DAP (Discrete-token Autoregressive Planner)

1. Problématique et Contexte

L'amélioration durable des performances dans la conduite autonome via l'augmentation des données et de la taille des modèles reste un défi majeur. Bien que les modèles autoregressifs (AR) aient démontré une grande efficacité dans l'échelle des données pour les tâches de planification, les approches existantes souffrent de deux limitations principales :

1. Supervision sparse : La prédiction exclusive de la trajectoire du véhicule (ego) repose sur des étiquettes de waypoints peu denses, ce qui ne contraint pas suffisamment la façon dont l'évolution de la scène doit influencer le mouvement.
2. Manque de modélisation du monde : Les modèles qui ne prédisent pas explicitement l'évolution de l'environnement ont du mal à gérer les scénarios complexes où la dynamique de la scène est cruciale pour la sécurité.

Les méthodes non-autoregressives (comme les modèles de diffusion ou les mappings directs) peinent souvent à suivre les lois d'échelle (scaling laws) observées dans les grands modèles de langage (LLM). L'objectif est donc de concevoir un planificateur qui combine l'efficacité de l'auto-régression sur des tokens discrets avec une modélisation riche de l'environnement.

2. Méthodologie : L'Architecture DAP

DAP propose un planificateur autoregressif basé sur des tokens discrets qui utilise une architecture Transformer "decoder-only" avec des couches MoE (Mixture of Experts) clairsemées. L'approche repose sur trois piliers fondamentaux :

A. Tokenisation et Représentation Discrete

Le système convertit les entrées multimodales en une séquence de tokens discrets :

• Commandes : Traitées comme des variables catégorielles.
• Représentation BEV (Bird's Eye View) : Les observations multi-caméras sont fusionnées en une carte sémantique BEV, puis discrétisées via un VQ-VAE (Vector Quantized Variational Autoencoder) pour produire des tokens d'environnement.
• Trajectoire (Ego) : Les états du véhicule (position, lacet) sont convertis en paires courbure-accélération ($\kappa-a$) et discrétisées en tokens d'action.

B. Prévision Jointe Environnement-Trajectoire

Contrairement aux modèles qui prédisent uniquement la trajectoire, DAP génère simultanément deux types de tokens à chaque pas de temps futur :

1. Tokens BEV sémantiques : Prédiction de l'évolution de la scène (autres véhicules, obstacles, voies).
2. Tokens d'action ($\kappa-a$) : Prédiction du mouvement du véhicule.

Mécanisme d'Attention Innovant :
Pour accélérer la génération tout en préservant la causalité temporelle, DAP utilise une attention bidirectionnelle intra-étape pour les tokens BEV d'un même instant $t$ (générés en parallèle), tandis que les tokens d'action conditionnent sur ces nouveaux tokens BEV via une attention causale. Cela permet de coupler la compréhension de la scène avec la génération du mouvement sous une supervision dense et spatio-temporellement alignée.

C. Entraînement en Deux Étapes : IL + RL (SAC-BC)

Pour surmonter les limites de l'apprentissage par imitation (IL) pur (qui peut converger vers des modes dangereux mais statistiquement probables), DAP intègre une phase de fine-tuning par Apprentissage par Renforcement (RL) :

• Phase I (Imitation Learning) : Pré-entraînement supervisé pour apprendre les priors de comportement et aligner la perception avec la planification.
• Phase II (SAC-BC) : Fine-tuning utilisant l'algorithme Soft Actor-Critic (SAC) combiné à l'apprentissage par comportement (BC).
  • Une fonction de récompense est définie pour la sécurité (distance aux obstacles, centrage dans la voie) et le confort (variations d'accélération).
  • L'objectif BC est pondéré par l'avantage estimé par le critique (style AWAC), favorisant les actions expertes qui améliorent également la valeur de sécurité.
  • Cela permet au modèle de briser la symétrie des pertes d'imitation et d'éviter les modes risqués (ex: éviter une collision même si la trajectoire experte est proche).

D. Post-tuning Léger

Une étape finale de post-traitement affine la trajectoire prédite en utilisant des preuves de la voie (lane evidence) et une régularisation par différences finies pour lisser les oscillations latérales et améliorer le confort, sans modifier l'interface discrète du planificateur.

3. Contributions Clés

1. Planificateur Autoregressif Discret avec MoE : Introduction de DAP, une architecture légère (120M paramètres) utilisant un Transformer decoder-only avec des tokens discrets pour une interface simple et un décodage efficace.
2. Prévision Jointe Environnement-Trajectoire : Une supervision dense et alignée qui couple l'évolution de la scène (BEV) et le mouvement du véhicule, améliorant l'assignation de crédit multi-étapes.
3. Fine-tuning SAC-BC : Une stratégie d'entraînement hybride qui dépasse l'apprentissage par imitation pur en intégrant des signaux de récompense pour la sécurité et le confort, tout en conservant la simplicité architecturale.
4. Efficacité et Performance : DAP atteint des performances de pointe (SOTA) avec un budget de paramètres très réduit, démontrant une excellente efficacité de mise à l'échelle.

4. Résultats Expérimentaux

Les résultats sont évalués sur plusieurs benchmarks standards (nuScenes, NuPlan, NAVSIM v1 et v2) :

• Évaluation Open-Loop (nuScenes & NuPlan) :

  • DAP établit un nouveau record (SOTA) sur les métriques d'erreur moyenne (ADE) et de taux de succès (OLS) sur NuPlan, surpassant des modèles beaucoup plus grands comme PlanTF ou STR2-CKS.
  • Sur nuScenes, il obtient les meilleures erreurs maximales (L2max) et des erreurs moyennes (L2avg) comparables aux meilleurs modèles, prouvant un contrôle robuste dans les cas extrêmes.

• Évaluation Closed-Loop (NAVSIM) :

  • NAVSIM v1 (PDMS) : Avec un score de 90.0, DAP égale ou dépasse la plupart des méthodes récentes basées uniquement sur la caméra, tout en étant nettement plus léger (120M paramètres vs des modèles de plusieurs milliards de paramètres comme DriveVLA-W0). Il obtient un score de confort parfait (100.0).
  • NAVSIM v2 (EPDMS) : Avec un score de 85.6, DAP améliore significativement la base de référence (Ego Status) et reste compétitif face aux planificateurs d'apprentissage avancés, obtenant les meilleurs scores de progression (EP) et de confort historique (HC).

• Études d'Abalation :

  • La suppression de la prédiction BEV fait chuter les performances, confirmant la nécessité de la supervision conjointe.
  • L'ajout du fine-tuning SAC-BC améliore systématiquement les performances par rapport à l'IL seul.
  • L'augmentation de la taille des données et la finesse de la tokenisation BEV (codebook plus grand) améliorent les résultats de manière monotone.

5. Signification et Conclusion

DAP démontre que la formulation autoregressive sur des tokens discrets, appliquée conjointement à la sémantique de l'environnement et aux actions du véhicule, constitue un paradigme de planification scalable et efficace.

• Efficacité des ressources : Le modèle atteint des performances de pointe avec seulement 120M paramètres, prouvant qu'il n'est pas nécessaire d'utiliser des modèles massifs (VLM de plusieurs milliards de paramètres) pour obtenir des résultats robustes en conduite autonome.
• Robustesse : La combinaison de la prévision de l'environnement et du fine-tuning par RL permet de gérer les incertitudes et d'éviter les comportements dangereux que l'imitation pure pourrait reproduire.
• Déploiement : L'architecture permet une inférence rapide (~100 ms par échantillon pour 8 pas de temps), répondant aux exigences de latence pour le déploiement réel.

En résumé, DAP offre une voie prometteuse pour l'avenir de la conduite autonome, en combinant la puissance des lois d'échelle des modèles de langage avec une modélisation explicite et dense du monde physique.