Résumé Technique : TPS-Drive

Énoncé du Problème

Les modèles vision-langage (VLM) offrent de solides capacités de raisonnement sémantique pour la conduite autonome, mais peinent à combler le fossé entre le raisonnement de haut niveau et la prévision spatiale 3D précise. Les stratégies de représentation existantes font face à un compromis critique :

1. Méthodes alignées sur le texte : Elles aplatisent les états spatiaux continus en symboles discrets (par exemple, des descriptions en langage naturel ou des coordonnées aplaties). Bien que compatibles avec les tokeniseurs standards, cette discrétisation compromet la structure géométrique sous-jacente de l'espace physique, induisant des « hallucinations spatiales » et limitant la capacité du modèle à capturer les états continus des agents.
2. Méthodes visuelles denses : Elles préservent la topologie spatiale (par exemple, grilles denses ou cartes d'occupation) mais submergent les tokeniseurs standards avec des textures d'arrière-plan redondantes et des scènes statiques. Pilotées par une quantification vectorielle (VQ) guidée par la reconstruction, ces méthodes allouent de manière disproportionnée la capacité limitée du codebook aux arrière-plans statiques plutôt qu'aux agents dynamiques critiques, provoquant une « interférence de représentation » qui entrave le raisonnement sémantique.

Le défi central consiste à concevoir une représentation qui relie le raisonnement sémantique à la prévision précise sans céder à la distorsion géométrique ni à la redondance d'information.

Méthodologie : TPS-Drive

TPS-Drive introduit un cadre centré sur la Purification de Représentation Guidée par la Tâche, permettant aux VLM de « Penser dans un Espace Purifié ». L'architecture découple le processus de conduite en trois étapes séquentielles : Compréhension de la Scène, Prévision Future et Génération d'Actions.

1. Tokeniseur Centrée sur l'Agent (Purification de Représentation)

L'innovation principale est un Tokeniseur Centrée sur l'Agent qui construit un vocabulaire de vue aérienne (BEV) purifié.

• Quantification Vectorielle Guidée par la Tâche : Contrairement aux VQ-VAE standards qui optimisent la reconstruction globale, ce tokeniseur est supervisé par une tête de détection 3D figée (CenterPoint). Cette supervision réalloue explicitement la capacité limitée du codebook des arrière-plans statiques omniprésents vers les agents dynamiques critiques.
• Couches Primaire et Résiduelle : Le tokeniseur utilise un codebook primaire ($V_1$) pour capturer les motifs structurels fondamentaux des agents, supervisé par des pertes de détection (carte de chaleur et boîte englobante 3D). Pour récupérer les nuances de position précises perdues lors de la quantification, $L-1$ codebooks résiduels sont ajoutés de manière hiérarchique pour encoder les erreurs résiduelles.
• Résultat : Ce processus isole la redondance spatiale, produisant une séquence de tokens distillée se concentrant exclusivement sur les agents dynamiques, empêchant efficacement l'interférence de représentation.

2. Pipeline de Raisonnement Découplé

Le cadre traite les entrées à travers trois étapes distinctes :

• Compréhension de la Scène : Un socle vision-langage extrait une représentation structurée unifiée ($s_t$) englobant les descriptions de scène et les règles physiques (par exemple, capacités de freinage). Celle-ci est générée via un vocabulaire prédéfini et supervisée par des annotations d'un grand modèle de langage (Qwen3.5-27B).
• Prévision Future : Conditionné au contexte actuel et à $s_t$, le modèle prédit les tokens mondiaux futurs ($z_{t+\Delta t}$) dans l'espace purifié discret. Il utilise une approche autorégressive pour les tokens primaires et des têtes de classification parallèles pour les tokens résiduels.
• Génération d'Actions : Un planificateur de diffusion conditionnel génère des trajectoires continues de l'agent égo ($\tau$) basées sur les états futurs prédits et le contexte de scène structuré.

3. Entraînement Progressif en Trois Étapes

Le modèle est optimisé via un paradigme d'entraînement spécifique :

1. Pré-entraînement du Tokeniseur : L'encodeur primaire, le codebook et le décodeur sont entraînés avec une supervision guidée par la tâche, suivie de l'entraînement des codebooks résiduels.
2. Affinement Supervisé (SFT) : Le socle vision-langage est affiné pour maîtriser conjointement la compréhension de la scène, la prévision future et la génération d'actions.
3. Raffinement Piloté par la Récompense : Pour dépasser l'apprentissage par imitation pure, la politique subit une optimisation relative groupée de bout en bout. Les déroulements stochastiques sont notés par une récompense hors ligne basée sur les erreurs géométriques et la fluidité du mouvement, affinant la modélisation du monde et le planificateur de diffusion pour s'aligner sur des objectifs axés sur la sécurité.

Contributions Clés

1. Tokeniseur Centrée sur l'Agent : Un tokeniseur novateur supervisé par une tête de détection 3D figée qui réalise une purification de représentation guidée par la tâche, isolant explicitement la redondance spatiale pour permettre aux VLM de raisonner dans un espace purifié.
2. Cadre Découplé (TPS-Drive) : Un système qui sépare la compréhension de la scène, la prévision future et la génération d'actions, optimisé via un paradigme d'entraînement en trois étapes incluant un raffinement piloté par la récompense.
3. Records de Performance : Le cadre établit de nouveaux records de sécurité sur des benchmarks rigoureux tout en maintenant une haute précision de prévision spatiale.

Résultats Expérimentaux

Des expériences extensives ont été menées sur nuScenes, NAVSIMv1 et NAVSIMv2.

• Planification en Boucle Ouverte (nuScenes) : TPS-Drive a atteint un taux de collision (CR) record de 0,10 % (avec statut égo) sous le protocole ST-P3, surpassant nettement les méthodes VLM de pointe comme OmniDrive (0,94 %) et OccWorld (0,32 %). Il a également démontré une prévision spatiale centrée sur l'agent supérieure, atteignant 34,60 % NDS et 24,03 % mAP, dépassant les modèles mondiaux comme WoTE et BEVWorld.
• Planification en Boucle Fermée (NAVSIMv1 & v2) :
  • Sur NAVSIMv1, TPS-Drive a obtenu un Score de Modèle de Conducteur Prédictif (PDMS) de 89,7, surpassant Recogdrive (89,6) et AutoVLA (89,1).
  • Sur le plus rigoureux NAVSIMv2, il a atteint un PDMS Étendu (EPDMS) de 86,7, établissant un nouveau record de sécurité et surpassant des planificateurs de niveau expert comme HydraMDP++ (85,6) et les méthodes VLA concurrentes.
• Études d'Ablation : Les résultats ont confirmé que la tokenisation guidée par la tâche a fourni une augmentation absolue de +12,72 % de la précision de prévision (NDS) par rapport à la tokenisation guidée par la reconstruction standard. Le raffinement piloté par la récompense a en outre amélioré l'EPDMS de 84,1 à 86,7 et réduit le taux de collision en boucle ouverte à 0,19 %.

Signification et Revendications

L'article revendique que TPS-Drive répond avec succès aux limitations fondamentales des systèmes de conduite existants basés sur les VLM en découplant le raisonnement sémantique du contrôle continu grâce à la purification de représentation. En passant de la reconstruction globale à la purification guidée par la tâche, le cadre comble efficacement le fossé entre le raisonnement sémantique de haut niveau et la génération de trajectoires sûres et précises.

Les auteurs soulignent que l'isolement des sémantiques critiques pour la sécurité des données visuelles brutes est fondamental pour un raisonnement efficace dans les modèles Vision-Langage-Action (VLA). Les résultats valident que les représentations géométriques purifiées peuvent établir de nouvelles normes de sécurité dans les environnements interactifs en boucle ouverte et en boucle fermée.

Limitations : Les auteurs reconnaissent que la dépendance à une tête de détection figée borne le potentiel de représentation et que l'architecture multi-étapes découplée restreint actuellement la vitesse d'inférence en temps réel. Un travail futur est proposé pour explorer la purification spatiale différentiable de bout en bout et l'optimisation matérielle.