DriveStack-VLA: Render-Teacher Alignment for BEV-Based DeepStack Vision-Language-Action Model

Énoncé du problème

Les modèles de conduite Vision-Langage-Action (VLA) existants exploitent les connaissances du monde et les capacités de raisonnement des grands modèles de vision-langage (VLM) pré-entraînés pour prédire des trajectoires de conduite à partir d'images multi-vues et de commandes linguistiques. Cependant, ces modèles souffrent d'un manque d'intelligence spatiale orientée vers la conduite. Les approches actuelles fondent principalement leurs politiques sur des jetons d'images en perspective et des priors linguistiques, qui sont dépendants du point de vue et ne parviennent pas à encoder explicitement la géométrie métrique et la structure de la scène en vue de dessus (top-down) requises pour une planification de mouvement précise.

Cette limitation se manifeste dans deux domaines clés :

1. Géométrie visuelle faible : Les politiques reposent sur des indices d'apparence en 2D plutôt que sur des représentations géométriques robustes, ce qui les rend vulnérables aux lacunes de couverture perceptive dans les démonstrations d'experts.
2. Désalignement perceptif : Bien que les images synthétiques ou rastérisées puissent fournir des structures géométriques plus nettes et des contre-factuels diversifiés, l'introduction directe de ces images avec des images réelles introduit un écart de domaine. Les méthodes existantes échouent souvent à garantir que le décodeur d'action prête attention aux mêmes indices pertinents pour la planification (ex: voies, agents) dans les domaines réels et synthétiques.

Méthodologie : DriveStack-VLA

Les auteurs proposent DriveStack-VLA, un cadre d'entraînement unifié en trois étapes construit sur un large squelette de VLM (spécifiquement Qwen3-VL-4B). Le cadre intègre un planificateur multimodal LLM avec une pile visuelle améliorée pour traiter les goulots d'étranglement liés à la géométrie, aux données et à l'échantillonnage de trajectoires.

1. Composants de modélisation visuelle duale
Pour renforcer l'ancrage spatial, le modèle utilise deux mécanismes spécifiques :

• Injection BEV DeepStack : Les auteurs injectent des représentations de vue de dessus (Bird-Eye-View - BEV) directement dans le décodeur LLM en utilisant une connexion de type "DeepStack". Un encodeur BEV (basé sur BEVFormer) extrait une carte de caractéristiques en vue de dessus, qui est projetée en jetons (tokens) et concaténée aux jetons de la caméra en perspective à des couches spécifiques du décodeur. Cela fournit au LLM des priors géométriques métriques stables pour les contextes à longue portée.
• Alignement Render-Teacher : Pour tirer parti des avantages des images rastérisées sans introduire de décalage de domaine, les auteurs traitent les images rastérisées comme une modalité "enseignante" (teacher). Ils alignent la focalisation perceptive des images réelles sur celle des images rasatérisées via deux pertes (losses) :
  • Alignement de jeton de caméra masqué : Un masque souple guidé par le rendu réduit le poids des jetons d'arrière-plan (souvent noirs dans les images rasatérisées) lors de l'alignement des caractéristiques, garantissant que le modèle se concentre sur les agents et les voies au premier plan.
  • Distillation d'attention Action-vers-Vision : La distribution d'attention des jetons d'action vers les jetons visuels dans le passage de l'image réelle est distillée à partir du passage de l'image rasatérisée, forçant le modèle à prêter attention aux indices critiques pour la sécurité dans les images réelles, tout comme il le fait avec les données synthétiques plus claires.

2. Pipeline d'entraînement en trois étapes

• Étape 1 : Fine-tuning supervisé (SFT) : L'acteur est entraîné en utilisant les composants de modélisation visuelle duale décrits ci-dessus. Le modèle apprend à générer des jetons d'action à partir d'images multi-vues, d'instructions et d'états propres (ego states).
• Étape 2 : Fine-tuning par renforcement (RFT) : Pour améliorer la qualité des trajectoires échantillonnées, les auteurs appliquent l'optimisation de politique relative de groupe (Group Relative Policy Optimization - GRPO). La politique est mise à jour sur la base d'une récompense conjointe comprenant une récompense de conduite (évaluant l'absence de collision, les marges de sécurité et la conformité à la zone praticable) et une récompense de format (garantissant la décodabilité stricte des jetons d'action).
• Étape 3 : Notation et raffinement (Self-Critic) : Un module critique léger est entraîné pour classer les trajectoires candidates et les raffiner conditionnellement.
  • Tête de notation (Scoring Head) : Réutilise les états cachés de la dernière couche du LLM pour produire un score de qualité pour les trajectoires candidates.
  • Tête de raffinement (Refinement Head) : Si le score de la meilleure candidate est inférieur à un seuil, cette tête prédit un résidu borné pour raffiner la trajectoire, évitant ainsi le besoin de boucles lentes de génération-critique-réécriture lors de l'inférence.

Contributions clés

1. Cadre DriveStack-VLA : Un cadre de conduite VLA unifié qui traite simultanément l'ancrage géométrique, la couverture des données et l'échantillonnage de trajectoires.
2. Injection BEV DeepStack : Une nouvelle méthode pour intégrer des priors géométriques de vue de dessus directement dans le décodeur LLM, améliorant la stabilité de la planification à longue portée.
3. Alignement Render-Teacher : Une technique pour aligner l'attention visuelle-action entre les images réelles et rasatérisées, permettant au modèle de bénéficier de l'augmentation géométrique synthétique sans souffrir de désalignement de domaine.
4. Self-Critic léger : Un module qui permet le classement de trajectoires et le raffinement conditionnel sans génération de texte redondante ou boucles d'inférence complexes.

Résultats expérimentaux

Les auteurs ont évalué DriveStack-VLA sur des benchmarks de conduite en boucle ouverte (real-log-driven) et simulés en boucle fermée :

• NAVSIMv1 : A atteint un score 91,6 PDMS (Predictive Driver Model Score) avec le RFT, surpassant toutes les méthodes précédentes basées sur VLM et établissant un nouveau record (SOTA).
• NAVSIMv2 : A atteint 91,0 EPDMS (Extended Predictive Driver Model Score) avec le filtre de pénalité humaine activé, établissant un nouveau SOTA sous les deux configurations d'évaluation.
• Bench2Drive (Boucle fermée) : A obtenu un score de conduite de 79,49 et un taux de réussite de 56,36 %, démontrant une forte transférabilité aux simulations urbaines complexes sans nécessiter de RFT.
• Navhard : A maintenu une performance robuste (34,9 EPDMS) sur ce benchmark exigeant impliquant des scénarios hors distribution (out-of-distribution).

Signification et affirmations

L'article affirme que DriveStack-VLA comble avec succès l'écart entre les capacités de raisonnement des grands modèles de langage et les exigences spatiales strictes de la conduite autonome. En injectant des caractéristiques BEV et en alignant la focalisation perceptive entre les données réelles et synthétiques, le modèle surmonte les limitations de "géométrie visuelle faible" des approches VLA précédentes. Les auteurs soulignent que leur méthode atteint des résultats quantitatifs de pointe sur les benchmarks en boucle ouverte (NAVSIM) et en boucle fermée (Bench2Drive), validant qu'une architecture VLA unifiée peut gérer efficacement des tâches de planification critiques pour la sécurité lorsqu'elle est dotée de stratégies appropriées d'ancrage géométrique et d'alignement.