Résumé technique : Exposition différée des trajectoires futures pour un raisonnement vérifiable dans les VLM de conduite autonome

Énoncé du problème

Les modèles récents de Vision-Langage-Action (VLA) pour la conduite autonome (AD) s'appuient de plus en plus sur la supervision par Chaîne de Pensée (Chain-of-Thought - CoT) pour améliorer les capacités de raisonnement de leurs composants de Modèles de Vision-Langage (VLM). Cependant, les pipelines d'annotation existants exposent généralement le modèle enseignant à la trajectoire future de vérité terrain (ground-truth - GT) enregistrée avant que le modèle ne génère son raisonnement.

Les auteurs identifient et valident empiriquement un phénomène nommé biais d'ancrage de trajectoire (trajectory anchoring bias). Lorsque la trajectoire GT est révélée, le modèle enseignant a tendance à rationaliser le résultat connu plutôt qu'à inférer une décision à partir des preuves de la scène. Cela conduit à :

1. Une fidélité causale réduite : Les CoT générées sont géométriquement cohérentes avec la GT mais échouent à identifier fidèlement les preuves de la scène qui soutiennent l'action.
2. Une augmentation des hallucinations : Les modèles sont nettement plus enclins à fabriquer des indices causaux (par exemple, inventer des panneaux de signalisation) pour justifier la trajectoire révélée, particulièrement dans des scènes causalement complexes.
3. Un décalage de supervision : La trajectoire GT agit comme un raccourci de raisonnement (un ancrage de pré-décision) plutôt que comme une cible de décision, poussant le modèle à pratiquer l'inférence inverse pour expliquer des résultats connus.

Bien que masquer la trajectoire GT élimine ce raccourci, cela introduit un nouveau défi : la génération de trajectoires ouvertes entremêle la prise de décision de haut niveau avec la synthèse géométrique précise et la dynamique de bas niveau, rendant la tâche difficile pour les VLM et difficile à vérifier.

Méthodologie

Pour répondre à ces problèmes, l'article propose un cadre composé d'une nouvelle formulation de benchmark et d'une stratégie d'entraînement : AD-MCQ et DEFT-RLVR.

1. AD-MCQ : Question à Choix Multiples pour la Conduite Autonome

Au lieu de la génération de coordonnées ouverte, les auteurs considèrent la planification AD comme une tâche de sélection parmi des candidats de trajectoires explicites.

• Prototypes de trajectoires discrets : Un codebook de $K=8192$ prototypes de trajectoires est construit en utilisant le clustering K-means sur un corpus de futurs enregistrés. Cela quantifie les trajectoires continues en un vocabulaire de mouvement fini.
• Construction des candidats : Pour chaque scène, la trajectoire GT est mappée vers son prototype le plus proche (l'oracle). Les distracteurs sont construits en récupérant des prototypes qui sont géométriquement similaires mais distincts (négatifs difficiles), incluant des alternatives à échelle correspondante et des extrapolations à vitesse constante.
• Vérifiabilité : La tâche devient la sélection de l'indice de l'option correcte parmi un ensemble de $M$ candidats brassés, fournissant une cible de décision exactement vérifiable sans nécessiter de synthèse géométrique ouverte.

2. DEFT-RLVR : Exposition Différée des Trajectoires Futures pour le RLVR

S'appuyant sur AD-MCQ, les auteurs proposent DEFT-RLVR (Exposition Différée des Trajectoires Futures pour l'Apprentissage par Renforcement avec Récompenses Vérifiables - RLVR) afin d'atténuer le biais d'ancrage pendant l'entraînement.

• Interaction en deux étapes :
  • Tour 1 (Raisonnement de décision causale) : Le modèle de politique reçoit uniquement le contexte de la scène (historique visuel, état de l'ego, instruction de navigation) et doit générer une décision de haut niveau et une trace de raisonnement sans voir les trajectoires candidates.
  • Tour 2 (Ancrage de la trajectoire explicite) : Ce n'est qu'après que le modèle s'est engagé sur une décision dérivée de la scène que les trajectoires candidates sont révélées. Le modèle sélectionne alors le candidat qui correspond le mieux à sa décision engagée.
• Exposition différée : Cette conception garantit que la géométrie des candidats façonne l'ancrage d'une décision, et non la formation de la décision elle-même, empêant le modèle de prendre des raccourcis en raisonnant autour d'une réponse visible.
• Récompense par rubriques structurées : Pour empêcher le modèle d'exploiter le format MCQ via un choix aléatoire ou l'exploitation de raccourcis, les auteurs introduisent la supervision de processus.
  • Les traces de raisonnement du Tour 1 pour les rollouts ayant les bonnes réponses MCQ sont évaluées par rapport à une rubrique spécifique à l'instance.
  • La rubrique est générée hors ligne par un grand VLM basé sur les preuves de la scène.
  • Un juge textuel en ligne évalue la trace de raisonnement par rapport aux critères de la rubrique (ex: ancrage, absence d'hallucination, cohérence causale) sans accès à l'entrée visuelle ou aux options candidates.
  • La récompense finale est le produit de la récompense de choix exact et de la récompense de la rubrique ($R = R_{MCQ} \times R_{RUB}$).

Principales contributions

1. Identification du biais d'ancrage de trajectoire : L'article fournit des preuves empiriques que l'exposition des trajectoires GT lors de l'annotation CoT induit une rationalisation a posteriori et de sévères hallucinations, dégradant la fidélité causale dans le raisonnement AD.
2. Benchmark AD-MCQ : Un benchmark de trajectoire candidate vérifiable qui préserve la granularité au niveau de la trajectoire (temps de freinage, profil de vitesse, géométrie latérale) tout en remplaant la génération ouverte par une sélection exacte, permettant une difficulté scalable et contrôlable.
3. Cadre DEFT-RLVR : Un paradigme d'entraînement qui diffère l'exposition des candidats jusqu'à ce que la politique s'engage sur une décision. Combiné à une supervision de processus basée sur des rubriques, il améliore le raisonnement AD tout en préservant les capacités visuelles générales du VLM de base.

Résultats Expérimentaux

Les auteurs ont évalué leur approche en utilisant Qwen3-VL-8B-Instruct et Qwen3.5-4B comme modèles de base, avec Qwen3.5-397B-A17B servant de professeur/juge.

• Performance du raisonnement AD :

  • DEFT-RLVR surpasse significativement les baselines sans entraînement et les ablations. Sur le modèle Qwen3-VL-8B, il a atteint une précision de 77,9 % sur le test set AD-MCQ-500, contre 28,1 % pour le modèle de base et 56,6 % pour le DEFT sans entraînement.
  • Il a également amélioré le Score de Fidélité Causale (CFS) de 0,431 (DEFT sans entraînement) à 0,658, et la cohérence de la Décision de Haut Niveau (HLD) de 0,425 à 0,501.
  • Comparé à l'ablation JEFT (Exposition Conjointe), DEFT-RLVR montre des gains constants (ex: +15,3 % de précision sur Qwen3-VL-8B), confirmant que l'exposition différée réduit l'optimisation par raccourcis.

• Capacité Visuelle Générale :

  • Contrairement au Fine-Tuning Supervisé (SFT) par distillation, qui dégrade les capacités visuelles générales (faisant chuter la capacité moyenne de 54,81 % à 49,80 %), DEFT-RLVR préserve et même améliore les capacités générales.
  • Sur Qwen3-VL-8B, le score moyen de capacité visuelle générale est passé de 54,81 % à 56,09 %. Les auteurs attribuent cela à la nature fine des gradients de politique basés sur le RL et au raisonnement visuo-spatial partagé requis par la tâche.

• Généralisation :

  • La méthode a démontré un fort transfert hors distribution (OOD) sur le domaine nuScenes, améliorant la précision de 39,6 % (sans entraînement) à 49,5 % avec DEFT-RLVR.
  • Les gains sont robustes à travers différentes constructions de sets de candidats et géométries de distracteurs.

• Efficacité :

  • La génération de rubriques spécifiques à l'instance dans DEFT-RLVR n'ajoute que 0,5 % de surcharge au temps d'entraînement par rapport à l'entraînement basé uniquement sur la correction, tout en étant 41,1 % plus rapide que les variantes de notation de rubriques conditionnées par l'image en ligne.

Signification et Revendications

L'article affirme que DEFT-RLVR offre une fondation scalable et flexible pour un raisonnement AD vérifiable en :

1. Découplant Décision et Vérification : Transformant les trajectoires futures de ancres de pré-décision en cibles de post-décision, forçant ainsi les modèles à raisonner d'abord à partir des preuves de la scène.
2. Évitant le Double Goulot d'Étranglement : En utilisant la sélection de candidats plutôt que la génération directe de tokens de trajectoire, la méthode évite les goulots d'étranglement de l'erreur de quantification de trajectoire et la dégradation des capacités visuelles générales souvent observées dans les tâches de génération directe.
3. Permettant un RL Vérifiable : Fournissant un mécanisme pour appliquer l'apprentissage par renforcement avec des récompenses vérifiables (RLVR) à des tâches de contrôle continu complexes comme la conduite autonome sans nécessiter de synthèse géométrique ouverte.

Les auteurs concluent que leur approche améliore le raisonnement AD généralisable tout en maintenant les capacités visuelles générales du modèle, répondant à une lacune critique dans les pipelines d'entraînement VLA actuels où la supervision CoT repose souvent sur des données dont le résultat est déjà révélé.