Résumé technique : CLAP – Optimisation contrastive des prompts dans l'espace latent pour la conduite autonome de bout en bout

1. Énoncé du problème

Les systèmes de conduite autonome (CA) de bout en bout, alimentés par des modèles Vision-Language-Action (VLA), ont démontré de solides performances sur les scénarios de conduite courants grâce à l'exploitation de pré-entraînements à grande échelle et de fins ajustements. Cependant, ces systèmes restent fragiles dans les scénarios à longue traîne — situations rares mais critiques pour la sécurité, telles que les zones de travaux actifs, les géométries complexes de céder le passage et les combinaisons de conditions météorologiques défavorables.

L'approche dominante pour résoudre ces défaillances consiste à augmenter la collecte de données et à affiner les modèles. L'article soutient que cette approche rencontre des rendements décroissants en raison de :

• La rareté des événements rares.
• La complexité combinatoire des variations au sein d'une même catégorie (agencements, météo, heure de la journée).
• Le risque d'oubli catastrophique lors de fins ajustements fréquents sur des données de niche.

De plus, l'article identifie une limitation spécifique dans les stratégies d'adaptation actuelles : les défaillances à longue traîne sont souvent liées à des régions routières spécifiques (points bloquants) plutôt qu'à de simples problèmes de généralisation au niveau de la catégorie. En outre, au sein d'un même point bloquant, les images (frames) difficiles (à longue traîne) et les images normales sont fortement mélangées dans l'espace latent du modèle. Par conséquent, l'optimisation d'un prompt pour corriger les images difficiles dégrade souvent involontairement les performances sur les images normales en raison de ce mélange latent.

2. Méthodologie : Cadre CLAP

Les auteurs proposent CLAP (Contrastive Latent-space Prompt Optimization), un cadre qui enrichit un modèle de conduite VLA figé avec des prompts souples par point bloquant. Ces prompts sont optimisés hors ligne sur des données issues du crowdsourcing et récupérés à la demande via la communication Véhicule-à-Tout (V2X).

Observations fondamentales

La méthodologie repose sur deux observations découlant de l'analyse de l'espace latent des VLA de pointe :

1. Localité : Les scénarios issus d'un même point bloquant (une région spatiale contiguë avec une identité visuelle/géométrique stable) se regroupent étroitement dans l'espace latent, distinctement des autres points bloquants.
2. Mélange : Au sein d'un seul point bloquant, les images difficiles et les images normales ne sont pas séparables en clusters distincts ; elles sont fortement mélangées.

Le pipeline en deux étapes

CLAP fonctionne via un processus d'optimisation de prompts en deux étapes pour chaque point bloquant $R$ :

Étape 1 : Découverte de direction par apprentissage contrastif supervisé

• Objectif : Découvrir une « direction de scène difficile » ($d^\star$) qui sépare les images difficiles des images normales dans l'espace latent.
• Mécanisme : Un prompt auxiliaire souple $P_A$ est optimisé en utilisant une fonction de perte contrastive supervisée (SupCon). Cette perte repousse les états cachés des images difficiles loin des images normales.
• Sortie : La direction principale de la représentation séparée est extraite sous la forme de $d^\star$, un descripteur compact de la direction des scènes difficiles spécifique à ce point bloquant.

Étape 2 : Optimisation de prompt régularisée directionnellement

• Objectif : Optimiser un prompt de performance déployable $P_B$ qui améliore les images difficiles tout en préservant strictement les performances des images normales.
• Mécanisme : $P_B$ est entraîné sous une fonction de perte conjointe :
  $$L_{total} = L_{plan} + \lambda_1 L_{dir} + \lambda_2 L_{reg}$$
  • $L_{plan}$ : Perte standard de régression de trajectoire (ADE) calculée uniquement sur les images difficiles.
  • $L_{dir}$ (Régularisateur directionnel) : Encourage $P_B$ à déplacer les représentations des images difficiles le long de l'axe pré-découvert $d^\star$. Cela contraint l'optimisation au sous-espace spécifique où la séparation est possible.
  • $L_{reg}$ (Régularisateur d'images normales) : pénalise explicitement tout déplacement des représentations d'images normales par rapport à la référence de l'Étape 1. Cela empêche le prompt de « fuir » vers le sous-espace affectant la conduite courante.

Partitionnement des données

Pour appliquer cela, le système doit partitionner les traces de points bloquants en sous-ensembles « difficiles » et « normaux ». L'article propose un pipeline basé sur un VLM qui utilise l'identification sémantique (via un VLM puissant) et la validation empirique (erreur de planification dépassant une marge $\delta$) pour étiqueter les images.

3. Contributions clés

1. Formulation par point bloquant : L'article démontre, via une analyse de l'espace latent, que les problèmes à longue traîne peuvent être résolus localement par point bloquant plutôt que globalement, car les points bloquants forment des variétés distinctes dans l'espace latent.
2. Cadre CLAP : Une méthode novatrice d'optimisation de prompts en deux étapes qui utilise l'apprentissage contrastif pour identifier une direction de séparation et une régularisation directionnelle pour améliorer sélectivement les performances à longue traîne sans régresser les performances normales.
3. Validation empirique : Démonstration que CLAP réduit les erreurs de planification sur les scénarios difficiles à travers plusieurs architectures de base VLA de pointe, sans nécessiter de fin ajustement de l'architecture de base.

4. Résultats expérimentaux

Les auteurs ont évalué CLAP sur le benchmark NAVSIM en utilisant trois architectures de base VLA de pointe : ReCogDrive, Alpamayo-R1.5 et DriveVLA-W0.

• Performance sur les images difficiles : CLAP a réduit l'erreur de déplacement moyenne (ADE) sur les scénarios difficiles d'une moyenne de 24 % sur les trois modèles.
• Performance sur les images normales : Contrairement à l'optimisation de prompts souples non contrainte (qui a causé une régression dans certains modèles) ou aux avis textuels explicites (qui ont souvent échoué ou dégradé les performances), CLAP a maintenu ou légèrement amélioré les performances sur les images normales.
• Amélioration globale : La combinaison de la réduction des erreurs à longue traîne et de la préservation des performances normales a conduit à une amélioration moyenne de 14 % de l'ADE globale.
• Études d'ablation :
  • Le retrait de l'Étape 1 (découverte de direction contrastive) a entraîné une baisse significative des performances, confirmant que la direction spécifique $d^\star$ est critique.
  • Le remplacement de $d^\star$ par une direction aléatoire a donné de moins bons résultats que l'omission totale de l'Étape 1, soulignant la nécessité de la direction contrastive apprise.
• Généralisation : Lors des tests dans des conditions décalées (pluie et crépuscule) sans augmentation, les performances se sont dégradées. Cependant, l'utilisation de l'édition d'images générative pour augmenter les données d'entraînement avec ces conditions a permis à CLAP de se généraliser efficacement, réduisant significativement l'écart d'ADE dans des conditions décalées.

5. Importance et affirmations

L'article présente CLAP comme une alternative pratiquement efficace à l'augmentation des données et au fin ajustement des modèles pour améliorer les performances des VLA dans la conduite autonome.

• Modalité d'amélioration : Les auteurs affirment que les défaillances à longue traîne peuvent être « corrigées localement » via des prompts souples plutôt que de nécessiter un réentraînement global du modèle.
• Sélectivité : Le sens fondamental réside dans la capacité à améliorer sélectivement les scénarios difficiles tout en empêchant structurellement tout dommage collatéral aux performances de conduite courante, un défi que l'optimisation de prompts non contrainte échoue à résoudre en raison du mélange latent.
• Faisabilité du déploiement : Le cadre est conçu pour un déploiement V2X, où un serveur central optimise les prompts basés sur des données crowdsourcées et les pousse vers les véhicules entrant dans des points bloquants spécifiques, maintenant le coût d'inférence côté véhicule à un minimum (modèle figé + injection de prompt).

Les auteurs reconnaissent les limites, notant que la généralisation inter-météo au-delà des conditions testées reste une question ouverte et que l'objectif contrastif actuel suppose un type de défi dominant par point bloquant, ce qui pourrait nécessiter un affinage pour des scénarios hétérogènes.