Résumé Technique : PersonaDrive

Énoncé du Problème

Les simulateurs de conduite en boucle fermée, essentiels pour l'entraînement et l'évaluation des politiques de conduite autonome, souffrent actuellement d'un manque de diversité comportementale des agents de trafic non-ego. Les environnements existants reposent sur des gestionnaires de trafic basés sur des règles ou sur des modèles appris entraînés vers un mode de comportement unique, produisant un trafic homogène qui ne parvient pas à capturer l'hétérogénéité stylistique des véritables conducteurs humains (allant du conservateur à l'agressif). Ce fossé limite la généralisation des politiques ego, particulièrement dans les scénarios à forte interaction comme les insertions ou les tournes à priorité non protégée.

Les tentatives actuelles pour introduire une variation de style font face à trois limitations principales :

1. Signaux de Substitution (Proxy Signals) : Les méthodes reposant sur des étiquettes observationnelles post-hoc ou des poids de récompense inférés par des LLM agissent comme des substituts du style plutôt que de capturer le comportement humain réel lorsqu'on leur demande explicitement de conduire dans un style spécifique.
2. Limitations des Bases de Données Uniques : Les approches existantes de recherche augmentée par récupération utilisent une base de données partagée unique, ce qui rend impossible la distinction entre les exemples récupérés qui sont pertinents pour un style de conduite spécifique.
3. Désalignement : Les approches utilisant des LLM pour approximer les récompenses de style introduisent des couches de désalignement entre l'instruction de style et le comportement de conduite résultant, car l'estimation par un LLM d'une « conduite agressive » peut ne pas refléter l'exécution humaine réelle.

Méthodologie

Les auteurs introduisent PersonaDrive, un pipeline qui conditionne un agent de conduite VLA (Vision-Language-Action) sur des démonstrations récupérées à partir d'un ensemble de données de conduite humaine sous instruction de style. Le système opère à travers trois étapes distinctes :

1. Collecte de Données : Conduite Humaine sous Instruction de Style

Un ensemble de données contrôlé a été collecté à l'aide d'un dispositif driver-in-the-loop avec $M=8$ participants. Chaque participant a conduit sur des itinéraires CARLA Leaderboard sous trois instructions explicites : Conservateur, Neutre et Agressif.

• Découplage : La conception découple le style de l'identité du conducteur en faisant conduire à chaque participant les mêmes itinéraires sous les trois styles.
• Annotations : Les données incluent l'image RGB frontale, l'état ego (vitesse, accélérateur, direction, commande), les cibles GPS et les waypoints. Les annotations post-hoc comprennent des descriptions de scènes par VQA (Visual Question Answering) et des commentaires en langage libre.

2. Pipeline d'Entraînement en Trois Étapes

Étape 1 : Minage de Triplets Hors-ligne
Pour déterminer la similitude comportementale, le système construit des « phrases de trames » structurées pour chaque trame de conduite, combinant les données visuelles avec un contexte en langage naturel (VQA, commentaires, commandes et waypoints exécutés). Un score de similitude combiné ($\sigma$) est calculé en utilisant un encodeur de vision SigLIP gelé et un encodeur de phrases BGE-M3 gelé. Ce score guide le minage des triplets d'entraînement :

• Positifs : Trames ayant une similitude combinée élevée (même scène, contexte et action).
• Négatifs Difficiles (Hard Negatives) : Trames ayant une similitude visuelle élevée mais une faible similitude textuelle/contextuelle (commandes ou vitesses différentes).
• Négatifs Faciles (Easy Negatives) : Trames ayant une faible similitude dans les deux modalités.

Étape 2 : Entraînement de la Tête de Récupération (Retrieval Head)
Un modèle de récupération léger est entraîné pour fusionner les caractéristiques visuelles gelées avec un encodeur de contrôle appris (traitant la vitesse, l'accélérateur, la direction et la commande). Contrairement à l'étape 1, aucun encodeur de texte n'est utilisé lors de l'inférence. Le modèle est entraîné sur les triplets minés à l'aide d'une perte de triplet pondérée qui pénalise davantage la confusion des négatifs difficiles (visuellement similaires mais comportementalement différents). Cela produit une tête de récupération partagée unique capable d'interroger des bases de données spécifiques au style.

Étape 3 : Fine-Tuning en Contexte
Le squelette VLA (basé sur SimLingo/InternVL2-1B) est affiné pour interpréter les points de contexte récupérés comme des démonstrations comportementales. Les données d'entraînement sont un mélange de trajectoires agnostiques au style et de données PersonaDrive sous instruction de style. Le modèle apprend à prédire les waypoints pour la scène actuelle par analogie aux $K=2$ démonstrations récupérées, sans que des étiquettes de style explicites ne soient fournies en entrée.

3. Mécanisme d'Inférence

Lors de l'inférence, le système sélectionne un style de conduite en échangeant l'index FAISS interrogé par la tête de récupération (par exemple, en passant de l'index « Conservateur » à l'index « Agressif »). Les $K$ points de contexte récupérés sont prépendés à l'observation actuelle sous forme de jetons (tokens) de contexte. Le squelette VLA prédit ensuite les waypoints, qui sont décodés par un contrôleur PID en commandes d'accélérateur, de frein et de direction. Crucialement, aucun ré-entraînement du squelette par style n'est requis ; le changement de style est une opération de récupération.

Contributions Clés

1. Jeu de Données sous Instruction de Style : Un nouvel ensemble de données où des conducteurs humains exécutent explicitement trois styles distincts à travers diverses scénarios de trafic, découplant le style de l'identité du conducteur pour permettre une supervision directe du comportement conditionné par le style.
2. Architecture Triplet-RAG : Une architecture novatrice où le contrôle du style est réalisé par la récupération de démonstrations humaines plutôt que par des jetons fixes, des récompenses de substitution ou un fine-tuning par style. Cela permet à un seul squelette partagé de supporter plusieurs comportements humains distincts.
3. Changement de Style Efficace : Un mécanisme où le changement de style de conduite à l'inférence nécessite uniquement l'échange de l'index FAISS, évitant le coût computationnel du ré-entraînement ou de la maintenance de multiples poids de modèle.

Résultats

Évalué sur le benchmark en boucle fermée Bench2Drive :

• Performance Sans Style : PersonaDrive (sans conditionnement de style) a obtenu un Score de Conduite (DS) de 88,95, surpassant SimLingo (85,07) de 4,6 % et HiP-AD (86,77) de 2,5 %. Cela démontre que le pipeline de récupération améliore la capacité de conduite en boucle fermée sans nuire aux performances.
• Performance Conditionnée par le Style : PersonaDrive a obtenu le score de conduite le plus élevé dans chaque condition de style (Agressif : 88,35, Neutre : 87,21, Conservateur : 89,16).
  • Dans chaque style, PersonaDrive a surpassé la base de référence la plus forte (DMW) par une marge de 5,2 à 8,9 points de DS.
  • Le modèle a modulé avec succès le comportement selon les instructions : la vitesse moyenne a augmenté de 18 % et l'accélération de 25 % en passant de l'instruction Conservateur à l'instruction Agressif.
  • Les taux de réussite sont restés compétitifs par rapport aux bases de référence, tandis que les mesures d'efficacité et de confort s'alignaient sur le style voulu (ex: plus de confort pour le mode Conservateur, moins pour le mode Agressif).

Signification et Revendications

L'article affirme que PersonaDrive comble le fossé entre le trafic simulé homogène et le trafic réel hétérogène en ancrant les agents du simulateur dans le comportement humain réel plutôt que dans des signaux de substitution. En traitant le style comme une distribution comportementale de classe ancrée dans des instructions humaines explicites, le système génère des agents non-ego diversifiés en style qui améliorent la fidélité des simulations en boucle fermée.

Les auteurs soulignent que leur approche contourne les erreurs d'approximation des récompenses inférées par LLM et les limitations de la récupération par base de données unique. La capacité de changer de style à l'inférence sans ré-entraîner le squelette offre une solution évolutive pour peupler les simulateurs d'agents de trafic diversifiés et semblables à l'humain, améliorant ainsi la robustesse des politiques de conduite autonome entraînées dans ces environnements.

Le travail reconnaît des limites, notamment la nature discrète de l'ensemble de styles (par rapport au style continu de la conduite réelle), la taille actuelle du groupe de participants ($M=8$), et la dépendance à une vue de caméra frontale unique en simulation. Les travaux futurs sont orientés vers la modélisation de styles continus, des groupes de participants plus larges et le transfert sim-to-real.