Résumé Technique : TrafficAlign

Problématique

Bien que les grands modèles de langage (LLM) aient été explorés pour la génération de scénarios de trafic afin de tester les systèmes de conduite autonome (AD), les approches actuelles font face à des limitations significatives. Les LLM pré-entraînés manquent souvent de connaissances spécifiques au domaine, ce qui conduit à la génération de scénarios homogènes qui ne parvient pas à s'aligner sur les distributions de trafic du monde réel, particulièrement dans des contextes géographiques spécifiques (par exemple, les grandes métropoles versus les régions montagneuses). Les méthodes existantes reposant sur des descriptions manuelles en langage naturel sont laborieuses et ne sont pas extensibles, tandis que les approches automatisées comme ChatScene, qui sollicitent directement les LLM par des prompts, peinent à capturer les caractéristiques de trafic fines et localisées. Par conséquent, il existe un besoin pour un cadre automatisé capable de synthétiser des scénarios de trafic réalistes et spécifiques à une région, et d'aligner les LLM avec les distributions de trafic réelles afin d'améliorer à la fois les tests et l'entraînement des modèles AD.

Méthodologie

Le document propose TrafficAlign, un cadre automatisé conçu pour synthétiser, valider et aligner les LLM avec des scénarios de trafic réels dérivés de vidéos de conduite. Le pipeline se compose de trois étapes principales :

1. Synthèse de données

TrafficAlign utilise des vidéos de conduite réelles comme source de données primaire pour capturer les distributions de trafic sous-jacentes des régions cibles.

• Collecte de vidéos : Le système échantillonne des images à partir de diverses vidéos de conduite (par exemple, de YouTube) couvrant diverses régions géographiques, incluant des zones métropolitaines, des parcs nationaux, de petites villes et des localisations internationales.
• Extraction de scénarios : Un LLM multimodal (spécifiquement GPT-4.1 nano) est employé pour analyser des images vidéo sélectionnées. En utilisant une stratégie de prompt compositionnelle (incorporant le jeu de rôle, le raisonnement par chaîne de pensée et l'apprentissage par quelques exemples ou few-shot learning), le LLM génère des descriptions en langage naturel des scénarios de trafic. Ces descriptions couvrent le réseau routier, le contexte environnemental (météo, heure) ainsi que le comportement et la position de tous les acteurs (véhicule ego, PNJ, piétons).

2. Validation des données

Pour garantir la qualité et la validité des données synthétisées, TrafficAlign emploie une boucle de validation rigoureuse :

• Traduction en DSL : Les descriptions en langage naturel sont traduites en une représentation formelle en langage spécifique au domaine (DSL). Cette conversion est effectuée par un LLM (GPT-5) agissant comme un expert en trafic, guidé par une grammaire spécifique.
• Vérification syntaxique et sémantique : Le système effectue des vérifications syntaxiques pour s'assurer que le DSL est bien formé. Il procède ensuite à une validation sémantique pour vérifier que les attributs essentiels (ex: moment de la journée, météo, comportements des acteurs) sont présents.
• Auto-raffinement : Si un scénario est identifié comme sémantiquement incomplet mais récupérable, le système ajoute des messages de diagnostic au prompt et demande à l'extracteur de scénario de régénérer la description. Les images non pertinentes (ex: titres ou écrans) sont écartées.

3. Alignement du LLM

Une fois validées, les descriptions de scénarios synthétisées sont utilisées pour aligner le LLM avec les distributions de trafic du monde réel.

• Fine-Tuning (Ajustement fin) : Le cadre effectue un ajustement fin supervisé standard (SFT) sur un modèle générateur (Llama-3.2-3B-Instruct) en utilisant les descriptions de scénarios validées.
• Entraînement efficace des paramètres : Le processus utilise l'adaptation de bas rang (LoRA) appliquée aux couches d'attention et MLP pour adapter efficacement le modèle.
• Sortie : Le LLM aligné résultant peut être sollicité pour générer des descriptions de scénarios de trafic statistiquement cohérentes avec les distributions de trafic du monde réel de la région cible.

Principales Contributions

1. Proposition de Cadre : L'introduction de TrafficAlign, un pipeline automatisé qui synthétise des scénarios de trafic à partir de vidéos réelles, les valide via la traduction en DSL, et aligne les LLM avec ces distributions.
2. Efficacité des Tests : La démonstration que les scénarios générés par TrafficAlign sont nettement plus efficaces pour tester la résistance des modèles de conduite autonome que les méthodes de pointe actuelles.
3. Amélioration de l'Entraînement : La preuve que l'ajustement fin des modèles de conduite sur les scénarios générés par TrafficAlign améliore considérablement leur sécurité et leur robustesse.
4. Alignement Régional : Une étude qualitative montrant que le cadre capture et reproduit avec succès les distributions de trafic à travers des régions géographiquement diverses.

Résultats Expérimentaux

Les auteurs ont évalué TrafficAlign par rapport à cinq bases de comparaison (incluant ChatScene, des méthodes basées sur l'adversité et des méthodes basées sur des règles) et cinq LLM non alignés, en utilisant trois modèles de conduite autonome (PPO, SAC, TD3) au sein de la plateforme SafeBench et du simulateur CARLA.

• Efficacité des Tests : Les scénarios générés par TrafficAlign ont révélé jusqu'à 10,8 % de collisions supplémentaires en moyenne sur les trois modèles de conduite par rapport à la base de comparaison la plus forte (ChatScene). En termes de score global, TrafficAlign a induit une réduction relative de 5,0 % à 35,6 %, indiquant qu'il génère des scénarios plus difficiles et critiques pour la sécurité.
• Amélioration de l'Entraînement : Lorsque les modèles de conduite ont été ajustés via un entraînement fin sur les scénarios générés par TrafficAlign, le taux de collision a diminué de 36,1 % par rapport aux modèles originaux avant ajustement. Cette amélioration était supérieure à l'ajustement fin avec les scénarios de la base de comparaison ChatScene, qui présentait une réduction plus faible des taux de collision.
• Alignement de la Distribution : Une analyse qualitative utilisant la visualisation UMAP des plongements (embeddings) de scénarios a démontré que les scénarios générés par TrafficAlign se regroupent et se chevauchent de manière significative avec les clusters de trafic du monde réel. En revanche, les bases de comparaison de LLM non alignés forment des clusters distincts et déplacés, avec un chevauchement minimal avec les données réelles.

Signification et Revendications

L'article affirme que TrafficAlign comble l'écart critique entre les connaissances générales des LLM et les distributions de trafic spécifiques du monde réel. En automatisant l'extraction de scénarios à partir de vidéos et en alignant les LLM via une boucle de validation, le cadre permet :

• Des Tests plus Rigoureux : La capacité de générer des scénarios diversifiés et spécifiques à une région qui exposent les vulnérabilités de sécurité des modèles AD plus efficacement que les méthodes actuelles.
• Une Amélioration Ciblée des Modèles : La capacité d'utiliser ces scénarios réalistes pour affiner les modèles de conduite, entraînant des réductions substantielles des taux de collision et une amélioration globale des performances de conduite.
• Une Évolutivité : Un passage d'une conception de scénarios manuelle et laborieuse vers une approche automatisée et pilotée par les données, capable de s'adapter à divers contextes géographiques.

Les auteurs concluent que TrafficAlign facilite la construction automatique de bancs d'essai de scénarios de sécurité routière, offrant une voie pour des tests cohérents et une amélioration ciblée des systèmes de conduite autonome.