Scenario Generation for Testing of Autonomous Driving Systems Using Real-World Failure Records

Résumé Technique : Génération de Scénarios pour le Test de Systèmes de Conduite Autonome à partir de Registres de Défaillances Réelles

Énoncé du Problème
Le principal défi abordé est l'inefficacité et la rigidité des méthodes de test actuelles pour les Systèmes de Conduite Autonome (ADS). Les approches existantes reposent fortement sur des modèles de scénarios statiques et conçus manuellement (par exemple, les protocoles Euro NCAP) ou sur des recherches basées sur la simulation qui supposent des représentations de scénarios fixes et se concentrent sur l'optimisation de paramètres numériques au sein de ces modèles. Ces méthodes échouent souvent à capturer les nuances contextuelles riches des défaillances réelles trouvées dans les données d'accidents historiques, telles que des types de routes spécifiques, des zones de travaux ou des dynamiques d'interaction complexes. De plus, il existe un manque de cadre rigoureux pour extraire des définitions de scénarios directement de récits d'accidents en langage naturel et les adapter pour des tests de simulation spécifiques au système.

Méthodologie
Les auteurs proposent un pipeline de génération de scénarios automatisé et modulaire qui exploite les registres d'accorts d'ADS historiques (spécifiquement les données de la NHTSA) pour construire des suites de tests diversifiées. L'approche intègre des données catégorielles et des récits en langage naturel via un pipeline à trois étapes utilisant des Modèles de Langage de Grande Taille (LLM) :

1. Extraction de méta-variables : Le système identifie les caractéristiques catégorielles des registres d'accidents (par exemple, Type de route, mouvement pré-collision du véhicule autonome et du partenaire de collision, présence de zone de travaux) pour définir des modèles de scénarios de haut niveau.
2. Génération de scénarios basée sur le LLM : Le pipeline emploie trois agents LLM séquentiels :
   • Agent de paraphrase : Traite les récits bruts d'accidents pour filtrer les détails non pertinents (ex. : localisation, heure, rapports de blessures) et ne conserve que les détails topologiques et contextuels nécessaires à la reconstruction. Il filtre également les scénarios incompatibles avec le simulateur cible (ex. : collisions arrière causées par une négligence non-ego qui ne peuvent être répliquées par la politique ego spécifique testée) et génère des récits alternatifs plausibles.
   • Agent de génération de scénarios : Prend le récit paraphrasé et le modèle de méta-variables pour générer une instance de scénario spécifique ($z_s$). Cela inclut l'encodage de paramètres spécifiques tels que les trajectoires des agents, les vitesses et les types de cartes compatibles avec le simulateur (dans ce cas, Metadrive).
   • Agent de réglage fin (Fine-Tuning) : Affine le scénario généré en fonction des métriques de performance (ex. : écart minimum) collectées lors des déploiements de trajectoires. Cette étape ajuste de manière itérative les paramètres numériques pour tester les limites du système, réduisant potentiellement les marges de sécurité pour révéler des modes de défaillance.
3. Diversité via le partitionnement (Clustering) : Pour assurer une couverture large avec un budget de test limité, les auteurs regroupent les registres d'accidents historiques par k-means. Les caractéristiques de partitionnement incluent les méta-variables encodées en un-hot et des vecteurs d'embedding à 6 dimensions des récits (générés via all-MiniLM-L6-v2). Un scénario est généré par groupe pour représenter des modes de défaillance distincts.

Contributions Clés

• Pipeline Automatisé : Les auteurs présentent une procédure novatrice qui automatise la transition des rapports d'accidents du monde réel vers des scénarios prêts pour la simulation, en utilisant à la fois des caractéristiques catégorielles et des récits en langage naturel.
• Adaptation Spécifique au Système : La méthode introduit une approche modulaire basée sur le LLM pour adapter les enregistrements historiques aux contraintes spécifiques du système et des politiques, allant au-delà de la conception de modèles statiques.
• Cadre de Validation : L'approche est validée par la génération d'une suite de tests pour une politique IDM sur le simulateur Metadrive en utilisant les données d'accidents ADS de la NHTSA de 2021.

Résultats Expérimentaux
Les auteurs ont évalué le pipeline en utilisant les données de la NHTSA de 2021, ce qui a abouti à 20 groupes de scénarios distincts.

• Précision : 17 des 20 scénarios générés correspondaient parfaitement aux modèles de méta-variables prévus. Les trois erreurs concernaient des détails mineurs sur la direction du mouvement du partenaire de collision ou la présence de zones de travaux, que les auteurs notent comme pouvant être optimisés via l'agent de réglage fin.
• Diversité et Test de Stress : Le partitionnement a réussi à capturer 11 des 14 modèles de scénarios naturellement présents dans les données historiques filtrées. Le processus de réglage fin a considérablement réduit l'écart minimum entre les véhicules dans 14 des 16 scénarios nécessitant un ajustement, créant ainsi efficacement des scénarios de "quasi-collision" ou de collision.
• Aperçus du Système : Les tests générés ont révélé des caractéristiques comportementales spécifiques de la politique IDM :
  • La politique a évité avec succès les collisions frontales mais a présenté des mouvements oscillatoires indésirables et des freinages précoces lors de l'évitement de véhicules se déplaçant en ligne droite.
  • La politique était moins réactive aux petits obstacles (ex. : cônes dans les zones de travaux) par rapport aux véhicules volumineux, entraînant des collisions dans les scénarios de zones de travaux.
  • Les scénarios de mouvement latéral ont entraîné des collisions latérales, mettant en évidence des modes de défaillance spécifiques qui ne sont pas toujours capturés par les modèles standards.

Signification et Revendications
L'article affirme que son approche fournit un moyen rigoureux de combler le fossé entre les données de défaillance réelles non structurées et les tests de simulation structurés. En utilisant des registres historiques, la méthode réduit l'effort manuel requis pour concevoir des modèles de scénarios et garantit que les tests couvrent à la fois les conditions de défaillance communes et inhabituelles. Les auteurs soulignent que leurs scénarios générés sont compatibles avec les méthodes de test de bas niveau existantes (telles que l'optimisation bayésienne ou l'échantillonnage MCMC), permettant une itération supplémentaire sur les paramètres numériques. Le travail démontre que les LLM peuvent transformer efficacement des descriptions de défaillances en langage naturel en cas de test exécutables et spécifiques au système, révélant les vulnérabilités du système avec un budget de test limité (20 scénarios).

Limites et Travaux Futurs
Les auteurs reconnaissent des limites, notamment l'absence d'une définition unifiée de la "couverture" dans les tests, ce qui complique la poursuite d'une génération diversifiée. Ils notent également que fixer une politique spécifique limite la capacité à reproduire pleinement les mouvements du véhicule ego dans tous les scénarios souhaités. Les futures directions de travail incluent l'extension du pipeline pour générer des conditions visuelles pour les politiques basées sur la vision, et l'utilisation de LLM pour créer des récits de défaillances synthétiques en l'absence de données réelles.