Declarative Scenario-based Testing with RoadLogic

Le papier présente RoadLogic, une solution open-source qui comble le fossé entre les spécifications déclaratives OpenSCENARIO et les simulations exécutables pour les véhicules autonomes en utilisant la programmation par ensembles de réponses et la planification de mouvement pour générer automatiquement des scénarios réalistes et conformes.

L'essentiel

Imaginez que vous êtes un directeur de casting pour un film d'action avec des voitures autonomes. Votre objectif est de tester le pilote automatique de ces voitures dans des situations dangereuses (comme un dépassement sur l'autoroute) pour vous assurer qu'elles ne vont pas se crasher.

Le problème, c'est que tester en vrai est trop cher et trop dangereux. Alors, on utilise des simulateurs. Mais voici le casse-tête : comment créer des milliers de scénarios de test différents sans passer des heures à écrire manuellement chaque détail ?

C'est là que le papier RoadLogic entre en jeu. Voici une explication simple de leur solution, avec quelques analogies.

1. Le Problème : Le Chef d'Orchestre vs. Le Musicien

Aujourd'hui, pour tester une voiture, les ingénieurs doivent écrire des scénarios très précis, comme une partition de musique détaillée : "À la seconde 3, la voiture A tourne à gauche, à la seconde 4, elle accélère de 2 m/s...". C'est ce qu'on appelle une approche impérative. C'est fastidieux et ça ne couvre pas toutes les possibilités.

Le langage OS2 (OpenSCENARIO DSL) est une nouvelle façon de faire. C'est comme donner un résumé de l'intrigue au lieu d'une partition complète.

• L'impératif : "Écrivez chaque note."
• Le déclaratif (OS2) : "Faites une scène où la voiture bleue dépasse la voiture rouge, en commençant derrière et en finissant devant."

Le hic ? Les ordinateurs ne savent pas comment transformer ce "résumé" en une simulation réelle. Ils ont besoin de quelqu'un pour imaginer les détails.

2. La Solution : RoadLogic, le "Traducteur Magique"

Les auteurs ont créé RoadLogic, un outil qui fait le pont entre le résumé (OS2) et la simulation réelle. Imaginez RoadLogic comme un chef de cuisine très intelligent qui reçoit une commande vague : "Faites un plat avec du poulet et des légumes" (le scénario OS2).

RoadLogic ne se contente pas de servir le plat ; il doit :

1. Comprendre la commande (Traduire le texte en logique).
2. Inventer la recette (Planifier les étapes).
3. Cuisiner le plat (Faire rouler les voitures dans le simulateur).
4. Vérifier le goût (S'assurer que le résultat correspond bien à la commande).

3. Comment ça marche ? (Les 3 Étapes Magiques)

Étape 1 : Le Dessin de la Scène (L'Automate Symbolique)

RoadLogic prend le texte vague et le transforme en un plan de métro ou un labyrinthe.

• Chaque "station" du métro représente une étape de la scène (ex: "derrière la voiture rouge", "à côté de la voiture rouge").
• Les "tunnels" entre les stations sont les règles (ex: "vous ne pouvez passer que si vous êtes plus rapide").
• C'est comme si on dessinait toutes les routes possibles que la voiture pourrait emprunter pour réussir son manœuvre.

Étape 2 : Le Planificateur de Voyage (Programmation par Réponses Logiques - ASP)

Une fois le labyrinthe dessiné, RoadLogic utilise un cerveau mathématique très puissant (appelé ASP) pour trouver un chemin.

• Imaginez que vous devez résoudre un Sudoku géant où les règles sont : "La voiture ne doit pas sortir de la route", "Elle ne doit pas percuter l'autre", et "Elle doit finir devant".
• L'ordinateur teste des milliers de combinaisons en quelques secondes pour trouver un chemin valide. C'est comme si un détective trouvait le seul itinéraire possible pour arriver à l'heure sans faire de bouchon.

Étape 3 : La Simulation Réelle et le Contrôleur (Le Gardien)

Maintenant que le plan est trouvé, RoadLogic envoie les voitures dans un simulateur de conduite (CommonRoad) avec un pilote automatique (FrenetiX) pour qu'elles exécutent le trajet.

• Le Gardien : Pendant que les voitures roulent, un "gardien" (un moniteur) regarde en temps réel. Il vérifie constamment : "Est-ce qu'on est toujours sur le chemin du labyrinthe ?".
• Si la voiture fait une erreur ou sort du scénario prévu, le gardien arrête tout et dit : "Non, ce test ne compte pas, recommencez avec un autre plan !".

4. Pourquoi c'est génial ? (La Diversité)

Le vrai pouvoir de RoadLogic, c'est qu'il peut générer des milliers de versions différentes du même scénario.

• Si vous demandez un "dépassement", RoadLogic peut en générer un où la voiture bleue dépasse vite, un autre où elle dépasse lentement, un autre où la route est plus large, etc.
• C'est comme si vous demandiez à un acteur de jouer une scène de dispute, mais en lui disant : "Joue-la de 100 façons différentes : en colère, triste, drôle, chuchotant...". Cela permet de tester la voiture dans des situations très variées pour trouver des bugs cachés.

En Résumé

RoadLogic est un outil open-source qui permet de dire à un ordinateur : "Voici le type de situation dangereuse que je veux tester" (de manière abstraite), et l'ordinateur se débrouille pour :

1. Inventer les détails précis.
2. Faire rouler les voitures virtuellement.
3. S'assurer que tout se passe comme prévu.

C'est un pas de géant pour rendre les voitures autonomes plus sûres, car cela permet de tester des millions de situations différentes sans avoir à construire une seule route physique ou risquer la vie de quiconque. C'est passer de l'écriture manuelle d'un scénario de film à l'utilisation d'une intelligence artificielle pour générer des milliers de films d'action uniques et sûrs.

Résumé technique

Voici un résumé technique détaillé de l'article « Declarative Scenario-based Testing with RoadLogic », présenté en français.

1. Problématique

Le test des véhicules autonomes (VA) est intrinsèquement complexe et coûteux, rendant le test exhaustif dans le monde réel impossible. La test basé sur les scénarios est une méthode clé pour valider ces systèmes, mais les approches existantes reposent sur des définitions de scénarios impératives. Cela oblige les développeurs à énumérer manuellement de nombreuses variantes pour couvrir l'espace de test, ce qui est fastidieux et peu évolutif.

Des langages déclaratifs comme OpenSCENARIO DSL (OS2) ont été développés pour élever le niveau d'abstraction. OS2 permet de décrire l'intention d'un scénario (le « quoi ») plutôt que son exécution détaillée (le « comment »). Cependant, un vide technologique majeur existe : il n'existe actuellement aucune solution open-source capable d'instancier automatiquement des simulations concrètes et conformes à partir de spécifications OS2 déclaratives. Les spécifications OS2 restent souvent théoriques sans pouvoir être transformées en trajectoires exécutables par un simulateur.

2. Méthodologie : RoadLogic

L'article présente RoadLogic, le premier cadre open-source comblant ce fossé entre les spécifications OS2 abstraites et les simulations exécutables. L'approche repose sur un pipeline en cinq étapes :

1. Traduction vers Automates Symboliques :
   La spécification OS2 est d'abord traduite en un automate fini symbolique (SFA). Dans cette représentation, les nœuds correspondent à des manœuvres et les transitions sont annotées par des prédicats logiques (contraintes spatiales, temporelles, relationnelles entre véhicules). Cela permet de capturer la structure logique du scénario de manière formelle.

2. Encodage en Programmation par Réponse d'Ensemble (ASP) :
   L'automate symbolique est encodé comme un problème de planification discrète en Answer Set Programming (ASP).

   • L'environnement de conduite est discrétisé (grille spatio-temporelle).
   • Les états des véhicules (position, vitesse, voie) et les actions (changement de voie, accélération) sont modélisés.
   • Les contraintes de l'OS2 (séquentielles, parallèles, choix) sont traduites en règles logiques et contraintes d'intégrité.
   • Un solveur ASP (Clingo) est utilisé pour générer des plans de haut niveau (séquences de waypoints abstraits) qui satisfont les contraintes du scénario.

3. Concrétisation par Planification de Mouvement :
   Les plans abstraits générés par l'ASP sont transformés en trajectoires réalistes et physiquement faisables. RoadLogic utilise le planificateur de mouvement FrenetiX au sein de l'environnement de simulation CommonRoad.

   • Innovation technique : Le framework a été étendu pour gérer des objectifs intermédiaires multiples. Contrairement aux planificateurs standards qui visent un seul but final, RoadLogic force les agents à atteindre une séquence de points de contrôle dérivés du plan ASP, assurant ainsi que la trajectoire continue respecte la structure logique du scénario.

4. Surveillance et Vérification (Runtime Monitoring) :
   Une fois la simulation exécutée, un moniteur d'exécution généré à partir de l'automate symbolique vérifie en temps réel si la trace d'exécution (les trajectoires réelles) satisfait toujours la spécification OS2 originale.

   • Si la simulation dévie du scénario (ex: collision, non-respect des contraintes de voie), elle est rejetée et un nouveau plan est généré.

5. Boucle de rétroaction :
   Ce processus assure que seules les simulations fidèles à l'intention abstraite sont conservées, créant une boucle de validation formelle.

3. Contributions Clés

• RoadLogic : Un framework open-source complet qui automatise la génération de simulations réalistes à partir de spécifications OS2 déclaratives.
• Pipeline End-to-End : Intégration de la génération de scénarios concrets et de la surveillance de conformité formelle. Le système garantit que seules les simulations conformes à la spécification abstraite sont retenues.
• Utilisation de l'ASP pour la Planification : Démonstration de l'efficacité de l'ASP pour résoudre des problèmes de planification de manœuvres complexes sous contraintes déclaratives, en tirant parti de la recherche incrémentale (multi-shot solving).
• Extensibilité : Le framework est conçu pour être indépendant du simulateur sous-jacent, bien qu'il ait été évalué sur CommonRoad.

4. Résultats de l'Évaluation

Les auteurs ont évalué RoadLogic sur une suite de 7 spécifications OS2 (dépassement, suivi, évitement d'obstacles, etc.) avec deux stratégies :

1. Stratégie de base : Le planificateur ASP génère la diversité.
2. Stratégie affinée (Refined) : Échantillonnage aléatoire des paramètres d'entrée pour générer des problèmes de planification ASP distincts.

Résultats principaux :

• Efficacité (RQ1) : RoadLogic génère des simulations réalistes et conformes en quelques minutes pour la plupart des scénarios. La phase de simulation (exécution) domine généralement le temps de calcul, sauf pour des scénarios très complexes où la planification ASP devient le goulot d'étranglement.
• Diversité (RQ2) :
  • La stratégie de base produit peu de diversité en raison de la recherche en profondeur (DFS) du solveur ASP.
  • La stratégie affinée (avec échantillonnage de paramètres) génère une diversité significative (mesurée par l'indice de Jaccard sur les grilles d'occupation), permettant d'explorer différentes variantes comportementales tout en respectant la spécification.
• Taux de réussite : La stratégie affinée réduit légèrement le taux de réussite (parfois des échecs ou des timeouts) par rapport à la stratégie de base, mais augmente considérablement la variété des cas de test générés.

5. Signification et Impact

Ce travail est significatif car il opérationnalise les scénarios déclaratifs pour les véhicules autonomes.

• Automatisation du Test : Il élimine la nécessité d'énumérer manuellement des variantes de scénarios, permettant une exploration systématique de l'espace de test.
• Garantie de Conformité : En utilisant la surveillance formelle, RoadLogic assure que les tests exécutés correspondent réellement à l'intention du concepteur, évitant les faux positifs ou les scénarios mal interprétés.
• Découverte de Comportements Inattendus : L'article illustre comment le framework peut révéler des comportements qui satisfont la spécification formelle mais qui ne correspondent pas à l'intention humaine (ex: un véhicule qui change de voie alors qu'il ne devrait pas), permettant d'affiner les spécifications OS2.

En résumé, RoadLogic fournit le pont manquant entre la conception de scénarios de haut niveau (OS2) et la validation concrète par simulation, ouvrant la voie à des méthodes de test plus rigoureuses, automatisées et évolutives pour les véhicules autonomes.