Declarative Scenario-based Testing with RoadLogic

Dit paper introduceert RoadLogic, een open-source tool die declaratieve OpenSCENARIO-specificaties omzet in uitvoerbare simulaties voor het testen van autonome voertuigen door middel van Answer Set Programming, bewegingsplanning en specificatiegebaseerde monitoring.

De kern

Stel je voor dat je een reisleider bent voor een groep zelfrijdende auto's. Je wilt dat ze een specifieke rit maken, bijvoorbeeld: "Rij achter die andere auto aan, ga dan voorbij, en eindig weer op dezelfde rijbaan."

In het verleden moesten mensen die deze tests doen, elke stap van die rit tot in de kleinste details uitschrijven: "Auto A moet 2 seconden 50 km/u rijden, dan 0,5 seconden versnellen, dan naar links sturen..." Dit is als het schrijven van een recept waarbij je niet zegt "bak de cake", maar precies schrijft: "zet de oven op 180 graden, doe 200 gram bloem in kom 1, voeg 3 eieren toe..." Het is enorm veel werk, saai en als je één getal verkeerd hebt, werkt het recept niet.

RoadLogic is een nieuwe, slimme tool die dit probleem oplost. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De "Reisplanner" (OS2)

De ontwikkelaars gebruiken een speciale taal (OS2) om alleen te zeggen wat er moet gebeuren, niet hoe.

• Voorbeeld: "Auto A moet auto B inhalen."
• Ze schrijven niet hoe de auto moet sturen of versnellen. Ze geven alleen het doel. Het is alsof je tegen een taxi zegt: "Breng me van station naar het museum," zonder te zeggen welke wegen hij moet nemen.

2. De "Gedachtekracht" (ASP)

Hier komt de magie van RoadLogic om de hoek kijken. De computer gebruikt een techniek die lijkt op puzzel oplossen.

• De computer denkt: "Oké, om van station naar museum te komen, moet ik eerst linksaf, dan rechtdoor, dan rechtsaf."
• Het bedenkt een hoog niveau plan (een abstracte route) dat voldoet aan de regels. Het is alsof de computer een schets maakt van de route op een kaart, zonder nog te weten welke gaten er in de weg zitten.

3. De "Stuurman" (Motion Planning)

Nu heeft de computer een schets, maar een echte auto kan niet zomaar door muren rijden of in één seconde van 0 naar 100 km/u.

• RoadLogic neemt die schets en geeft hem aan een slimme stuurman (de FrenetiX-planner).
• Deze stuurman zorgt voor de details: "Oké, ik moet linksaf, maar ik moet eerst remmen omdat er een gat in de weg zit, en dan langzaam sturen."
• Het maakt van de ruwe schets een realistische, veilige rit die een echte auto zou kunnen rijden.

4. De "Controleur" (Monitoring)

Zodra de auto de rit heeft gereden, kijkt RoadLogic nog even na: "Hebben we echt gedaan wat we beloofd hadden?"

• Het vergelijkt de gereden rit met het originele plan.
• Als de auto per ongeluk de verkeerde kant op is gegaan of de regels heeft overtreden, wordt de rit afgekeurd en probeert de computer het opnieuw met een ander plan.

Waarom is dit zo belangrijk?

Vroeger moesten mensen duizenden variaties van een rit handmatig uitschrijven om te testen of een zelfrijdende auto veilig is. Dat is als proberen een auto te testen door elke mogelijke weg in het land één voor één te rijden.

Met RoadLogic kunnen ze nu één keer zeggen: "Test alle mogelijke manieren om in te halen." De computer bedenkt dan zelf honderden verschillende, veilige scenario's (soms gaat de ene auto snel, soms langzaam, soms wisselt hij van baan).

Kortom: RoadLogic is de tussenpersoon die zorgt dat de "dromen" van de ontwikkelaars (wat er moet gebeuren) omgezet worden in realistische dromen (wat de auto echt doet), zonder dat mensen urenlang hoeven te rekenen. Het maakt het testen van zelfrijdende auto's sneller, veiliger en slimmer.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Declarative Scenario-based Testing with RoadLogic" in het Nederlands.

Probleemstelling

Het testen van autonome voertuigen (AV's) is complex, duur en riskant in de echte wereld, waardoor simulatie-based testing essentieel is. Bestaande methoden voor scenario-based testing vertrouwen vaak op imperatieve scenario-definities. Hierbij moeten ontwikkelaars handmatig talloze varianten enumereren om voldoende dekking te krijgen.

Hoewel declaratieve talen zoals OpenSCENARIO DSL (OS2) het abstractieniveau verhogen door te beschrijven wat er moet gebeuren (de intentie) in plaats van hoe (de uitvoering), ontbreekt er een systematische methode om deze abstracte specificaties om te zetten in concrete, uitvoerbare simulaties die aan de specificaties voldoen. Er is momenteel geen open-source oplossing die deze "kloof" tussen declaratieve OS2-specificaties en uitvoerbare simulaties overbrugt.

Methodologie: RoadLogic

RoadLogic is een open-source framework dat automatisch simulaties genereert vanuit OS2-scenario's. De aanpak bestaat uit een end-to-end pipeline met vijf hoofdstappen:

1. Vertaling naar Symbolische Automata:
   De input OS2-specificatie wordt omgezet in een symbolische eindige automaat (SFA). In deze automaat vertegenwoordigen locaties manoeuvres en worden overgangen gelabeld met predikaten die constraints (ruimtelijke relaties, snelheden, tijdstippen) coderen. Dit dient als tussenformaat voor zowel planning als monitoring.

2. Encoding in Answer Set Programming (ASP):
   De symbolische automaat wordt geëncodet als een discrete-tijd planningsprobleem in ASP (met behulp van de clingo solver).

   • Discretisatie: Ruimte en tijd worden gediscretiseerd in een rooster (segmenten en rijbanen).
   • Acties: Voertuigdynamica worden gemodelleerd als acties (bijv. change_dynamics) die snelheid en positie updaten.
   • Constraints: De logica van de OS2-scenario's (sequentieel, parallel, keuze) wordt vertaald naar doelregels (goal rules) en domeinbeperkingen (geen botsingen, fysieke haalbaarheid).
   • Incrementele Oplossing: Door gebruik te maken van multi-shot solving, wordt het planningshorizon iteratief uitgebreid totdat een geldig plan (een reeks van states) wordt gevonden dat aan alle constraints voldoet.

3. Concretisering via Motion Planning:
   Het abstracte ASP-plan (een reeks waypoints) wordt omgezet in een realistische simulatie. RoadLogic gebruikt hiervoor de FrenetiX motion planner binnen het CommonRoad-simulatieomgeving.

   • Omdat standaard planners vaak maar één doel hebben, heeft RoadLogic de platform-implementatie uitgebreid om meerdere tussendoelen te ondersteunen. Voertuigen herplannen hun traject dynamisch na het bereiken van een tussendoel.

4. Monitoring en Validatie:
   Tijdens en na de simulatie wordt de gegenereerde uitvoeringstrace gemonitord tegen de oorspronkelijke symbolische automaat.

   • Als de simulatie afwijkt van de OS2-specificatie (bijv. een voertuig slaagt er niet in om in te halen zoals voorgeschreven), wordt de instantie afgewezen en wordt een nieuw plan gegenereerd.
   • Dit zorgt ervoor dat alleen simulaties die strikt conform de abstracte intentie zijn, worden behouden.

5. Implementatie:
   Het framework is geschreven in Python 3.10, gebruikt een ANTLR4-parser voor OS2, en is gelicenseerd onder BSD 3-Clause.

Belangrijkste Bijdragen

• RoadLogic Framework: Het eerste open-source framework dat automatisch declaratieve OS2-specificaties omzet in realistische, specificatie-conforme simulaties.
• End-to-End Pipeline: Een geïntegreerde workflow waarbij OS2 zowel de generatie van concrete scenario's stuurt als de formele conformiteit (via runtime monitoring) garandeert.
• Koppeling van Symboliek en Fysica: Een unieke combinatie van ASP voor logische planning en motion planning voor fysieke realisatie, waardoor de kloof tussen hoog-niveau ontwerp en laag-niveau simulatie wordt overbrugd.

Resultaten en Evaluatie

De auteurs hebben RoadLogic geëvalueerd aan de hand van 7 verschillende OS2-scenario's (o.a. inhalen, volgen, obstakels ontwijken) met twee strategieën: een "base" strategie en een "refined" strategie (met parameter sampling).

• Effectiviteit (RQ1): RoadLogic slaagt erin om in de meeste gevallen binnen enkele minuten realistische simulaties te genereren die voldoen aan de specificaties. De monitoring bevestigt dat alle gegenereerde traces conform de abstracte scenario's zijn. De simulatie-executie is meestal de tijdsbottleneck, behalve bij zeer complexe scenario's waar de ASP-planning zwaarder weegt.
• Diversiteit (RQ2):
  • De base strategie (zonder parameter sampling) levert weinig diversiteit op omdat de ASP-solver (die diepte-zoektocht gebruikt) structuurlijk vergelijkbare oplossingen genereert.
  • De refined strategie, waarbij input-parameters worden gesampled, genereert aanzienlijk meer variatie in de scenario's (gemeten via Jaccard-index van bezettingsroosters).
  • Trade-off: De verhoogde diversiteit komt met een prijs: de succesratio daalt iets (sommige instanties time-outen of voldoen niet) en de rekentijd neemt toe.
• Voorbeeld: Het systeem slaagde erin om een "inhaal"-scenario te genereren waarbij voertuig v1 v2 passeert, maar ook varianten te detecteren waar v2 zelf van baan wisselt (wat misschien niet de intentie was), wat leidde tot het toevoegen van extra constraints.

Betekenis en Toekomstperspectief

RoadLogic opent de deur tot systematische scenario-based testing voor autonoom rijden. Door de intentie (wat) te scheiden van de uitvoering (hoe), kunnen ontwikkelaars abstracte scenario's definiëren die automatisch worden geïnstantieerd tot honderden concrete, gevarieerde tests.

• Betekenis: Het lost het probleem op van het handmatig enumereren van scenario's en zorgt voor traceerbaarheid tussen ontwerp en testresultaat. Het maakt het mogelijk om "onbekende onbekenden" te ontdekken door de zoekruimte systematisch te verkennen.
• Toekomst: De auteurs plannen om de efficiëntie te verbeteren (bijv. via RRT-planning), meer OS2-constructs te ondersteunen (gebeurtenissen, niet-snelweg netwerken) en het framework aan te passen aan andere simulatoren zoals CARLA en BeamNG.

Kortom, RoadLogic biedt een robuuste brug tussen de theoretische wereld van declaratieve scenario-specificaties en de praktische noodzaak van uitvoerbare, gevalideerde tests voor autonome voertuigen.