Declarative Scenario-based Testing with RoadLogic

RoadLogic è un sistema open-source che colma il divario tra le specifiche dichiarative OpenSCENARIO e le simulazioni eseguibili per i veicoli autonomi, utilizzando la programmazione logica a insiemi di risposte e la pianificazione del movimento per generare automaticamente scenari realistici e conformi alle specifiche.

L'essenziale

Immagina di dover insegnare a un'auto a guida autonoma come comportarsi in situazioni complesse, come sorpassare un'altra auto in autostrada o evitare un ostacolo improvviso. Fare questo testando l'auto nella realtà è pericoloso, costoso e richiede anni. Quindi, gli ingegneri usano i simulatori, ovvero dei "videogiochi" super realistici dove le auto possono fare milioni di chilometri senza rischiare nulla.

Il problema è: come si crea un test interessante?

Fino a poco tempo fa, per creare un test, gli ingegneri dovevano scrivere manualmente ogni singolo dettaglio: "L'auto A va a 50 km/h, l'auto B accelera di 2 secondi, poi gira a sinistra...". Era come scrivere una ricetta di cucina rigida: se sbagli un grammo di sale, il piatto non viene. Questo richiedeva di scrivere migliaia di ricette diverse per coprire tutte le possibilità.

La soluzione: RoadLogic e il "Regista"

Gli autori di questo paper hanno creato RoadLogic, un nuovo strumento che funziona come un regista teatrale intelligente invece di un copionista rigido.

Ecco come funziona, spiegato con una metafora semplice:

1. Il Copione (OS2)

Invece di scrivere ogni movimento, gli ingegneri scrivono un copione astratto usando un linguaggio chiamato OpenSCENARIO DSL (OS2).

• Esempio: Invece di dire "L'auto rossa accelera a 50 km/h e cambia corsia", dicono: "L'auto rossa deve sorpassare l'auto blu, partendo dietro e finendo davanti, senza toccarla".
• È come dire a un attore: "Devi entrare dalla porta, salutare il pubblico e uscire dalla finestra". Non diciamo come cammina, quanto velocemente parla o che espressione fa. Lasciamo che l'attore (l'auto) decida i dettagli, purché rispetti la trama.

2. Il Problema: Il "Traduttore" mancante

Il problema è che i simulatori di guida (come i motori dei videogiochi) non capiscono questi copioni astratti. Hanno bisogno di istruzioni precise: "Muovi il pedale del gas del 30% per 2 secondi". Prima di RoadLogic, non esisteva un modo automatico per trasformare il "copione" in "azioni concrete".

3. RoadLogic: Il Magico Traduttore

RoadLogic è il ponte che manca. Funziona in tre passaggi magici:

• Passo 1: La Mappa Logica (Symbolic Automata)
  RoadLogic prende il copione astratto e lo trasforma in una mappa logica, come un labirinto. Ogni incrocio del labirinto rappresenta una fase del test (es. "auto dietro", "auto che sorpassa", "auto davanti"). Le regole del labirinto dicono quali percorsi sono validi.

• Passo 2: Il Pianificatore (Answer Set Programming - ASP)
  Qui entra in gioco un "super-cervello" matematico (chiamato Answer Set Programming). Immagina un architetto che deve costruire un ponte. Il copione dice: "Il ponte deve collegare A e B". L'architetto calcola milioni di modi possibili per costruire quel ponte, scegliendo quello che rispetta le leggi della fisica (gravità, materiali) e le regole del copione.
  RoadLogic usa questo cervello per generare un piano ad alto livello: "Ok, l'auto rossa deve accelerare qui, cambiare corsia lì, e frenare là".

• Passo 3: L'Esecutore e il Controllore
  Una volta che RoadLogic ha il piano, lo passa a un simulatore di guida (CommonRoad) e a un pianificatore di movimento (FrenetiX). Questi sono come i motori del videogioco che trasformano il piano in una guida fluida e realistica.
  Ma c'è di più: RoadLogic ha anche un controllore (un "poliziotto" invisibile) che guarda la simulazione in tempo reale. Se l'auto fa qualcosa che non era nel copione originale (es. se l'auto blu cambia corsia quando non doveva), il controllore ferma tutto e dice: "Questo test non vale, ricominciamo!".

Perché è importante?

1. Risparmio di tempo: Invece di scrivere manualmente 1.000 scenari diversi, ne scrivi uno astratto e RoadLogic ne genera automaticamente centinaia di varianti realistiche.
2. Sicurezza: Garantisce che ogni simulazione generata rispetti esattamente l'intenzione originale del test. Niente "allucinazioni" dell'auto.
3. Scoperta di errori: Poiché RoadLogic può generare molte varianti diverse dello stesso scenario, può trovare situazioni strane che un umano non avrebbe mai pensato di testare, aiutando a rendere le auto autonome più sicure.

In sintesi

Immagina di dover testare un nuovo modello di auto.

• Metodo vecchio: Scrivi a mano 100 fogli di istruzioni diverse per ogni possibile situazione. È lento e noioso.
• Metodo RoadLogic: Scrivi una sola frase: "Fai un sorpasso sicuro". RoadLogic prende questa frase, la traduce in un piano matematico, lo fa eseguire da un'auto virtuale, controlla che tutto sia andato bene e ti restituisce un video del test perfetto. Se vuoi vedere come reagisce l'auto a una pioggia leggera o a una strada scivolosa, RoadLogic modifica automaticamente i parametri e genera un nuovo video in pochi minuti.

RoadLogic è quindi il primo strumento open-source (gratuito e modificabile da tutti) che permette di trasformare idee astratte in test di guida reali e sicuri, rendendo il futuro della guida autonoma più veloce da sviluppare e più sicuro per tutti noi.

Sommario tecnico

Ecco un riassunto tecnico dettagliato del paper "Declarative Scenario-based Testing with RoadLogic" in italiano.

Titolo: RoadLogic: Testing Basato su Scenari Dichiarativi per Veicoli Autonomi

1. Il Problema

Il testing dei veicoli autonomi (AV) richiede la validazione in un'ampia gamma di scenari di guida, inclusi quelli critici per la sicurezza. L'esecuzione di test exhaustivi nel mondo reale è costosa, pericolosa e impraticabile, rendendo la simulazione essenziale.
Attualmente, gli approcci esistenti si basano su definizioni di scenari imperative (es. OpenSCENARIO XML, Scenic), che richiedono agli sviluppatori di elencare manualmente numerose varianti per ottenere una copertura adeguata. Sebbene linguaggi dichiarativi come OpenSCENARIO DSL (OS2) permettano di elevare il livello di astrazione definendo l'intento dello scenario (il "cosa" deve accadere) piuttosto che l'esecuzione dettagliata (il "come"), manca una soluzione open-source sistematica per istanziare queste specifiche dichiarative in simulazioni concrete e conformi. Senza tale strumento, il potenziale di OS2 per l'automazione e il riutilizzo nella pipeline di testing non può essere sfruttato appieno.

2. Metodologia: RoadLogic

Il paper presenta RoadLogic, il primo framework open-source che colma il divario tra le specifiche OS2 dichiarative e le simulazioni eseguibili. La metodologia si articola in una pipeline end-to-end composta da cinque fasi principali:

1. Traduzione in Automi Simbolici: La specifica OS2 di input viene analizzata e tradotta in un Automa Finito Simbolico (SFA). In questa rappresentazione, i nodi corrispondono a manovre e le transizioni sono etichettate con predicati logici che codificano vincoli spaziali, temporali e relazionali tra gli attori (es. "v1 è dietro a v2", "cambio di corsia").
2. Codifica in Answer Set Programming (ASP): L'automa simbolico viene codificato come un problema di pianificazione discreta in ASP. Vengono definiti:
   • Fluenti: Stato del mondo (posizione, velocità, corsia).
   • Azioni: Cambiamenti dinamici (accelerazione, cambio corsia).
   • Vincoli: Regole di dominio (es. nessun arresto completo, distanze di sicurezza, limiti di velocità) e vincoli specifici dello scenario derivati dall'SFA.
   • Viene utilizzato il risolutore clingo con modalità multi-shot per una pianificazione incrementale, permettendo di estendere l'orizzonte temporale fino a soddisfare tutti i goal.
3. Generazione del Piano di Alto Livello: Il solver ASP genera un "piano" astratto, ovvero una sequenza discreta di stati (waypoint) che soddisfa i vincoli logici dello scenario.
4. Concretizzazione tramite Motion Planning: Il piano astratto viene trasformato in una simulazione fisica realistica utilizzando il framework CommonRoad e il pianificatore di movimento FrenetiX. RoadLogic estende questi strumenti per gestire goal intermedi multipli (non solo un obiettivo finale), permettendo agli agenti di ricalcolare il percorso man mano che raggiungono le tappe intermedie definite dal piano ASP.
5. Monitoraggio e Verifica: Durante l'esecuzione della simulazione, un monitor runtime (generato dall'SFA) verifica in tempo reale se la traccia di esecuzione concreta rispetta la specifica OS2 originale. Se la simulazione viola i vincoli (es. collisione, mancato raggiungimento di un goal), viene scartata e viene generato un nuovo piano.

3. Contributi Chiave

• RoadLogic Framework: Un framework open-source che automatizza l'istantaneazione di specifiche OS2 in simulazioni realistiche e conformi, combinando ragionamento simbolico (ASP) e pianificazione di movimento (Motion Planning).
• Pipeline End-to-End: Un flusso di lavoro integrato dove le specifiche OS2 guidano sia la generazione dello scenario concreto che il monitoraggio formale della conformità, garantendo che solo le simulazioni fedeli all'intento astratto vengano conservate.
• Validazione Sperimentale: Dimostrazione dell'efficacia del sistema su una suite di 7 scenari OS2 diversi (es. sorpasso, cambio corsia, evitamento ostacoli), mostrando la capacità di produrre simulazioni realistiche in tempi ragionevoli.

4. Risultati dell'Evaluation

Gli autori hanno valutato RoadLogic su due strategie: una "base" (pura pianificazione ASP) e una "raffinata" (campionamento dei parametri di input).

• Efficacia (RQ1): RoadLogic è stato in grado di generare simulazioni conformi alle specifiche OS2 per tutti gli scenari testati. La maggior parte della pipeline si completa in pochi minuti. Il collo di bottiglia computazionale è solitamente la fase di esecuzione della simulazione (CommonRoad), tranne in scenari complessi con molte manovre dove la pianificazione ASP diventa dominante.
• Diversità (RQ2):
  • La strategia base tende a produrre scenari con poca diversità a causa della ricerca in profondità (DFS) del solver ASP.
  • La strategia raffinata (campionamento dei parametri) genera un'alta variabilità negli scenari istanziati, permettendo di esplorare diverse realizzazioni comportamentali dello stesso scenario astratto. Tuttavia, questo comporta un costo computazionale maggiore e un tasso di successo leggermente inferiore (alcune istanze non convergono o vanno in timeout).
• Metriche: La diversità è stata misurata tramite l'indice di Jaccard su griglie di occupazione, confermando che la strategia raffinata produce traiettorie significativamente diverse.

5. Significato e Implicazioni

RoadLogic rappresenta un passo fondamentale verso il testing sistematico basato su scenari per i veicoli autonomi.

• Astrazione vs. Esecuzione: Risolve il problema di tradurre l'intento ad alto livello (OS2) in esecuzioni concrete, permettendo di esplorare automaticamente lo spazio degli scenari senza dover specificare manualmente ogni dettaglio.
• Scoperta di "Sconosciuti": Il framework può rivelare comportamenti inaspettati che soddisfano la specifica formale ma non l'intento reale del progettista (es. un sorpasso che avviene cambiando corsia in modo non convenzionale), permettendo di raffinare le specifiche.
• Open Source: Fornisce per la prima volta una soluzione open-source per questo tipo di workflow, promuovendo la riproducibilità e l'adozione di standard dichiarativi come OS2 nella ricerca e nell'industria.

In sintesi, RoadLogic trasforma le specifiche dichiarative da documenti statici in strumenti dinamici per la generazione e la validazione di scenari di guida, ponendo le basi per un testing più robusto, scalabile e automatizzato dei sistemi di guida autonoma.