Req2Road: A GenAI Pipeline for SDV Test Artifact Generation and On-Vehicle Execution

Titolo: Req2Road: Una Pipeline GenAI per la Generazione di Artefatti di Test per SDV e la loro Esecuzione su Veicolo

1. Il Problema

La transizione verso i Veicoli Definiti dal Software (SDV) ha aumentato la complessità del software, portando a un volume di test maggiore, una variabilità più elevata e una maggiore pressione sulla verifica e validazione sistematica. Tuttavia, l'industria automobilistica affronta diverse sfide critiche:

• Eterogeneità degli input: I requisiti sono scritti in linguaggio naturale, mentre le specifiche combinano testo, tabelle e diagrammi (es. UML).
• Frammentazione degli artefatti: Le risorse di test sono disperse in toolchain eterogenee, rendendo difficile la tracciabilità e il riutilizzo.
• Limitazioni dell'automazione: L'attuale pianificazione dei test è spesso manuale, incoerente e scarsamente allineata ai requisiti in evoluzione. Le lacune di interoperabilità tra strumenti diversi ostacolano la portabilità dei test tra diversi banchi di prova e sottosistemi.
• Mancanza di standardizzazione: L'uso di segnali "hard-coded" nei script di test riduce l'astrazione hardware e la portabilità.

2. Metodologia: La Pipeline Req2Road

Req2Road è un processo basato sull'Intelligenza Artificiale Generativa (GenAI) progettato per trasformare artefatti di specifica eterogenei in test eseguibili per SDV. La pipeline si articola in quattro fasi principali (illustrate nella Figura 2 del paper):

1. Generazione Iniziale degli Scenari Gherkin:

   • Utilizza LLM (Large Language Models) e VLM (Vision-Language Models) per estrarre logica comportamentale e segnali da requisiti testuali e diagrammi (es. diagrammi di stato UML).
   • Vengono generati scenari in sintassi Gherkin (standard BDD - Behavior Driven Development), che fungono da specifica intermedia leggibile e strutturata.
   • Vengono impiegate tecniche di prompting come Chain of Thought e Few-Shot Learning.

2. Mappatura dei Segnali VSS (Vehicle Signal Specification):

   • Per evitare l'uso di segnali proprietari hard-coded, la pipeline integra lo standard VSS.
   • Per gestire cataloghi VSS vasti (es. 982 segnali) ed evitare allucinazioni (hallucinations), viene utilizzato un approccio RAG (Retrieval-Augmented Generation).
   • Filtraggio: Un modulo di estrazione pre-seleziona un sottoinsieme di segnali candidati (es. 16 segnali rilevanti) tramite ricerca di vicinanza (embedding) e re-ranking.
   • L'LLM mappa quindi i segnali selezionati agli scenari Gherkin, garantendo un allineamento semantico tra la logica del test e i segnali del veicolo.

3. Generazione del Codice di Test:

   • Gli scenari Gherkin arricchiti con i percorsi VSS vengono trasformati in script Python eseguibili.
   • Il codice utilizza il framework Behave per l'esecuzione dei test e l'API client KUKSA per l'accesso ai segnali del veicolo.
   • Vengono utilizzati template predefiniti per garantire la correttezza strutturale del codice generato.

4. Esecuzione e Validazione:

   • I test vengono eseguiti in due ambienti:
     • SiL (Software-in-the-Loop): Utilizzando l'ambiente digital.auto (playground cloud-based).
     • ViL (Vehicle-in-the-Loop): Esecuzione diretta su un veicolo reale tramite un'unità di calcolo NVIDIA Jetson.

3. Contributi Chiave

• Pipeline End-to-End: Dimostrazione architetturale di un flusso di lavoro completo che trasforma requisiti eterogenei (testo, diagrammi) in test eseguibili su SDV.
• Integrazione VSS e RAG: Un approccio innovativo che combina l'uso di VSS per l'astrazione hardware con tecniche RAG per migliorare la precisione della mappatura dei segnali, riducendo drasticamente le allucinazioni degli LLM.
• Supporto Multi-Modalità: Capacità di elaborare sia input testuali che visivi (diagrammi UML) tramite VLM per una comprensione completa della logica di sistema.
• Portabilità SiL-ViL: Dimostrazione che gli stessi artefatti generati (Gherkin e Python) possono essere eseguiti senza modifiche sostanziali sia in simulazione che su veicolo fisico, cambiando solo i parametri di connessione.
• Valutazione su Caso Reale: Applicazione e validazione su un sistema di sicurezza critico: il CPDS (Child Presence Detection System), basato sulle linee guida Euro NCAP.

4. Risultati

Lo studio è stato valutato su 36 requisiti derivati dalla logica di escalation del CPDS:

• Generazione degli Scenari: Il 32 su 36 requisiti (89%) sono stati trasformati in scenari Gherkin eseguibili senza modifiche. I rimanenti 4 richiedevano aggiustamenti mirati, principalmente per casi limite ambigui o condizioni "OR" non esplicitate.
• Qualità della Mappatura VSS:
  • L'uso di un elenco ristretto di candidati (16 segnali) tramite RAG ha migliorato significativamente la precisione rispetto all'uso del catalogo completo (982 segnali).
  • Con 16 candidati, modelli come GPT-4o-mini hanno raggiunto una corrispondenza perfetta (4/4) con zero falsi positivi.
• Generazione del Codice:
  • Per scenari semplici (1-2 requisiti), i modelli hanno raggiunto un pass@3 del 100%.
  • Per scenari complessi (3 requisiti combinati), solo modelli più avanzati (GPT-4.1) hanno raggiunto il successo completo, evidenziando la sensibilità alla complessità.
• Esecuzione: I test generati sono stati eseguiti con successo sia nell'ambiente digital.auto che su un veicolo reale, attivando correttamente le interazioni HVAC (riscaldamento/ventilazione) e le notifiche in risposta alla rilevazione di un bambino.

5. Significato e Implicazioni

• Fattibilità dell'Automazione GenAI: Il paper dimostra che, in un contesto Human-in-the-Loop (con revisione umana), l'IA generativa può produrre artefatti di test sufficientemente precisi per esercitare comportamenti critici per la sicurezza negli SDV.
• Riduzione del Gap Semantico: Req2Road colma il divario tra specifiche testuali ad alto livello e implementazione tecnica a livello di segnale, standardizzando il riferimento ai segnali tramite VSS.
• Sicurezza e Governance: Sebbene promettente, l'approccio richiede controlli rigorosi. L'uso di modelli locali è raccomandato per requisiti proprietari sensibili. La validazione umana rimane essenziale per casi limite, condizioni logiche complesse e per garantire la correttezza degli "oracle" (criteri di passaggio/fallimento).
• Futuro della Ricerca: Il lavoro evidenzia la necessità di migliorare la gestione delle composizioni logiche complesse, la validazione automatica della coerenza tra artefatti e l'uso di tecniche come il mutation testing per valutare l'efficacia reale nella rilevazione di errori, non solo l'esecutibilità del codice.

In sintesi, Req2Road rappresenta un passo significativo verso l'automazione dei test nell'industria automobilistica, offrendo un'architettura scalabile e portabile che integra le capacità dei modelli linguistici con standard industriali consolidati come VSS e BDD.