Using Large Language Models for Black-Box Testing of FMU-Based Simulations

1. Enunciato del Problema

I sistemi ingegneristici moderni si basano pesantemente sulla progettazione basata su modelli che utilizza Functional Mock-up Units (FMU) per la simulazione e la co-simulazione. Le FMU incapsulano binari di modello e descrizioni ma nascondono equazioni interne e dettagli del risolutore, rendendo di fatto impossibile il tradizionale testing a scatola bianca. Di conseguenza, la verifica deve affidarsi al testing a scatola nera, che richiede la definizione di scenari di test complessi basati esclusivamente su specifiche funzionali e descrizioni delle interfacce.

• Sfida: Definire manualmente scenari di test diversificati, serie temporali di input e comportamenti di output attesi (oracoli) per sistemi dinamici è un processo laborioso, soggetto a errori e difficile da scalare.
• Lacuna: I metodi di testing automatizzato esistenti richiedono spesso l'accesso alle strutture interne del modello (ad esempio, gli interni di Simulink) o mancano di meccanismi per generare obiettivi di test a scatola nera leggibili dall'uomo e specifici per il dominio.

2. Metodologia

Gli autori propongono un framework Human-in-the-Loop (HITL) che sfrutta i Large Language Models (LLM) per automatizzare la generazione di scenari di test a scatola nera. L'approccio segue una gerarchia di astrazione a tre livelli: Intento (Obiettivi) $\rightarrow$ Modelli (Piani) $\rightarrow$ Serie Temporali Esecutabili (Scenari).

A. Panoramica del Flusso di Lavoro

1. Input: Una FMU conforme a FMI (in particolare modelDescription.xml) e documenti di specifica funzionale.
2. Estrazione tramite LLM: L'LLM estrae i vincoli di I/O (nomi delle variabili, unità, intervalli) dai metadati.
3. Generazione degli Scenari (Fasi Iterative):
   • Fase 1: Generazione degli Obiettivi: L'LLM genera obiettivi di test di alto livello nel formato Given-When-Then (GWT) (sintassi Gherkin). Questi obiettivi descrivono precondizioni qualitative, disturbi e tendenze comportamentali attese (ad esempio, "aumento monotono", "stabilizzazione sul punto di setpoint").
   • Fase 2: Generazione dei Piani: Gli obiettivi approvati vengono convertiti in Piani di Scenari concreti. L'LLM definisce pattern di input specifici (costante, gradino, rampa), grandezze, tempistiche e oracoli di asserzione formali (ad esempio, bounded, crosses_above, settles_to) con soglie numeriche derivate dai vincoli.
   • Fase 3: Istanziamento degli Scenari: I piani vengono convertiti in serie temporali eseguibili utilizzando il Latin Hypercube Sampling (LHS) con un seme casuale fisso per garantire una generazione deterministica e la deduplicazione.
4. Human-in-the-Loop: Un esperto di dominio esamina obiettivi e piani in ogni fase per convalidare fattibilità, sicurezza e logica di dominio prima dell'esecuzione.
5. Esecuzione e Valutazione: La FMU viene simulata utilizzando gli input generati. Le asserzioni vengono valutate rispetto agli output registrati per produrre verdetto di successo/fallimento.

B. Meccanismi Tecnici Chiave

• Prompt Engineering: Il sistema utilizza un prompting basato su schema con schemi JSON rigorosi, pochi esempi (few-shot exemplars) e definizioni di ruolo per garantire output strutturati e leggibili dalla macchina.
• Controllo della Temperatura: Viene adottata una strategia di temperatura divisa:
  • Alta Temperatura (0.7) per la Generazione degli Obiettivi per massimizzare diversità e creatività.
  • Bassa Temperatura (0.2) per la Generazione dei Piani per garantire determinismo e precisione nei valori numerici.
• Definizione degli Oracoli: Invece di prevedere valori numerici esatti (difficile per sistemi dinamici), l'LLM genera oracoli generici che descrivono le tendenze (ad esempio, "l'output si stabilizza sul target entro la tolleranza $t$").
• Deduplicazione: Viene utilizzato un meccanismo di hashing per rilevare e rimuovere obiettivi, piani e scenari duplicati tra le esecuzioni per ottimizzare l'efficienza.

3. Contributi Chiave

1. Framework HITL per FMU: Un flusso di lavoro innovativo che integra LLM con la revisione di esperti di dominio specificamente per il testing a scatola nera di modelli di simulazione incapsulati.
2. Generazione Strutturata degli Scenari: Un metodo per tradurre metadati FMU non strutturati in obiettivi GWT strutturati e piani di serie temporali eseguibili utilizzando prompt engineering e vincoli di schema.
3. Valutazione dell'Adeguatezza Basata su Mutazione: Gli autori introducono un metodo personalizzato di analisi di mutazione per valutare la qualità degli scenari generati. Poiché il codice interno non è disponibile, mutano le serie temporali di output della FMU (ad esempio, mutazioni Mirror, Random Uniform, Crossover, Polinomiali) per creare "mutanti" e misurare quanti vengono "uccisi" (rilevati come fallimenti) dalla suite di test generata.
4. Implementazione Pratica: Una catena di strumenti completa che dimostra la generazione, l'esecuzione e la registrazione degli scenari di test per un sistema di raffreddamento dell'olio lubrificante (LOC).

4. Risultati

L'approccio è stato valutato su una FMU di un sistema di raffreddamento dell'olio lubrificante (LOC).

• Accuratezza: Senza revisione umana, gli scenari generati dall'LLM avevano un'accuratezza media del 47% a causa di allucinazioni e vincoli irrealistici. Con la convalida dell'esperto di dominio, l'accuratezza è salita a quasi il 100%.
• Capacità di Rilevamento dei Guasti:
  • Punteggio di Mutazione: Gli scenari generati dall'LLM hanno raggiunto un punteggio di mutazione di 0.67 (uccidendo 47 mutanti su 70).
  • Confronto: Questo è paragonabile agli scenari creati manualmente, che hanno raggiunto un punteggio di 0.685 (uccidendo 48 mutanti).
  • Conclusione: L'approccio assistito da LLM genera scenari con capacità di rilevamento dei guasti equivalente al testing manuale.
• Efficienza: Il processo di generazione end-to-end (vincoli, obiettivi, piani) per un lotto di 8-10 scenari ha richiesto meno di un minuto per esecuzione.
• Copertura: L'approccio ha generato scenari aggiuntivi e diversificati oltre a quelli creati manualmente da un esperto umano, coprendo diverse variazioni comportamentali.

5. Significato e Lavori Futuri

• Significato: Questo lavoro dimostra che gli LLM possono colmare efficacemente il divario tra specifiche funzionali di alto livello e casi di test eseguibili di basso livello per modelli di simulazione a scatola nera. Riduce significativamente lo sforzo manuale mantenendo un'alta qualità dei test attraverso la supervisione umana.
• Limitazioni:
  • Non Determinismo: Gli output degli LLM possono variare tra le esecuzioni anche con semi fissi, richiedendo una robusta deduplicazione.
  • Allucinazioni: Il modello potrebbe ancora generare intervalli di parametri irrealistici, rendendo necessaria la revisione umana.
  • Fiducia negli Oracoli: La validità degli oracoli qualitativi dipende dalla comprensione dell'LLM delle dinamiche del sistema; soglie errate possono portare a falsi positivi/negativi.
• Direzioni Future: Estendere l'approccio alla co-simulazione (configurazioni multi-FMU) e implementare un ciclo di apprendimento attivo in cui l'LLM si ripropone in base ai fallimenti della simulazione per affinare i futuri casi di test.

In sintesi, il paper presenta una metodologia robusta e pratica per automatizzare il testing di simulazioni ingegneristiche complesse, dimostrando che gli LLM, quando guidati da prompt rigorosi e competenza umana, possono fungere da potenti assistenti nella verifica e validazione di sistemi a scatola nera.