Multi-Agent Specification-based Metamorphic Testing of FMU-Based Simulations

Riepilogo Tecnico: Test Metamorfico Basato su Specifiche Multi-Agente per Simulazioni Basate su FMU

Enunciato del Problema
Nella progettazione industriale moderna basata su modelli, lo standard Functional Mock-up Interface (FMI) facilita lo scambio di modelli di simulazione come Functional Mock-up Units (FMU) tra strumenti e partner diversi. Sebbene ciò consenta la verifica basata sulla simulazione, la validazione di questi modelli presenta una sfida significativa: il "problema dell'oracolo di test". Le FMU spesso incapsulano eseguibili senza codice sorgente e la loro logica interna è opaca, impedendo i test tradizionali che si basano sull'ispezione dello stato interno. Inoltre, le uscite attese esplicite sono raramente definite, poiché i test vengono tipicamente eseguiti manualmente da esperti di dominio.

Il Test Metamorfico (MT) offre una soluzione verificando sistemi privi di oracoli espliciti attraverso Relazioni Metamorfiche (MR) — proprietà che definiscono come le uscite dovrebbero cambiare in risposta a specifiche trasformazioni degli input. Tuttavia, derivare MR efficaci dalle specifiche funzionali e di interfaccia rimane un processo manuale e soggetto a errori. Gli approcci esistenti mancano di un flusso di lavoro completo e automatizzato che parta dalle specifiche, generi MR ed esegua test specificamente per ambienti vincolati alle FMU. Inoltre, sebbene i Modelli Linguistici di Grande Dimensione (LLM) mostrino promesse nella generazione di MR, richiedono spesso una pesante validazione umana e faticano a gestire i vincoli specifici delle interfacce FMU (ad esempio, variabili esposte limitate e dati in serie temporali continue).

Metodologia: AgenticMeta
Gli autori propongono AgenticMeta, un flusso di lavoro multi-agente basato su LLM progettato per automatizzare il test metamorfico basato su specifiche per simulazioni basate su FMU. Il sistema orchestra un'architettura "hub-and-spoke" in cui un Nodo Coordinatore gestisce uno stato grafico condiviso e dirige agenti specializzati attraverso quattro fasi iterative:

1. Fase di Estrazione:
   • Agente Estrattore: Converte le specifiche funzionali (PDF) in Markdown strutturato ed estrae le proprietà del sistema. Analizza il modelDescription.xml dalla FMU per identificare input, output, parametri e vincoli. L'output è un JSON strutturato contenente condizioni di test e definizioni di variabili.
2. Fase di Generazione e Rifinitura delle MR:
   • Agente Generatore di MR: Utilizza le conoscenze estratte per proporre MR candidate. Queste sono formattate secondo pattern Given–When–Then (GWT):
     • Given: Condizioni iniziali per gli input seed.
     • When: Trasformazioni metamorfiche (ad esempio, "aumento", "rampa") applicate agli input.
     • Then: Relazioni di output attese (ad esempio, "Aumenta Eventualmente", "Proporzionale a").
   • Agente Rifinitore di MR: Convalida le MR generate contro le specifiche originali e i dati di estrazione. Verifica la correttezza fattuale, la validità causale e la testabilità. Le MR che falliscono la convalida vengono o rifinite con feedback o scartate. Questa separazione tra generazione e rifinitura mira a migliorare stabilità e accuratezza.
3. Fase di Generazione del Test:
   • Agente Generatore di Test: Converte i pattern GWT rifiniti in segnali di input in serie temporali concreti. Applica algoritmi di campionamento per generare input seed e di follow-up, assicurando che le trasformazioni avvengano all'interno di finestre di simulazione valide (ad esempio, vicino all'inizio della simulazione).
   • Agente Validatore di Test: Esegue controlli sui limiti, convalida dei tipi di dati e garantisce che i casi di test aderiscano ai vincoli specifici della simulazione prima dell'esecuzione.
4. Fase di Esecuzione e Valutazione:
   • Strumenti deterministici eseguono gli input in serie temporali generati contro la FMU utilizzando la libreria FMPy.
   • Il sistema valuta la coerenza dell'output rispetto alle MR.
   • Analisi delle Mutazioni: Per valutare la qualità del test senza accesso al codice interno, il sistema applica operatori di mutazione (Specchio, Incrocio, Polinomiale) alle serie temporali di output registrate dei test superati. Il punteggio di mutazione è calcolato in base alla capacità delle MR di rilevare questi errori iniettati.

Contributi Chiave

• Flusso di Lavoro Multi-Agente Automatizzato: Una pipeline innovativa che integra l'estrazione dei requisiti, la generazione/rifinitura delle MR e l'esecuzione dei test specificamente per simulazioni dinamiche basate su FMU.
• MR Strutturate in GWT: L'approccio specifica le MR utilizzando pattern Given–When–Then, il che facilita l'elaborazione da parte degli LLM e garantisce trasformazioni degli input e relazioni di output strutturate.
• Fattibilità End-to-End: Il sistema automatizza l'intero processo, dall'estrazione delle specifiche all'analisi delle mutazioni, colmando il vuoto nella letteratura esistente dove gli LLM sono spesso utilizzati solo per la generazione di candidati senza un'integrazione completa del flusso di lavoro.
• Meccanismi di Stabilità: Separando la generazione delle MR dalla rifinitura e utilizzando un coordinatore per gestire lo stato, l'approccio mitiga l'instabilità e il non-determinismo spesso associati alle pipeline basate su LLM.

Risultati Sperimentali
L'approccio è stato valutato su una FMU di un sistema di Raffreddamento dell'Olio Lubrificante (LOC) in 10 sessioni indipendenti.

• Esecuzione: Il flusso di lavoro ha completato con successo tutte le fasi (estrazione, generazione, esecuzione, analisi) in tutte le sessioni.
• Copertura: Il sistema ha raggiunto una copertura dei requisiti media del 60,47%, generando una media di 15,8 MR e 55,7 casi di test per esecuzione.
• Qualità del Test: Il tasso di superamento dei test medio è stato del 74,10%. Gli autori notano che i fallimenti erano spesso dovuti a problemi di assestamento temporale o intervalli di tolleranza piuttosto che a errori logici fondamentali.
• Punteggio di Mutazione: Il punteggio di mutazione medio è stato 0,56, indicando che le MR generate hanno rilevato con successo il 56% delle mutazioni di output iniettate.
• Tempo di Esecuzione: Il tempo medio per caso di test è stato di circa 2,72 secondi per la generazione e 17,12 secondi per l'esecuzione. La fase di generazione e rifinitura delle MR è stata identificata come il collo di bottiglia principale, con una media di 43,95 secondi per MR accettata.

Significato e Limitazioni
Il documento afferma che AgenticMeta dimostra la fattibilità dell'automazione del test metamorfico per simulazioni basate su FMU, riducendo significativamente lo sforzo manuale nella derivazione degli oracoli di test. I risultati suggeriscono che il flusso di lavoro può generare sistematicamente MR significative e test eseguibili, supportando la verifica di modelli di simulazione dinamica.

Tuttavia, gli autori riconoscono modestamente diverse limitazioni:

• Vincoli di Copertura: Non tutti i requisiti potevano essere convertiti in MR valide, in particolare quelli che descrivono comportamenti generici o output non direttamente controllabili dagli input FMU esposti.
• Dipendenza dalle Specifiche: La qualità dell'output è direttamente legata alla chiarezza e completezza delle specifiche funzionali di input e del modelDescription.xml.
• Portata dell'Analisi delle Mutazioni: Il punteggio di mutazione riflette la sensibilità alle deviazioni dell'output piuttosto che una piena capacità di rilevamento dei difetti contro difetti di implementazione, poiché le mutazioni sono state applicate agli output registrati e non al binario FMU.
• Generalizzabilità: La valutazione è stata condotta su un singolo caso di studio (sistema LOC) e i risultati potrebbero non generalizzarsi a modelli con logiche di controllo o strutture di interfaccia molto diverse.

Il documento conclude che, sebbene l'approccio rappresenti un passo significativo verso la verifica automatizzata, i lavori futuri si concentreranno sul rendere il Coordinatore un agente LLM adattivo e sul rifinire gli operatori di mutazione per allinearli meglio alle semantica delle MR.