Multi-Agent Specification-based Metamorphic Testing of FMU-Based Simulations

Technische Samenvatting: Metamorfische Testen op Basis van Multi-Agent Specificaties voor FMU-gebaseerde Simulaties

Probleemstelling
In het moderne industriële modelgebaseerde ontwerp vergemakkelijkt de Functional Mock-up Interface (FMI)-standaard de uitwisseling van simulatiemodellen als Functional Mock-up Units (FMU's) tussen diverse tools en partners. Hoewel dit simulatiegebaseerde verificatie mogelijk maakt, vormt het valideren van deze modellen een aanzienlijke uitdaging: het "testorakel-probleem". FMU's bevatten vaak binaries zonder broncode, en hun interne logica is ondoorzichtig, waardoor traditionele testen die vertrouwen op inspectie van interne toestanden niet mogelijk zijn. Bovendien worden expliciete verwachte uitkomsten zelden gedefinieerd, aangezien testen doorgaans handmatig wordt uitgevoerd door domeinexperts.

Metamorfische Testen (MT) bieden een oplossing door systemen zonder expliciete orakels te verifiëren via Metamorfische Relaties (MR's) — eigenschappen die definiëren hoe uitkomsten moeten veranderen als reactie op specifieke invoertransformaties. Het afleiden van effectieve MR's uit functionele en interface-specificaties blijft echter een handmatig, foutgevoelig proces. Bestaande benaderingen missen een uitgebreide, geautomatiseerde workflow die begint bij specificaties, MR's genereert en testen uitvoert die specifiek zijn voor FMU-beperkte omgevingen. Bovendien tonen Large Language Models (LLM's) weliswaar potentie in het genereren van MR's, maar vereisen ze vaak zware menselijke validatie en worstelen ze met de specifieke beperkingen van FMU-interfaces (bijvoorbeeld beperkte blootgestelde variabelen en continue tijdreeksdata).

Methodologie: AgenticMeta
De auteurs stellen AgenticMeta voor, een door LLM's aangedreven multi-agent workflow die is ontworpen om specificatiegebaseerde metamorfische testen voor FMU-gebaseerde simulaties te automatiseren. Het systeem orchestreert een "hub-and-spoke"-architectuur waarbij een Coördinator Node een gedeelde grafstatus beheert en gespecialiseerde agents stuurt via vier iteratieve fasen:

1. Extrahatiefase:
   • Extractor Agent: Zet functionele specificaties (PDF) om naar gestructureerde Markdown en extraheert systeem eigenschappen. Het parsen van de modelDescription.xml uit de FMU identificeert invoer, uitvoer, parameters en beperkingen. De output is een gestructureerd JSON-bestand met testvoorwaarden en variabele definities.
2. MR-generatie en verfijningsfase:
   • MR Generator Agent: Gebruikt de geëxtraheerde kennis om kandidaat-MR's voor te stellen. Deze zijn opgemaakt in Given–When–Then (GWT) patronen:
     • Given: Initiële voorwaarden voor zaad-invoer.
     • When: Metamorfische transformaties (bijvoorbeeld "verhogen", "rampen") toegepast op invoer.
     • Then: Verwachte outputrelaties (bijvoorbeeld "Uiteindelijk Toeneemt", "Proportioneel aan").
   • MR Refiner Agent: Valideert de gegenereerde MR's tegen de oorspronkelijke specificaties en extrahatiedata. Het controleert op feitelijke juistheid, causale validiteit en testbaarheid. MR's die de validatie niet halen, worden ofwel verfijnd met feedback of verworpen. Deze scheiding van generatie en verfijning beoogt stabiliteit en nauwkeurigheid te verbeteren.
3. Testgeneratiefase:
   • Test Generator Agent: Zet de verfijnde GWT-patronen om naar concrete tijdreeks-invoersignalen. Het past bemonsteringsalgoritmen toe om zaad- en vervolginvoer te genereren, waarbij wordt gegarandeerd dat transformaties plaatsvinden binnen geldige simulatiewinsters (bijvoorbeeld nabij het begin van de simulatie).
   • Test Validator Agent: Voert grenswaardecontroles uit, valideert datatypes en zorgt ervoor dat de testcases voorafgaand aan uitvoering voldoen aan simulatiespecifieke beperkingen.
4. Uitvoerings- en evaluatiefase:
   • Deterministische tools voeren de gegenereerde tijdreeks-invoer uit op de FMU met behulp van de FMPy-bibliotheek.
   • Het systeem evalueert de outputconsistentie tegen de MR's.
   • Mutatieanalyse: Om testkwaliteit te beoordelen zonder toegang tot interne code, past het systeem mutatieoperatoren (Mirror, Crossover, Polynoom) toe op de opgenomen outputtijdreeksen van geslaagde testen. De mutatiescore wordt berekend op basis van het vermogen van de MR's om deze geïnjecteerde fouten te detecteren.

Belangrijkste Bijdragen

• Geautomatiseerde Multi-Agent Workflow: Een innovatieve pijplijn die requirement-extractie, MR-generatie/verfijning en testuitvoering integreert, specifiek voor FMU-gebaseerde dynamische simulaties.
• GWT-gestructureerde MR's: De benadering specificeert MR's met Given–When–Then patronen, wat LLM-verwerking faciliteert en gestructureerde invoertransformaties en outputrelaties garandeert.
• End-to-End Haalbaarheid: Het systeem automatiseert het volledige proces van specificatie tot mutatieanalyse, waardoor de kloof in de bestaande literatuur wordt gedicht waar LLM's vaak alleen worden gebruikt voor kandidaatgeneratie zonder volledige workflow-integratie.
• Stabiliteitsmechanismen: Door MR-generatie te scheiden van verfijning en een coördinator te gebruiken voor statusbeheer, mitigeert de benadering de instabiliteit en niet-determinisme die vaak geassocieerd worden met op LLM's gebaseerde pijplijnen.

Experimentele Resultaten
De benadering werd geëvalueerd op een Lubricating Oil Cooling (LOC) systeem-FMU over 10 onafhankelijke sessies.

• Uitvoering: De workflow slaagde erin alle fasen (extractie, generatie, uitvoering, analyse) in alle sessies succesvol af te ronden.
• Dekking: Het systeem bereikte een gemiddelde requirement-dekking van 60,47%, met een gemiddelde productie van 15,8 MR's en 55,7 testcases per run.
• Testkwaliteit: Het gemiddelde testslaagpercentage was 74,10%. De auteurs merken op dat mislukkingen vaak het gevolg waren van tijdsgebonden instelproblemen of tolerantiebereiken in plaats van fundamentele logische fouten.
• Mutatiescore: De gemiddelde mutatiescore was 0,56, wat aangeeft dat de gegenereerde MR's 56% van de geïnjecteerde outputmutaties succesvol detecteerden.
• Tijdsduur: De gemiddelde tijd per testcase was ongeveer 2,72 seconden voor generatie en 17,12 seconden voor uitvoering. De MR-generatie- en verfijningsfase werd geïdentificeerd als de primaire knelpunt, met een gemiddelde van 43,95 seconden per geaccepteerde MR.

Betekenis en Beperkingen
Het artikel stelt dat AgenticMeta de haalbaarheid demonstreert van het automatiseren van metamorfische testen voor FMU-gebaseerde simulaties, wat de handmatige inspanning bij het afleiden van testorakels aanzienlijk reduceert. De resultaten suggereren dat de workflow systematisch betekenisvolle MR's en uitvoerbare testen kan genereren, wat de verificatie van dynamische simulatiemodellen ondersteunt.

Echter, de auteurs erkennen nederig enkele beperkingen:

• Dekkingsbeperkingen: Niet alle requirements konden worden omgezet in geldige MR's, met name die welke generiek gedrag beschrijven of uitkomsten die niet direct controleerbaar zijn via blootgestelde FMU-invoer.
• Afhankelijkheid van Specificaties: De kwaliteit van de output is direct gekoppeld aan de duidelijkheid en volledigheid van de invoer functionele specificaties en de modelDescription.xml.
• Scope van Mutatieanalyse: De mutatiescore weerspiegelt gevoeligheid voor outputafwijkingen in plaats van een volledige foutdetectiecapaciteit tegen implementatiefouten, aangezien mutaties werden toegepast op opgenomen outputs in plaats van de FMU-binary.
• Generaliseerbaarheid: De evaluatie werd uitgevoerd op één case study (LOC-systeem), en de bevindingen zijn mogelijk niet generaliseerbaar naar modellen met sterk verschillende besturingslogica of interfacestructuren.

Het artikel concludeert dat hoewel de benadering een significante stap is naar geautomatiseerde verificatie, toekomstig werk zich zal richten op het maken van de Coördinator tot een adaptieve LLM-agent en het verfijnen van mutatieoperatoren om beter aan te sluiten bij MR-semantiek.