Multi-Agent Specification-based Metamorphic Testing of FMU-Based Simulations

Résumé Technique : Tests Métamorphiques Basés sur les Spécifications Multi-Agents pour les Simulations Fondées sur des FMU

Énoncé du Problème
Dans la conception moderne basée sur des modèles industriels, la norme Functional Mock-up Interface (FMI) facilite l'échange de modèles de simulation sous forme d'Unités de Mock-up Fonctionnelles (FMU) entre divers outils et partenaires. Bien que cela permette une vérification basée sur la simulation, la validation de ces modèles présente un défi majeur : le « problème de l'oracle de test ». Les FMU encapsulent souvent des binaires sans code source, et leur logique interne est opaque, empêchant les tests traditionnels reposant sur l'inspection de l'état interne. De plus, des sorties attendues explicites sont rarement définies, car les tests sont généralement effectués manuellement par des experts du domaine.

Les Tests Métamorphiques (MT) offrent une solution en vérifiant les systèmes dépourvus d'oracles explicites grâce à des Relations Métamorphiques (MR) — des propriétés définissant comment les sorties doivent changer en réponse à des transformations spécifiques des entrées. Cependant, dériver des MR efficaces à partir de spécifications fonctionnelles et d'interfaces reste un processus manuel et sujet aux erreurs. Les approches existantes manquent d'un flux de travail automatisé et complet qui, à partir des spécifications, génère des MR et exécute des tests spécifiquement pour des environnements contraints par les FMU. En outre, si les Modèles de Langage (LLM) montrent des promesses pour générer des MR, ils nécessitent souvent une validation humaine lourde et peinent à gérer les contraintes spécifiques des interfaces FMU (par exemple, variables exposées limitées et données de séries temporelles continues).

Méthodologie : AgenticMeta
Les auteurs proposent AgenticMeta, un flux de travail multi-agents piloté par un LLM conçu pour automatiser les tests métamorphiques basés sur les spécifications pour les simulations fondées sur des FMU. Le système orchestre une architecture « hub-and-spoke » où un Nœud Coordinateur gère un état de graphe partagé et dirige des agents spécialisés à travers quatre phases itératives :

1. Phase d'Extraction :
   • Agent Extracteur : Convertit les spécifications fonctionnelles (PDF) en Markdown structuré et extrait les propriétés du système. Il analyse le fichier modelDescription.xml de la FMU pour identifier les entrées, les sorties, les paramètres et les contraintes. La sortie est un JSON structuré contenant les conditions de test et les définitions de variables.
2. Phase de Génération et de Raffinement des MR :
   • Agent Générateur de MR : Utilise les connaissances extraites pour proposer des MR candidates. Celles-ci sont formatées selon des motifs Given–When–Then (GWT) :
     • Given : Conditions initiales pour les entrées de départ.
     • When : Transformations métamorphiques (par exemple, « augmentation », « rampe ») appliquées aux entrées.
     • Then : Relations de sortie attendues (par exemple, « Augmente éventuellement », « Proportionnel à »).
   • Agent Affineur de MR : Valide les MR générées par rapport aux spécifications originales et aux données d'extraction. Il vérifie la correction factuelle, la validité causale et la testabilité. Les MR échouant à la validation sont soit affinées avec des retours d'information, soit abandonnées. Cette séparation entre génération et raffinement vise à améliorer la stabilité et la précision.
3. Phase de Génération de Tests :
   • Agent Générateur de Tests : Convertit les motifs GWT affinés en signaux d'entrée de séries temporelles concrets. Il applique des algorithmes d'échantillonnage pour générer des entrées de départ et de suivi, garantissant que les transformations se produisent dans des fenêtres de simulation valides (par exemple, près du début de la simulation).
   • Agent Validateur de Tests : Effectue des vérifications de limites, une validation des types de données et s'assure que les cas de test respectent les contraintes spécifiques à la simulation avant l'exécution.
4. Phase d'Exécution et d'Évaluation :
   • Des outils déterministes exécutent les entrées de séries temporelles générées contre la FMU en utilisant la bibliothèque FMPy.
   • Le système évalue la cohérence des sorties par rapport aux MR.
   • Analyse par Mutation : Pour évaluer la qualité des tests sans accès au code interne, le système applique des opérateurs de mutation (Miroir, Croisement, Polynôme) aux séries temporelles de sortie enregistrées des tests réussis. Le score de mutation est calculé en fonction de la capacité des MR à détecter ces fautes injectées.

Contributions Clés

• Flux de Travail Multi-Agents Automatisé : Un pipeline novateur intégrant l'extraction des exigences, la génération/le raffinement des MR et l'exécution des tests spécifiquement pour les simulations dynamiques basées sur des FMU.
• MR Structurées en GWT : L'approche spécifie les MR en utilisant des motifs Given–When–Then, ce qui facilite le traitement par les LLM et assure des transformations d'entrée structurées et des relations de sortie.
• Faisabilité de Bout en Bout : Le système automatise l'ensemble du processus, de la spécification à l'analyse par mutation, comblant ainsi le vide dans la littérature existante où les LLM sont souvent utilisés uniquement pour la génération de candidats sans intégration complète du flux de travail.
• Mécanismes de Stabilité : En séparant la génération des MR de leur raffinement et en utilisant un coordinateur pour gérer l'état, l'approche atténue l'instabilité et le non-déterminisme souvent associés aux pipelines basés sur les LLM.

Résultats Expérimentaux
L'approche a été évaluée sur une FMU de système de Refroidissement d'Huile Lubrifiante (LOC) sur 10 sessions indépendantes.

• Exécution : Le flux de travail a terminé avec succès toutes les phases (extraction, génération, exécution, analyse) lors de toutes les sessions.
• Couverture : Le système a atteint une couverture des exigences moyenne de 60,47 %, générant en moyenne 15,8 MR et 55,7 cas de test par exécution.
• Qualité des Tests : Le taux de réussite des tests moyen était de 74,10 %. Les auteurs notent que les échecs étaient souvent dus à des problèmes de stabilisation temporelle ou à des plages de tolérance plutôt qu'à des erreurs de logique fondamentales.
• Score de Mutation : Le score de mutation moyen était de 0,56, indiquant que les MR générées ont détecté avec succès 56 % des mutations de sortie injectées.
• Temps d'Exécution : Le temps moyen par cas de test était d'environ 2,72 secondes pour la génération et 17,12 secondes pour l'exécution. La phase de génération et de raffinement des MR a été identifiée comme le goulot d'étranglement principal, avec une moyenne de 43,95 secondes par MR acceptée.

Signification et Limites
L'article affirme qu'AgenticMeta démontre la faisabilité de l'automatisation des tests métamorphiques pour les simulations basées sur des FMU, réduisant considérablement l'effort manuel dans la dérivation des oracles de test. Les résultats suggèrent que le flux de travail peut générer systématiquement des MR significatives et des tests exécutables, soutenant ainsi la vérification des modèles de simulation dynamique.

Cependant, les auteurs reconnaissent modestement plusieurs limites :

• Contraintes de Couverture : Toutes les exigences n'ont pas pu être converties en MR valides, en particulier celles décrivant des comportements génériques ou des sorties non directement contrôlables par les entrées exposées de la FMU.
• Dépendance aux Spécifications : La qualité de la sortie est directement liée à la clarté et à l'exhaustivité des spécifications fonctionnelles d'entrée et du fichier modelDescription.xml.
• Portée de l'Analyse par Mutation : Le score de mutation reflète la sensibilité aux écarts de sortie plutôt qu'une capacité complète de détection de défauts contre des défauts d'implémentation, car les mutations ont été appliquées aux sorties enregistrées plutôt qu'au binaire FMU.
• Généralisabilité : L'évaluation a été menée sur une seule étude de cas (système LOC), et les conclusions peuvent ne pas être généralisables à des modèles présentant des logiques de contrôle ou des structures d'interfaces radicalement différentes.

L'article conclut que, bien que cette approche constitue une étape significative vers la vérification automatisée, les travaux futurs se concentreront sur la transformation du Coordinateur en un agent LLM adaptatif et sur l'affinement des opérateurs de mutation pour mieux s'aligner sur la sémantique des MR.