Multi-Agent Specification-based Metamorphic Testing of FMU-Based Simulations

Resumen Técnico: Pruebas Metamórficas Basadas en Especificación Multi-Agente de Simulaciones Basadas en FMU

Enunciado del Problema
En el diseño industrial moderno basado en modelos, el estándar de Interfaz de Prototipos Funcionales (FMI) facilita el intercambio de modelos de simulación como Unidades de Prototipos Funcionales (FMU) entre diversas herramientas y socios. Si bien esto permite la verificación basada en simulación, validar estos modelos presenta un desafío significativo: el "problema del oráculo de prueba". Las FMU a menudo encapsulan binarios sin código fuente, y su lógica interna es opaca, lo que impide las pruebas tradicionales que dependen de la inspección del estado interno. Además, las salidas esperadas explícitas rara vez están definidas, ya que las pruebas suelen realizarse manualmente por expertos en la materia.

Las Pruebas Metamórficas (MT) ofrecen una solución al verificar sistemas que carecen de oráculos explícitos mediante Relaciones Metamórficas (MR), propiedades que definen cómo deben cambiar las salidas en respuesta a transformaciones específicas de las entradas. Sin embargo, derivar MR efectivas a partir de especificaciones funcionales e interfaces sigue siendo un proceso manual y propenso a errores. Los enfoques existentes carecen de un flujo de trabajo automatizado y exhaustivo que parta de las especificaciones, genere MR y ejecute pruebas específicamente para entornos restringidos por FMU. Además, aunque los Modelos de Lenguaje Grandes (LLM) muestran promesa en la generación de MR, a menudo requieren una validación humana intensiva y luchan con las restricciones específicas de las interfaces de FMU (por ejemplo, variables expuestas limitadas y datos de series temporales continuas).

Metodología: AgenticMeta
Los autores proponen AgenticMeta, un flujo de trabajo multi-agente impulsado por LLM diseñado para automatizar las pruebas metamórficas basadas en especificaciones para simulaciones basadas en FMU. El sistema orquesta una arquitectura de "centro y radios" donde un Nodo Coordinador gestiona un estado de grafo compartido y dirige agentes especializados a través de cuatro fases iterativas:

1. Fase de Extracción:
   • Agente Extractor: Convierte las especificaciones funcionales (PDF) en Markdown estructurado y extrae las propiedades del sistema. Analiza el modelDescription.xml de la FMU para identificar entradas, salidas, parámetros y restricciones. La salida es un JSON estructurado que contiene condiciones de prueba y definiciones de variables.
2. Fase de Generación y Refinamiento de MR:
   • Agente Generador de MR: Utiliza el conocimiento extraído para proponer MR candidatas. Estas se formatean en patrones Dado-Cuando-Entonces (GWT):
     • Dado: Condiciones iniciales para entradas semilla.
     • Cuando: Transformaciones metamórficas (por ejemplo, "aumentar", "rampa") aplicadas a las entradas.
     • Entonces: Relaciones de salida esperadas (por ejemplo, "Finalmente Aumenta", "Proporcional a").
   • Agente Refinador de MR: Valida las MR generadas contra las especificaciones originales y los datos de extracción. Verifica la corrección factual, la validez causal y la testabilidad. Las MR que fallan la validación se refinan con retroalimentación o se descartan. Esta separación entre generación y refinamiento busca mejorar la estabilidad y la precisión.
3. Fase de Generación de Pruebas:
   • Agente Generador de Pruebas: Convierte los patrones GWT refinados en señales de entrada de series temporales concretas. Aplica algoritmos de muestreo para generar entradas semilla y de seguimiento, asegurando que las transformaciones ocurran dentro de ventanas de simulación válidas (por ejemplo, cerca del inicio de la simulación).
   • Agente Validador de Pruebas: Realiza comprobaciones de límites, validación de tipos de datos y asegura que los casos de prueba se adhieran a las restricciones específicas de la simulación antes de la ejecución.
4. Fase de Ejecución y Evaluación:
   • Herramientas deterministas ejecutan las entradas de series temporales generadas contra la FMU utilizando la biblioteca FMPy.
   • El sistema evalúa la consistencia de la salida frente a las MR.
   • Análisis de Mutación: Para evaluar la calidad de las pruebas sin acceso al código interno, el sistema aplica operadores de mutación (Espejo, Cruce, Polinomial) a la serie temporal de salida registrada de las pruebas aprobadas. La puntuación de mutación se calcula en función de la capacidad de las MR para detectar estos fallos inyectados.

Contribuciones Clave

• Flujo de Trabajo Multi-Agente Automatizado: Una nueva tubería que integra la extracción de requisitos, la generación/refinamiento de MR y la ejecución de pruebas específicamente para simulaciones dinámicas basadas en FMU.
• MR Estructuradas en GWT: El enfoque especifica las MR utilizando patrones Dado-Cuando-Entonces, lo que facilita el procesamiento por LLM y asegura transformaciones de entrada y relaciones de salida estructuradas.
• Viabilidad de Extremo a Extremo: El sistema automatiza todo el proceso, desde la especificación hasta el análisis de mutación, abordando la brecha en la literatura existente donde los LLM a menudo se utilizan solo para la generación de candidatos sin integración completa del flujo de trabajo.
• Mecanismos de Estabilidad: Al separar la generación de MR del refinamiento y utilizar un coordinador para gestionar el estado, el enfoque mitiga la inestabilidad y la no determinismo a menudo asociados con las tuberías basadas en LLM.

Resultados Experimentales
El enfoque se evaluó en una FMU de un sistema de Refrigeración de Aceite Lubricante (LOC) a través de 10 sesiones independientes.

• Ejecución: El flujo de trabajo completó con éxito todas las fases (extracción, generación, ejecución, análisis) en todas las sesiones.
• Cobertura: El sistema logró una cobertura de requisitos promedio del 60,47%, generando un promedio de 15,8 MR y 55,7 casos de prueba por ejecución.
• Calidad de las Pruebas: La tasa de aprobación de pruebas promedio fue del 74,10%. Los autores señalan que los fallos se debían a menudo a problemas de asentamiento temporal o rangos de tolerancia en lugar de errores de lógica fundamental.
• Puntuación de Mutación: La puntuación de mutación promedio fue de 0,56, lo que indica que las MR generadas detectaron con éxito el 56% de las mutaciones de salida inyectadas.
• Tiempo de Ejecución: El tiempo promedio por caso de prueba fue de aproximadamente 2,72 segundos para la generación y 17,12 segundos para la ejecución. La fase de generación y refinamiento de MR se identificó como el principal cuello de botella, promediando 43,95 segundos por MR aceptada.

Significado y Limitaciones
El artículo afirma que AgenticMeta demuestra la viabilidad de automatizar las pruebas metamórficas para simulaciones basadas en FMU, reduciendo significativamente el esfuerzo manual en la derivación de oráculos de prueba. Los resultados sugieren que el flujo de trabajo puede generar sistemáticamente MR significativas y pruebas ejecutables, apoyando la verificación de modelos de simulación dinámica.

Sin embargo, los autores reconocen modestamente varias limitaciones:

• Restricciones de Cobertura: No todos los requisitos pudieron convertirse en MR válidas, particularmente aquellos que describen comportamientos genéricos o salidas no controlables directamente por las entradas de FMU expuestas.
• Dependencia de las Especificaciones: La calidad de la salida está directamente ligada a la claridad y completitud de las especificaciones funcionales de entrada y del modelDescription.xml.
• Alcance del Análisis de Mutación: La puntuación de mutación refleja la sensibilidad a las desviaciones de salida en lugar de una capacidad completa de detección de fallos contra defectos de implementación, ya que las mutaciones se aplicaron a salidas registradas y no al binario de la FMU.
• Generalizabilidad: La evaluación se realizó en un único estudio de caso (sistema LOC), y los hallazgos podrían no generalizarse a modelos con lógica de control o estructuras de interfaz muy diferentes.

El artículo concluye que, aunque el enfoque es un paso significativo hacia la verificación automatizada, el trabajo futuro se centrará en convertir al Coordinador en un agente LLM adaptativo y en refinar los operadores de mutación para alinearse mejor con la semántica de las MR.