Using Large Language Models for Black-Box Testing of FMU-Based Simulations

A continuación se presenta un resumen técnico detallado del artículo "Uso de Modelos de Lenguaje de Gran Escala para la Prueba de Caja Negra de Simulaciones Basadas en FMU".

1. Declaración del Problema

Los sistemas de ingeniería modernos dependen en gran medida del diseño basado en modelos utilizando Unidades de Simulación Funcional (FMU) para simulación y cosimulación. Las FMU encapsulan binarios del modelo y descripciones, pero ocultan las ecuaciones internas y los detalles del solucionador, lo que hace inviable las pruebas de caja blanca tradicionales. En consecuencia, la verificación debe basarse en pruebas de caja negra, lo que requiere definir escenarios de prueba complejos basados únicamente en especificaciones funcionales y descripciones de interfaz.

• Desafío: Definir manualmente diversos escenarios de prueba, series temporales de entrada y comportamientos de salida esperados (oráculos) para sistemas dinámicos es laborioso, propenso a errores y difícil de escalar.
• Brecha: Los métodos de prueba automatizada existentes a menudo requieren acceso a estructuras internas del modelo (por ejemplo, internos de Simulink) o carecen de mecanismos para generar objetivos de prueba legibles por humanos y específicos del dominio para FMU de caja negra.

2. Metodología

Los autores proponen un marco de trabajo Humano-en-el-Bucle (HITL) que aprovecha los Modelos de Lenguaje de Gran Escala (LLM) para automatizar la generación de escenarios de prueba de caja negra. El enfoque sigue una jerarquía de abstracción de tres niveles: Intención (Objetivos) $\rightarrow$ Plantillas (Planes) $\rightarrow$ Series Temporales Ejecutables (Escenarios).

A. Descripción General del Flujo de Trabajo

1. Entrada: Una FMU compatible con FMI (específicamente modelDescription.xml) y documentos de especificación funcional.
2. Extracción por LLM: El LLM extrae restricciones de E/S (nombres de variables, unidades, rangos) de los metadatos.
3. Generación de Escenarios (Fases Iterativas):
   • Fase 1: Generación de Objetivos: El LLM genera objetivos de prueba de alto nivel en formato Dado-Cuando-Entonces (GWT) (sintaxis Gherkin). Estos objetivos describen precondiciones cualitativas, perturbaciones y tendencias de comportamiento esperadas (por ejemplo, "aumento monótono", "se estabiliza en el punto de ajuste").
   • Fase 2: Generación de Planes: Los objetivos aprobados se convierten en Planes de Escenario concretos. El LLM define patrones de entrada específicos (constante, escalón, rampa), magnitudes, temporización y oráculos de aserción formales (por ejemplo, acotado, cruza_por_arriba, se_estabiliza_en) con umbrales numéricos derivados de las restricciones.
   • Fase 3: Instanciación del Escenario: Los planes se convierten en series temporales ejecutables utilizando Muestreo Hipercúbico Latino (LHS) con una semilla aleatoria fija para garantizar una generación determinista y la eliminación de duplicados.
4. Humano-en-el-Bucle: Un experto del dominio revisa los objetivos y planes en cada etapa para validar la viabilidad, la seguridad y la lógica del dominio antes de la ejecución.
5. Ejecución y Evaluación: La FMU se simula utilizando las entradas generadas. Las aserciones se evalúan frente a las salidas registradas para producir veredictos de aprobado/reprobado.

B. Mecanismos Técnicos Clave

• Ingeniería de Prompts: El sistema utiliza prompts basados en esquemas con esquemas JSON estrictos, ejemplos de pocos disparos (few-shot) y definiciones de roles para garantizar salidas estructuradas y legibles por máquinas.
• Control de Temperatura: Se emplea una estrategia de temperatura dividida:
  • Alta Temperatura (0.7) para la Generación de Objetivos para maximizar la diversidad y la creatividad.
  • Baja Temperatura (0.2) para la Generación de Planes para garantizar el determinismo y la precisión en los valores numéricos.
• Definición de Oráculos: En lugar de predecir valores numéricos exactos (lo cual es difícil para sistemas dinámicos), el LLM genera oráculos genéricos que describen tendencias (por ejemplo, "la salida se estabiliza en el objetivo dentro de la tolerancia $t$").
• Eliminación de Duplicados: Se utiliza un mecanismo de hash para detectar y eliminar objetivos, planes y escenarios duplicados entre ejecuciones para optimizar la eficiencia.

3. Contribuciones Clave

1. Marco HITL para FMU: Un flujo de trabajo novedoso que integra LLMs con la revisión de expertos del dominio específicamente para la prueba de caja negra de modelos de simulación encapsulados.
2. Generación Estructurada de Escenarios: Un método para traducir metadatos de FMU no estructurados en objetivos GWT estructurados y planes de series temporales ejecutables utilizando ingeniería de prompts y restricciones de esquemas.
3. Evaluación de Adecuación Basada en Mutación: Los autores introducen un método personalizado de análisis de mutación para evaluar la calidad de los escenarios generados. Dado que el código interno no está disponible, mutan las series temporales de salida de la FMU (por ejemplo, mutaciones de espejo, uniforme aleatoria, cruce, polinómicas) para crear "mutantes" y miden cuántos son "eliminados" (detectados como fallos) por el conjunto de pruebas generado.
4. Implementación Práctica: Una cadena de herramientas completa que demuestra la generación, ejecución y registro de escenarios de prueba para un sistema de refrigeración de aceite lubricante (LOC).

4. Resultados

El enfoque se evaluó en una FMU de un sistema de refrigeración de aceite lubricante (LOC).

• Precisión: Sin revisión humana, los escenarios generados por el LLM tuvieron una precisión promedio del 47% debido a alucinaciones y restricciones poco realistas. Con la validación de un experto del dominio, la precisión aumentó a casi 100%.
• Capacidad de Detección de Fallos:
  • Puntuación de Mutación: Los escenarios generados por el LLM alcanzaron una puntuación de mutación de 0.67 (eliminando 47 de 70 mutantes).
  • Comparación: Esto es comparable a los escenarios creados manualmente, que alcanzaron una puntuación de 0.685 (eliminando 48 mutantes).
  • Conclusión: El enfoque asistido por LLM genera escenarios con una capacidad de detección de fallos equivalente a las pruebas manuales.
• Eficiencia: El proceso de generación de extremo a extremo (restricciones, objetivos, planes) para un lote de 8–10 escenarios tomó menos de un minuto por ejecución.
• Cobertura: El enfoque generó escenarios adicionales y diversos más allá de lo que un experto humano creó manualmente, cubriendo diferentes variaciones de comportamiento.

5. Significado y Trabajo Futuro

• Significado: Este trabajo demuestra que los LLM pueden cerrar eficazmente la brecha entre especificaciones funcionales de alto nivel y casos de prueba ejecutables de bajo nivel para modelos de simulación de caja negra. Reduce significativamente el esfuerzo manual mientras mantiene una alta calidad de prueba mediante la supervisión humana.
• Limitaciones:
  • No determinismo: Las salidas de los LLM pueden variar entre ejecuciones incluso con semillas fijas, lo que requiere una eliminación de duplicados robusta.
  • Alucinaciones: El modelo aún puede generar rangos de parámetros poco realistas, lo que hace necesaria la revisión humana.
  • Confianza en los Oráculos: La validez de los oráculos cualitativos depende de la comprensión del LLM sobre la dinámica del sistema; umbrales incorrectos pueden conducir a falsos positivos/negativos.
• Direcciones Futuras: Extender el enfoque a la cosimulación (configuraciones de múltiples FMU) e implementar un bucle de aprendizaje activo donde el LLM se vuelva a preguntar a sí mismo basándose en fallos de simulación para refinar los casos de prueba futuros.

En resumen, el artículo presenta una metodología robusta y práctica para automatizar la prueba de simulaciones de ingeniería complejas, demostrando que los LLM, cuando se guían mediante prompts estrictos y experiencia humana, pueden servir como asistentes poderosos en la verificación y validación de sistemas de caja negra.