Designing FSMs Specifications from Requirements with GPT 4.0

A continuación presento un resumen técnico detallado del artículo "Designing FSMs Specifications from Requirements with GPT 4.0", estructurado según los puntos solicitados.

1. El Problema

El diseño de especificaciones formales (como Máquinas de Estado Finito o FSM) a partir de requisitos escritos en lenguaje natural es una tarea crítica en la ingeniería de sistemas basada en modelos (MDE). Estas especificaciones son fundamentales para la generación de código, pruebas y verificación. Sin embargo, el proceso manual es lento y propenso a errores.

El problema central abordado es la calidad de las especificaciones generadas automáticamente. Si la FSM generada es de baja calidad, aumentan los fallos que sobreviven a la fase de pruebas, elevando el riesgo de fallos catastróficos en producción. Aunque los Modelos de Lenguaje Grandes (LLM) como GPT-4 han demostrado capacidad para generar especificaciones, no existe un enfoque robusto para:

1. Evaluar automáticamente la precisión de estas FSM generadas.
2. Reparar las especificaciones defectuosas de manera eficiente sin intervención humana excesiva.
3. Determinar si los LLM pueden corregir sus propios errores mediante prompting iterativo.

2. Metodología

Los autores proponen un marco de trabajo que combina el uso de GPT-4 con técnicas formales de ingeniería de software. La metodología se divide en tres fases principales:

A. Generación de Datos Simulados

Dado que los datos reales son escasos o confidenciales, se desarrolló un módulo en Python para generar:

• Oráculos FSM: Máquinas de Estado Finito Deterministas (DFSM) aleatorias que actúan como la "verdad absoluta".
• Descripciones Textuales: Se generan descripciones en inglés de estas FSM utilizando patrones sintácticos aleatorios que imitan requisitos naturales (sin palabras clave estrictas), lo que aumenta la dificultad para el LLM.

B. Generación con GPT-4

Se utiliza ingeniería de prompts (prompt engineering) para instruir a GPT-4o (una variante de GPT-4) para que convierta las descripciones textuales en un formato estructurado (CSV) que representa la FSM (Estados, Entradas, Salidas, Siguientes Estados). Se evalúa la capacidad del modelo para producir máquinas deterministas y completas.

C. Evaluación y Reparación

Se proponen cuatro enfoques para detectar y reparar errores en las FSM generadas:

1. Enfoque Basado en Fallos Sintácticos:

   • Compara directamente la FSM generada con el oráculo (experto humano simulado).
   • Identifica fallos como: transiciones adicionales, transiciones faltantes, errores de salida local y errores de transferencia.
   • Reparación: Se construye un prompt de reparación que instruye al LLM para añadir transiciones faltantes y eliminar las incorrectas basándose en la lista de errores sintácticos.

2. Enfoque Basado en Secuencias de Distinguido (Distinguishing Sequences):

   • Utiliza secuencias de entrada/salida que diferencian el comportamiento de la FSM generada del oráculo.
   • Reparación: Se envían al LLM las secuencias de entrada que producen salidas incorrectas, solicitando que corrija el comportamiento para que coincida con la salida esperada del oráculo.

3. Enfoque Basado en Secuencias de Verificación (Checking Sequences):

   • Diseñado para escenarios más realistas donde el experto no conoce la estructura interna (estados/transiciones) de la FSM, solo el comportamiento esperado.
   • Se utiliza una única secuencia de verificación (larga y compleja) para probar el sistema.
   • Reparación: Si la salida de la FSM generada difiere de la esperada por el experto, se genera un nuevo prompt con la corrección de esa secuencia específica.

4. Enfoque Basado en Modelos de Fallo (Fault Models) y Mutación:

   • Se asume un conocimiento previo de los tipos de errores más comunes que comete GPT-4 (basado en observaciones empíricas, como errores de salida y transiciones faltantes).
   • Se construye una Máquina de Mutación que define un "dominio de reparación" (un espacio de búsqueda que contiene todas las FSM posibles corregidas mediante parches plausibles).
   • Reparación: En lugar de pedirle al LLM que reescriba la FSM, se utiliza un algoritmo de minería (basado en SAT) que interactúa con un experto (o oráculo) mediante consultas de salida para seleccionar la FSM correcta dentro del dominio de mutación.

3. Contribuciones Clave

• Marco de Evaluación LLM-FSM: Propone un método sistemático para evaluar la capacidad de GPT-4 en la generación de especificaciones formales a partir de texto, utilizando datos simulados representativos.
• Técnicas de Reparación Iterativa: Desarrolla y compara cuatro estrategias de reparación, desde la corrección sintáctica directa hasta métodos semánticos avanzados y minería de modelos.
• Análisis de Fallos Específicos: Identifica que los errores más frecuentes de GPT-4 son fallos de salida y transiciones faltantes, lo que permite construir modelos de fallo específicos para la reparación.
• Validación Empírica: Proporciona resultados experimentales cuantitativos sobre la tasa de éxito de la generación y reparación en FSM de diferentes tamaños (5, 10 y 25 estados).

4. Resultados Experimentales

• Generación Inicial: GPT-4 logra generar FSM correctas en muchos casos, pero la tasa de errores aumenta con el número de estados y la complejidad de las entradas/salidas. Los errores más comunes son de tipo 3 (salida incorrecta) y tipo 2 (transición faltante).
• Reparación Sintáctica: Fue la más efectiva (100% de éxito en los casos probados). Al proporcionar al LLM una lista explícita de transiciones a añadir o eliminar, el modelo corrige casi todas las especificaciones en pocas iteraciones.
• Reparación Semántica (Secuencias de Distinguido): Mostró resultados pobres (0% de éxito en máquinas de 10 estados). Se concluye que el mecanismo de atención del LLM tiene dificultades para procesar grandes volúmenes de información de secuencias de entrada/salida complejas en un solo prompt.
• Reparación con Secuencias de Verificación: Resultados moderados (40% de éxito). El cálculo de estas secuencias es costoso computacionalmente y las secuencias largas dificultan la comprensión del LLM.
• Reparación por Modelos de Fallo: Fue altamente efectiva (100% de éxito). Al delimitar el espacio de búsqueda a través de mutaciones basadas en fallos conocidos y usar minería formal guiada por expertos, se logra la especificación correcta sin depender de la capacidad del LLM para "re-pensar" la lógica completa.

5. Significado e Implicaciones

El estudio demuestra que, aunque los LLM como GPT-4 son herramientas poderosas para la generación inicial de especificaciones formales, no son infalibles y su precisión disminuye a medida que aumenta la complejidad del sistema.

• Limitaciones de los LLM: Los modelos actuales carecen de la capacidad de análisis "inteligente" profundo para manejar grandes cantidades de información de comportamiento (secuencias de prueba) en un solo paso.
• Hibridación Necesaria: El futuro de la ingeniería de requisitos asistida por IA no es la automatización total, sino un enfoque híbrido. La combinación de la generación rápida de LLM con métodos formales de reparación (como la minería de modelos de fallo) y la validación experta es la vía más prometedora.
• Impacto en MDE: Este trabajo sienta las bases para integrar LLMs en flujos de trabajo de ingeniería de sistemas críticos, asegurando que las especificaciones generadas sean verificables y reparables, reduciendo así el riesgo de fallos en sistemas de producción.

En conclusión, el paper sugiere que la reparación basada en modelos de fallo y mutación es el enfoque más robusto y realista para corregir especificaciones generadas por IA, superando las limitaciones de los enfoques puramente basados en prompting semántico.