Can ChatGPT Generate Realistic Synthetic System Requirement Specifications? Results of a Case Study

Este estudio de caso demuestra que, aunque es posible generar especificaciones de requisitos de sistema sintéticas y realistas con ChatGPT mediante un enfoque iterativo de patrones de prompts, la evaluación automática basada en modelos de lenguaje no puede sustituir completamente la revisión exhaustiva de expertos debido a errores como contradicciones y alucinaciones.

Lo esencial

Imagina que eres un arquitecto que quiere construir un rascacielos. Para hacerlo, necesitas los planos originales de edificios reales para estudiar cómo se construyen, qué materiales se usan y dónde suelen fallar. Pero, por desgracia, esos planos son secretos de estado: las empresas no te los dejan ver porque son confidenciales o propiedad privada.

¿Qué haces? ¿Abandonas el proyecto? No. Decides dibujar tus propios planos desde cero, intentando que parezcan tan reales que nadie note la diferencia.

Ese es exactamente el desafío que se plantearon los autores de este estudio. Quisieron saber si una Inteligencia Artificial (específicamente ChatGPT) podía inventar "Planos de Requisitos de Sistemas" (documentos que describen cómo debe funcionar un software) que fueran tan convincentes y realistas que pudieran usarse en investigaciones sin necesidad de tener los documentos reales.

Aquí tienes la historia de su experimento, explicada de forma sencilla:

1. El Experimento: La Fábrica de Planos Falsos (pero buenos)

Los investigadores le pidieron a ChatGPT que actuara como un ingeniero de requisitos experto. Le dijeron: "Inventa los planos para un sistema de logística, otro para un banco, otro para un hospital, etc.".

El problema es que las IAs a veces tienen un defecto llamado "alucinación". Es como si un niño muy seguro de sí mismo inventara una historia sobre un dragón que escupe fuego azul, y te lo cuenta con tanta convicción que tú terminas creyéndolo, aunque los dragones no existan. Las IAs hacen lo mismo: inventan datos que suenan muy profesionales pero que son falsos o contradictorios.

Para evitar esto, los investigadores no solo le pidieron a la IA que escribiera, sino que también se autoevaluara. Le dijeron: "Escribe el plano, y luego actúa como un inspector estricto para decirme qué tan realista es lo que acabas de escribir". Lo hicieron esto una y otra vez (10 veces), mejorando las instrucciones cada vez, hasta tener 300 documentos generados en 10 industrias diferentes.

2. La Prueba de Fuego: ¿Engañan a los expertos?

Tener 300 planos generados por una IA es genial, pero... ¿son realmente buenos? Para saberlo, los investigadores hicieron algo muy inteligente: le mostraron una muestra de estos planos a 87 expertos humanos (ingenieros de software reales) y les preguntaron: "¿Esto parece un documento real o parece algo hecho por una máquina?".

El resultado fue una mezcla de sorpresa y precaución:

• La buena noticia: El 62% de los expertos pensó: "¡Vaya! Esto parece muy real. Podría ser un documento real". La IA logró engañar a la mayoría de las personas con su presentación segura y estructurada.
• La mala noticia: Cuando los expertos miraron más de cerca (como quien revisa un contrato letra por letra), encontraron agujeros. Había contradicciones (decían una cosa en la página 1 y lo opuesto en la página 10), detalles demasiado vagos o requisitos imposibles (como pedir que un sistema funcione para 15.000 usuarios en su primera semana, algo que ninguna empresa real haría).

3. La Lección: La IA es un gran "Borrador", pero no un "Juez"

El estudio llegó a tres conclusiones clave, que podemos resumir con una analogía culinaria:

1. La IA es un chef increíble para el "plato principal" (la estructura): Puede crear un menú completo, con entradas, platos fuertes y postres, todo muy bien organizado. Si solo miras el menú, parece un restaurante de lujo.
2. Pero la IA no sabe de "sabores sutiles" (el contexto real): A veces, el plato fuerte tiene ingredientes que no combinan, o la cantidad de sal es absurda. La IA es muy segura de sí misma al servir el plato, pero no tiene el paladar de un chef experto para detectar esos errores.
3. No confíes ciegamente en el "sabor" de la IA: Intentar que la IA juzgue su propia comida (medir la "realidad" con números) fue un desastre. La IA a veces decía que su comida era perfecta (9/10) y otras veces que era terrible (4/10) sin razón aparente. Solo un humano experto puede decirte si el plato está realmente bueno.

En resumen

Este estudio nos dice que ChatGPT es una herramienta fantástica para crear borradores de requisitos de software cuando no tenemos acceso a documentos reales. Nos ahorra tiempo y nos da una base sólida para empezar.

Sin embargo, no podemos confiar en ella para decirnos si lo que ha escrito es verdad o no. La IA es como un actor muy talentoso que puede interpretar un papel tan bien que el público llora, pero si el guion tiene un error lógico, el actor no se dará cuenta. Necesitamos a un director (un experto humano) para revisar el guion antes de que se estrene la obra.

La moraleja: Usa la IA para generar ideas y estructuras, pero deja que los expertos humanos sean los que den el "visto bueno" final.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo en español, estructurado según los puntos solicitados:

Resumen Técnico: ¿Puede ChatGPT generar Especificaciones de Requisitos de Sistema (SyRS) Sintéticas Realistas?

1. Planteamiento del Problema

Las Especificaciones de Requisitos de Sistema (SyRS) son artefactos centrales en la Ingeniería de Requisitos (RE), generalmente documentados en lenguaje natural. Sin embargo, el acceso a SyRS reales para fines de investigación es extremadamente limitado debido a restricciones de propiedad intelectual, confidencialidad o simplemente su inexistencia pública.
La generación de SyRS sintéticas (SSyRS) realistas podría mitigar esta escasez. Aunque los Modelos de Lenguaje Grandes (LLM) de caja negra, como ChatGPT, ofrecen capacidades de generación de lenguaje natural sin necesidad de datos reales ni entrenamiento previo, presentan desafíos críticos:

• Alucinaciones: Generación de datos incoherentes, no fieles a la fuente o no verificables.
• Sobreconfianza: Tendencia a presentar información incorrecta con alta certeza, lo que engaña al usuario.
• Falta de conocimiento de dominio: Los LLMs se entrenan principalmente en datos de internet, donde el conocimiento experto de nicho es escaso, aumentando el riesgo de errores en dominios técnicos específicos.

El objetivo principal del estudio es determinar si es posible generar SSyRS realistas utilizando un LLM de caja negra (ChatGPT) sin acceso a SyRS reales ni a expertos de dominio durante el proceso de generación.

2. Metodología

El estudio sigue un enfoque de Investigación de Diseño (Design Science Research - DSR) y se estructura en tres fases iterativas:

• Fase 1: Preparación y Definición

  • Dominios: Se seleccionaron 10 industrias (Comercio electrónico, Educación, Finanzas, Gobierno, Salud, Logística, Manufactura, Medios, Retail y Telecomunicaciones).
  • Plantilla (Template): Se definió una estructura simplificada basada en el estándar ISO/IEC/IEEE 29148:2018, que incluye categorías principales (Resumen del sistema, Requisitos Funcionales, No Funcionales y Restricciones) y subcategorías.
  • Propiedades de Calidad: Se definieron tres métricas para evaluar las SSyRS:
    1. Grado de Realismo (DoR): Qué tan realista es el documento.
    2. Completitud: Si el documento sigue la plantilla.
    3. Similitud Semántica: Diversidad entre documentos del mismo dominio (evitar redundancia).
  • Prompting: Se utilizaron patrones de prompting (Zero-shot, Plantilla, Persona, Cadena de Pensamiento) para generar los documentos. Se evitó el uso de ejemplos reales para no sesgar el modelo.

• Fase 2: Generación y Evaluación Automática

  • Se utilizaron 300 iteraciones (3 SSyRS por dominio) con el modelo GPT-4o.
  • Autoevaluación: El mismo LLM evaluó la completitud y el grado de realismo (DoR) mediante prompts específicos.
  • Diversidad: Se utilizó SBERT (Sentence Transformers) para calcular la similitud semántica entre pares de documentos, evitando alucinaciones en la métrica de similitud.
  • Validación Cruzada: Se realizaron pruebas con otros modelos (GPT-5.2, Sonnet 4.5) para detectar sesgos del modelo evaluador.

• Fase 3: Análisis y Refinamiento

  • El proceso se ejecutó durante 10 iteraciones. Los prompts se refinaron basándose en el análisis estadístico de las puntuaciones y la revisión subjetiva de los autores.
  • Criterio de parada: Cuando las mejoras en los resultados se volvieron aleatorias o marginales.

• Estudio con Expertos:

  • Se realizó un cuestionario con n=87 respuestas de 83 expertos en ingeniería de software (con experiencia promedio >7 años).
  • Los expertos evaluaron una muestra del 33% de los SSyRS generados (uno por dominio) en términos de realismo y completitud.

3. Contribuciones Clave

1. Metodología de Generación: Propone un enfoque sistemático para generar SyRS sintéticas utilizando solo LLMs de caja negra, sin depender de datos reales ni expertos humanos en la fase de creación.
2. Evaluación de Calidad: Introduce y valida (parcialmente) un conjunto de métricas y prompts para evaluar la completitud, diversidad y realismo de los artefactos generados.
3. Conjunto de Datos Público: Generación y publicación de 300 SSyRS de alta calidad a través de 10 industrias, disponibles en un repositorio público para la comunidad de investigación.
4. Análisis de Viabilidad: Proporciona evidencia empírica sobre las capacidades y limitaciones de los LLMs en la generación de artefactos de ingeniería de requisitos complejos.

4. Resultados

• Generación: Se crearon 300 documentos con una longitud media de ~716 palabras. La completitud fue perfecta (100%) gracias a la validación por plantilla.
• Similitud Semántica: Los documentos mostraron una diversidad adecuada (similitud media de 0.66), evitando la redundancia excesiva.
• Fiabilidad de la Evaluación Automática (LLM):
  • Las puntuaciones cuantitativas de "Grado de Realismo" (DoR) generadas por los LLMs resultaron altamente inestables y dependientes del modelo.
  • Por ejemplo, Sonnet 4.5 puntuó un documento con 0.48 en una ejecución y 0.73 en otra (rango de 0.25), demostrando que las evaluaciones numéricas automáticas no son fiables para este tipo de artefactos complejos.
• Evaluación de Expertos:
  • Percepción General: El 61.4% de los expertos calificó las SSyRS como "bastante realistas" o "muy realistas".
  • Hallazgos Profundos: Un análisis detallado de los comentarios reveló deficiencias significativas:
    • Simplificación excesiva y uso de "jerga" (buzzwords).
    • Falta de detalle y ambigüedad.
    • Incoherencias lógicas (ej. contradicciones entre requisitos funcionales y no funcionales).
    • Requisitos poco realistas en términos de recursos y escalabilidad.
  • Conclusión de los expertos: Aunque la estructura y el lenguaje parecen reales, el contenido técnico a menudo carece de la profundidad y coherencia de un SyRS real.

5. Significado e Implicaciones

• Viabilidad Limitada: ChatGPT es una herramienta poderosa para generar candidatos iniciales de SyRS sintéticos que imitan la estructura y el lenguaje natural de los reales. Sin embargo, no puede reemplazar la evaluación exhaustiva de expertos.
• Advertencia sobre la Automatización: La combinación de la sobreconfianza de los LLMs y la presentación estructurada de los textos crea una "ilusión de realismo" que puede engañar incluso a expertos si no se realiza un análisis crítico profundo.
• Recomendación: Las evaluaciones cuantitativas automáticas de plausibilidad en RE son poco fiables. Se requiere una revisión manual experta para validar la coherencia lógica y la viabilidad técnica de los requisitos sintéticos.
• Utilidad Futura: El conjunto de datos generado es valioso para la investigación en RE (ej. pruebas de herramientas, benchmarks) siempre que se utilice con la comprensión de que contiene errores sutiles que deben ser corregidos o tenidos en cuenta.

En resumen, el estudio demuestra que es posible generar SyRS sintéticas realistas en estructura y forma, pero la calidad del contenido técnico profundo sigue dependiendo de la intervención humana, y las métricas automáticas de calidad no son suficientes para garantizar la validez de los requisitos.