Behaviour Driven Development Scenario Generation with Large Language Models

Este artículo evalúa el rendimiento de GPT-4, Claude 3 y Gemini en la generación automática de escenarios de Desarrollo Dirigido por Comportamientos (BDD) a partir de un conjunto de datos de 500 historias de usuario, revelando que, aunque GPT-4 supera en métricas de similitud, Claude 3 obtiene las mejores calificaciones en evaluación humana y mediante LLM, mientras que la calidad del resultado depende críticamente de la especificidad de los requisitos de entrada y de la configuración de parámetros y técnicas de prompting adecuadas para cada modelo.

Lo esencial

Imagina que construir un software es como construir una casa.

Antes de poner un solo ladrillo, necesitas un plano muy claro. En el mundo del desarrollo de software, ese plano se llama BDD (Desarrollo Guiado por Comportamiento). Es una forma de escribir las reglas de la casa en un lenguaje que tanto los arquitectos (programadores) como los dueños de la casa (clientes) puedan entender. Por ejemplo: "Dado que soy un inquilino, cuando pongo la llave en la cerradura, entonces la puerta se abre".

El problema es que escribir estos planos a mano es lento, aburrido y propenso a errores. A veces, el arquitecto olvida mencionar que la puerta también debe tener una alarma, o el cliente no se da cuenta de que la cerradura no funciona con lluvia.

¿Qué hicieron los autores de este estudio?

Los investigadores (Amila, Mojtaba y Golnoush) se preguntaron: "¿Podemos usar a los 'super-robots' de inteligencia artificial (como GPT-4, Claude 3 y Gemini) para escribir estos planos por nosotros?"

Para averiguarlo, hicieron un experimento gigante:

1. Recopilaron 500 planos reales de empresas de verdad (no de libros de texto).
2. Le dieron a tres robots diferentes (GPT-4, Claude 3 y Gemini) la descripción de lo que se necesita y les dijeron: "Escribe el plano de la casa (el escenario BDD)".
3. Contrataron a expertos humanos (inspectores de calidad) para que revisaran los planos hechos por los robots y les dieran una nota del 1 al 5.

Los Hallazgos Principales (Explicados con Analogías)

Aquí están las conclusiones más importantes, traducidas a un lenguaje sencillo:

1. No todos los robots son iguales (El "Quién gana")

• GPT-4 es como un copista muy rápido: Escribió textos que se parecían mucho a los originales palabra por palabra, pero a veces le faltaba el "alma" o la lógica profunda.
• Claude 3 es como el arquitecto más sabio: Aunque sus palabras no eran idénticas a las originales, los expertos humanos y otros robots lo calificaron como el mejor. Entendió mejor la intención y escribió planos más seguros y completos.
• Gemini fue un poco más lento y menos preciso en este juego.

2. La forma de pedir las cosas importa (El "Cómo pedir")

No basta con decirle al robot "hazlo". Tienes que saber cómo pedirlo:

• Si le pides a GPT-4 que lo haga sin darle ejemplos (como pedirle a un chef que cocine sin darle la receta), lo hace mejor.
• Si le pides a Claude 3 que piense paso a paso ("primero haz esto, luego aquello"), mejora un poco.
• Si le das a Gemini algunos ejemplos de cómo hacerlo antes de pedirle el trabajo nuevo, funciona mucho mejor.
• Lección: No hay una "receta mágica" única; cada robot necesita un tipo de instrucción diferente.

3. La calidad de los ingredientes es clave (El "Qué le das al robot")

Esto fue lo más sorprendente.

• Si le das al robot solo una idea vaga (como decir: "Quiero una puerta"), el robot hace un plano malo.
• Si le das una descripción detallada (como decir: "Quiero una puerta de madera, con cerradura digital, que se abra con huella y que tenga una alarma si alguien intenta forzarla en menos de 5 segundos"), el robot hace un plano excelente, incluso si no le das la idea vaga inicial.
• Lección: La inteligencia artificial es tan buena como la información que le das. Si le das instrucciones vagas, obtendrás resultados vagos.

4. La "creatividad" no es buena aquí (El "Modo de conducción")

Los robots tienen un botón de "temperatura" (como un termostato).

• Si lo pones en temperatura alta, el robot se vuelve "creativo" y locamente inventivo (como un conductor borracho que toma decisiones al azar). Esto genera errores.
• Si lo pones en temperatura cero, el robot se vuelve máquina: hace exactamente lo que se le pide, una y otra vez, sin sorpresas.
• Lección: Para escribir planos de seguridad, quieres un robot aburrido y predecible, no uno creativo.

5. ¿Quién juzga al robot?

Los investigadores probaron si podían usar a otro robot para calificar a los robots. Resultó que DeepSeek (otro modelo de IA) fue el mejor juez, casi tan bueno como los humanos expertos. Esto es genial porque permite revisar miles de planos automáticamente sin cansar a los humanos.

¿Por qué es importante esto para el mundo real?

Imagina que eres el dueño de una empresa de software. Antes, tenías que esperar días para que tu equipo de control de calidad escribiera todas las pruebas de seguridad. Ahora, con este estudio, sabes que:

1. Puedes usar Claude 3 o GPT-4 para escribir esos planos en segundos.
2. Pero tienes que escribir descripciones muy detalladas de lo que quieres.
3. Debes configurar al robot para que sea predecible (sin creatividad).
4. Y puedes usar a otro robot para revisar el trabajo antes de que lo vea un humano.

En resumen: La inteligencia artificial ya es lo suficientemente madura para ayudar a construir software de alta calidad, pero no es un "botón mágico". Necesitas ser un buen "capitán" que le dé instrucciones claras, precisas y detalladas para que el robot haga un trabajo excelente.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo en español, estructurado según los puntos solicitados:

Título: Generación de Escenarios de Desarrollo Guiado por Comportamiento (BDD) con Modelos de Lenguaje Grande (LLM)

1. El Problema

En el desarrollo de software moderno, caracterizado por la complejidad y ciclos de entrega acelerados, las metodologías de prueba tradicionales enfrentan una crisis de escalabilidad. El Desarrollo Guiado por Comportamiento (BDD) es una metodología clave que cierra la brecha entre requisitos de negocio e implementación técnica mediante escenarios en lenguaje natural (formato Gherkin: Given/When/Then). Sin embargo, la creación manual de estos escenarios presenta desafíos críticos:

• Intensidad de recursos: Es un proceso lento y laborioso que crea cuellos de botella en entornos ágiles.
• Inconsistencia: La calidad varía según la experiencia del autor, lo que lleva a una cobertura de pruebas desigual y omisión de casos borde (edge cases).
• Brecha de conocimiento: Requiere una combinación rara de conocimientos profundos de dominio de negocio y detalles técnicos.
• Falta de evaluación sistemática: Aunque existen estudios preliminares sobre el uso de LLMs para generar pruebas, hay una carencia de evaluaciones exhaustivas que comparen múltiples modelos, técnicas de prompting, tipos de entrada y configuraciones de parámetros en un contexto industrial real.

2. Metodología

Los autores diseñaron un estudio empírico riguroso para evaluar la capacidad de tres LLMs líderes (GPT-4, Claude 3 y Gemini) para generar escenarios BDD.

• Construcción del Dataset: Dado que no existían conjuntos de datos públicos, los investigadores crearon uno propio con 500 historias de usuario, sus descripciones de requisitos y los escenarios BDD correspondientes, extraídos de cuatro productos de software corporativos reales de IntelligenceBank. Se utilizó un muestreo aleatorio estratificado para asegurar la diversidad.
• Modelos Evaluados:
  • GPT-4 (versión gpt-4o)
  • Claude 3 (versión claude-3-opus)
  • Gemini (versión gemini-1.5-flash)
• Técnicas de Prompting: Se probaron tres estrategias:
  1. Zero-shot: Instrucciones directas sin ejemplos.
  2. Few-shot: Instrucciones con ejemplos de escenarios previos.
  3. Chain-of-Thought (CoT): Instrucciones que fomentan el razonamiento paso a paso.
• Configuración de Parámetros: Se variaron la temperatura (0, 0.5, 1.0) y el top_p (0.5, 1.0) para analizar el impacto de la aleatoriedad.
• Métricas de Evaluación: Se utilizó un marco multidimensional:
  • Similitud de Texto: BLEU, METEOR, ROUGE-L.
  • Similitud Semántica: BERTScore, SBCS, SBED, USECS.
  • Evaluación basada en LLM: Uso de LLMs (DeepSeek, GPT-4, Claude) como evaluadores automáticos.
  • Evaluación Humana: 6 expertos en QA con más de 10 años de experiencia calificaron una muestra de 600 escenarios en una escala de 1 a 5.

3. Contribuciones Clave

1. Primer Dataset Público Industrial: Creación y liberación del primer conjunto de datos de 500 historias de usuario reales, descripciones y escenarios BDD correspondientes para investigación.
2. Evaluación Exhaustiva: El primer estudio sistemático que compara múltiples LLMs desde cuatro dimensiones: efectividad base, impacto del prompting, variación de tipos de entrada y configuración de parámetros.
3. Validación de Evaluadores Automáticos: Demostración de que los evaluadores basados en LLM (específicamente DeepSeek) tienen una correlación más fuerte con el juicio humano que las métricas tradicionales de similitud de texto.
4. Guías Prácticas: Recomendaciones concretas sobre configuraciones óptimas de modelos, tipos de entrada y estrategias de prompting para la generación de BDD.

4. Resultados Principales

• Efectividad de los Modelos (RQ1):

  • Aunque GPT-4 obtuvo las puntuaciones más altas en métricas de similitud de texto y semántica, Claude 3 fue calificado como el de mayor calidad tanto por evaluadores humanos como por evaluadores basados en LLM.
  • DeepSeek (como evaluador) mostró la correlación más fuerte con el juicio humano ($\rho = 0.72$ para Claude, $\rho = 0.62$ para GPT-4), superando a las métricas de similitud tradicionales que mostraron correlaciones débiles.

• Impacto del Prompting (RQ2):

  • La técnica óptima depende del modelo:
    • GPT-4: Funciona mejor con Zero-shot.
    • Claude 3: Se beneficia ligeramente del Chain-of-Thought.
    • Gemini: Logra sus mejores resultados con Few-shot (ejemplos).
  • En general, la combinación de GPT-4 con Zero-shot produjo los escenarios de mayor calidad global.

• Impacto de la Entrada (RQ3):

  • La calidad de la entrada es determinante.
  • Descripciones de requisitos detalladas (ya sea solas o combinadas con historias de usuario) producen escenarios de alta calidad.
  • Solo Historias de Usuario: Generan escenarios de baja calidad. Las historias de usuario por sí solas carecen de la profundidad técnica y los criterios de aceptación necesarios para que el LLM genere escenarios BDD completos.

• Configuración del Modelo (RQ4):

  • La configuración Temperatura = 0 y Top_p = 1.0 produjo consistentemente los escenarios de mayor calidad en todos los modelos.
  • Esto indica que la generación determinista es superior a la aleatoria para esta tarea específica, donde la consistencia y la precisión de la sintaxis Gherkin son más valiosas que la creatividad.

5. Significado e Implicaciones

• Viabilidad Práctica: Los LLMs han alcanzado un nivel de madurez para ser herramientas prácticas en la generación de escenarios BDD, acelerando los ciclos de prueba y reduciendo la barrera de entrada de experiencia técnica.
• Cambio en la Documentación: Los hallazgos sugieren un cambio de paradigma en las prácticas ágiles: para aprovechar la generación automática, las organizaciones deben invertir en descripciones de requisitos detalladas y técnicas, no solo en historias de usuario breves.
• Evaluación Híbrida: Se propone un enfoque de evaluación híbrida donde los LLMs (como DeepSeek) filtran grandes volúmenes de escenarios para identificar errores obvios, permitiendo que los expertos humanos se concentren en la revisión de casos límite y la validación final.
• Integración Industrial: El estudio ofrece una hoja de ruta para integrar LLMs en flujos de trabajo existentes (Jira, Confluence, CI/CD), enfatizando la necesidad de mantener la colaboración humana ("Three Amigos") y no reemplazarla, sino asistir con borradores iniciales.

En conclusión, el papel demuestra que la automatización de BDD mediante LLMs es factible y efectiva, siempre que se utilicen las configuraciones de modelo correctas, se proporcionen entradas de alta calidad (descripciones detalladas) y se adopten estrategias de evaluación que combinen métricas automáticas avanzadas con supervisión humana.