💬 NLP

Mining Subscenario Refactoring Opportunities in Behaviour-Driven Software Test Suites: ML Classifiers and LLM-Judge Baselines

Este artículo presenta una tubería automatizada que utiliza agrupamiento robusto a parafraseos y un clasificador XGBoost para identificar, clasificar y categorizar oportunidades de refactorización en suites de pruebas de Desarrollo Guiado por Comportamiento, demostrando que el clasificador supera significativamente tanto a las líneas base basadas en reglas como a las de Modelos de Lenguaje Grandes en la detección de subsecuencias de pasos extraíbles en un gran corpus de archivos Gherkin.

Autores originales: Ali Hassaan Mughal, Noor Fatima, Muhammad Bilal

Publicado 2026-05-15

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Ali Hassaan Mughal, Noor Fatima, Muhammad Bilal

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un bibliotecario intentando organizar una biblioteca masiva y caótica donde cada libro es una prueba de software escrita en un lenguaje especial llamado Gherkin. Estas pruebas cuentan una historia: "Dado esto, Cuando aquello, Entonces esto".

Con el tiempo, los bibliotecarios (desarrolladores) han escrito miles de estas historias. Pero han cometido un gran error: siguen copiando y pegando los mismos párrafos una y otra vez. A veces cambian una palabra aquí o allá ("haz clic en el botón" frente a "presiona el botón"), pero el significado es exactamente el mismo. Esto hace que la biblioteca sea inflada, difícil de leer y una pesadilla para actualizar. Si necesitas cambiar cómo funciona un botón, tienes que encontrarlo y corregirlo en cientos de lugares diferentes.

Este artículo trata sobre la construcción de un bibliotecario robot inteligente que pueda encontrar estos párrafos repetitivos, determinar cuáles valen la pena limpiar y decirte exactamente cómo corregirlos.

Así es como se desglosa el artículo, utilizando analogías simples:

1. El Problema: El Desorden de "Copiar y Pegar"

En el pasado, los investigadores solo podían detectar si una historia completa (un escenario de prueba completo) era una duplicación. Pero el verdadero desorden ocurre en medio de las historias.

La Analogía: Imagina dos novelas donde los primeros tres capítulos son idénticos, pero el resto es diferente. Un escáner simple podría pasar esto por alto porque el libro completo no es una copia.
La Solución del Artículo: Analizaron pequeños fragmentos de texto llamados "rebanadas" (grupos de 2 a 18 pasos seguidos). Encontraron más de 5 millones de estas rebanadas en 339 proyectos de software diferentes.

2. El Desafío de la "Parafraseo"

El bibliotecario robot no puede buscar solo coincidencias exactas de texto. Los desarrolladores a menudo reformulan las cosas.

La Analogía: Si una persona escribe "El usuario inicia sesión" y otra escribe "El cliente se registra", un motor de búsqueda simple ve dos cosas diferentes. Pero un humano sabe que significan lo mismo.
La Solución del Artículo: Utilizaron una IA especial (llamada SBERT) que entiende el significado detrás de las palabras, no solo la ortografía. Agrupa rebanadas que significan lo mismo, incluso si las palabras son diferentes. Esto es como agrupar todos los sinónimos juntos para que el bibliotecario vea el patrón claramente.

3. Las Tres Maneras de Arreglar el Desorden

Una vez que el robot encuentra una rebanada repetitiva, debe decidir cómo arreglarla. El artículo identifica tres "herramientas" específicas para el trabajo, dependiendo de dónde ocurra la repetición:

Herramienta A: El "Fondo" (Dentro de un solo archivo)
- Analogía: Si cada historia en un libro específico comienza con las mismas tres oraciones, no las reescribes en cada capítulo. Las escribes una vez en la parte superior del libro como una nota de "Fondo".
- Cuándo usarla: Cuando los mismos pasos se repiten dentro de un solo archivo.
Herramienta B: El "Capítulo Reutilizable" (Dentro de un proyecto)
- Analogía: Si una secuencia específica de eventos ocurre en 50 libros diferentes en la misma biblioteca, escribes esa secuencia una vez en un libro de "Capítulo Reutilizable". Luego, en los otros 50 libros, simplemente escribes "Ver Capítulo Reutilizable 4".
- Cuándo usarla: Cuando los mismos pasos se repiten en diferentes archivos dentro del mismo proyecto de software.
Herramienta C: El "Comando Universal" (Entre diferentes empresas)
- Analogía: Si descubres que casi todas las bibliotecas del mundo usan exactamente la misma frase para "Iniciar sesión", creas una entrada de diccionario universal para ello. Cualquier biblioteca puede simplemente decir "Usar Inicio de Sesión Universal".
- Cuándo usarla: Cuando los mismos pasos se repiten en proyectos de software totalmente diferentes propiedad de diferentes personas o empresas.

4. El "Cerebro Inteligente" (Aprendizaje Automático vs. Modelos de Lenguaje Grande)

Los autores tuvieron que enseñarle al robot cuáles rebanadas repetitivas valen realmente la pena corregir. No toda repetición es útil; algunas son simplemente aburridas y triviales (como "estado 200", que simplemente significa "funcionó").

El Entrenamiento: Contrataron a tres expertos humanos para que revisaran 200 rebanadas aleatorias y decidieran: "¿Vale la pena corregir esto?" y "¿Qué herramienta (A, B o C) deberíamos usar?".
El Concurso: Entrenaron un modelo informático inteligente (llamado XGBoost) para aprender de estos humanos. Luego, lo desafiaron contra dos otros "jueces de IA" (Modelos de Lenguaje Grande, o LLM).
El Resultado: El modelo XGBoost fue el ganador claro.
- El Experto Humano (XGBoost): Lo acertó en el 89% de los casos.
- Los Jueces de IA (LLMs): Lo acertaron solo en el 73% y el 59% de los casos.
- ¿Por qué? Los LLMs eran demasiado cautelosos. A menudo decían "No, no corrijas esto" incluso cuando era una buena idea, mientras que el modelo especializado aprendió exactamente lo que los humanos estaban buscando.

5. Los Grandes Hallazgos

Después de ejecutar este robot en la biblioteca masiva de 1,1 millones de pasos de prueba, esto es lo que encontraron:

La repetición está en todas partes: Aproximadamente el 75% de los archivos de prueba tienen fragmentos repetitivos que podrían limpiarse usando la Herramienta A (Fondo).
La repetición entre archivos es común: Aproximadamente el 60% de los proyectos tienen fragmentos que podrían limpiarse usando la Herramienta B (Capítulo Reutilizable).
La repetición entre empresas es rara pero real: Solo alrededor del 12% de los proyectos tienen fragmentos tan universales que podrían compartirse entre diferentes empresas (Herramienta C).
La Trampa del "Mismo Propietario": Notaron que muchas repeticiones "entre empresas" eran en realidad solo una empresa (como DataDog) publicando muchas versiones diferentes de su software en diferentes idiomas. El robot aprendió a ignorar estas, porque no son verdaderamente "compartidas" entre diferentes organizaciones.

6. La Conclusión

Este artículo proporciona un plan y una herramienta para encontrar automáticamente el desorden de "copiar y pegar" en las pruebas de software.

No solo dice "Oye, hay un duplicado".
Dice: "Aquí está el duplicado, aquí está por qué vale la pena corregirlo, y aquí está el cambio de código exacto que necesitas hacer para arreglarlo".

Los autores lanzaron todo su código, datos y el "reglamento" que usaron para los humanos, para que cualquier otra persona pueda usar este robot para limpiar sus propias bibliotecas de software. Demostraron que un modelo especializado y entrenado es mejor para este trabajo específico que los chatbots de IA de propósito general de los que a menudo escuchamos hoy en día.

Resumen Técnico: Minería de Oportunidades de Refactorización de Subescenarios en Suites de Pruebas de Software Impulsadas por Comportamiento

Enunciado del Problema
Las suites de pruebas de Desarrollo Impulsado por Comportamiento (BDD), escritas en Gherkin, acumulan riesgos de mantenimiento similares a los corpora de pruebas unitarias, incluyendo configuraciones de copiar y pegar, casi-duplicados que varían en parámetros y desviaciones silenciosas. Si bien trabajos anteriores han identificado duplicación a nivel de paso individual o catalogado "malos olores" a nivel de escenario completo, persiste una brecha crítica: la unidad práctica de refactorización rara vez es un paso aislado, sino una secuencia contigua de dos o más pasos (una "rebanada" o slice). Los algoritmos existentes de minería de secuencias (por ejemplo, PrefixSpan, SPADE) operan sobre secuencias exactas de símbolos y no logran manejar las variaciones de parafraseo superficial comunes en los pasos de BDD. Además, aunque existen tres mecanismos de refactorización concretos (Background dentro del archivo, escenarios reutilizables dentro del repositorio y pasos superiores compartidos entre organizaciones), ningún trabajo anterior automatiza la identificación de qué subsecuencias recurrentes merecen ser extraídas ni las mapea al mecanismo apropiado.

Metodología
Los autores presentan un minero de subsecuencias estático y robusto ante parafraseos aplicado a un corpus de 339 repositorios de GitHub (276 propietarios de origen distintos) que contienen 1,1 millones de pasos Gherkin. La tubería se organiza en tres etapas principales:

Minería y Embebido (Fases 0–4):
- Extracción de Rebanadas: El sistema extrae todas las ventanas contiguas de $L$ pasos ( $L \in [2, 18]$ ) de los escenarios, generando 5.382.249 rebanadas.
- Robustez ante Parafraseos: En lugar de la coincidencia de texto crudo, las rebanadas se indexan mediante "identificadores de clúster híbridos" derivados de la tubería cukereuse. Para recuperar rebanadas equivalentes por parafraseo que la coincidencia exacta de ID de clúster pasó por alto, los autores emplean un paso de embebido con Sentence-BERT (SBERT), reducido mediante UMAP y agrupado usando HDBSCAN. Esto produce 33.121 clústeres de equivalencia por parafraseo.
- Definición del Alcance: La recurrencia se mide a través de tres ámbitos anidados:
  - Dentro del archivo (RQ1): Candidatos para un bloque Background.
  - Dentro del repositorio entre archivos (RQ2): Candidatos para un escenario reutilizable invocado mediante I call feature file.
  - Entre organizaciones (RQ3): Candidatos para un paso superior personalizado, definido por la recurrencia a través de propietarios de origen distintos (no solo repositorios, para evitar inflar los conteos de propietarios únicos con SDKs de múltiples lenguajes).
Etiquetado Humano (Fase 5):
- Un grupo estratificado de 200 rebanadas fue etiquetado por tres autores frente a una rúbrica escrita.
- La rúbrica define una etiqueta de "merecedor de extracción" de cuatro categorías (sí, no, incierto, especificación marcada) y una etiqueta de mecanismo.
- El acuerdo inter-evaluador ( $\kappa$ de Fleiss) fue de 0,56 para la merecedor de extracción y 0,79 para la selección del mecanismo.
Modelado y Líneas Base (Fases 6–8):
- Clasificador: Se entrenó un clasificador binario XGBoost para predecir la "merecedor de extracción" utilizando características como la longitud de la rebanada ( $L$ ), conteos de soporte, fracciones de valores atípicos y señales de ámbito.
- Predictor de Mecanismo: Una segunda cabeza predice el mecanismo de refactorización específico.
- Líneas Base: El clasificador se comparó contra una línea base basada en reglas ajustada y dos jueces de Modelos de Lenguaje Grandes (LLM) de pesos abiertos (gpt-oss-120b y ling-2.6-1t).

Resultados Clave

Escala del Corpus: El minero identificó 692.020 patrones recurrentes distintos. De estos, 30.955 se repiten en $\ge 2$ propietarios de origen distintos.
Rendimiento del Clasificador: El clasificador XGBoost logró una puntuación F1 fuera de pliegue de 0,891 (IC 95% [0,852, 0,927]). Esto superó significativamente a la línea base basada en reglas (F1 = 0,836, $p=0,017$ ) y a ambos jueces LLM (mejor F1 de LLM = 0,728, $p < 10^{-4}$ ).
Prevalencia: Tras aplicar la puerta del clasificador:
- El 75,0% de los escenarios contienen un candidato de Background dentro del archivo.
- El 59,5% contiene un candidato de escenario reutilizable dentro del repositorio.
- El 11,7% contiene un candidato de paso compartido entre organizaciones.
Limitaciones de los LLM: Si bien los LLM fueron altamente precisos en la clase "sí", fueron conservadores en la recuperación, subestimando la merecedor de extracción. Su rendimiento en la tarea de selección de mecanismo (condicionado a "sí") fue alto ( $\ge 0,95$ de precisión), pero no lograron igualar al clasificador en la decisión principal de extracción.
Filtrado: Una cadena de filtro de verificación de seis reglas (R1–R6) redujo el conjunto de candidatos de 464.073 a 84.564 patrones, principalmente colapsando representaciones anidadas y eliminando contenido trivial.

Significado y Contribuciones
El artículo afirma proporcionar el primer minero de subsecuencias robusto ante parafraseos para especificaciones BDD que opera a escala de corpus. Sus contribuciones principales son:

Un Inventario de Rebanadas: Una lista clasificada de 5,4 millones de subsecuencias contiguas de pasos colapsadas en 692.020 patrones recurrentes, mapeadas a tres mecanismos de reutilización específicos con implementaciones publicadas en Cucumber-Java.
Descubrimiento Automatizado: Una tubería que automatiza la identificación de qué rebanadas merecen ser extraídas, abordando el "costo limitante" de la identificación manual de objetivos en la adopción de BDD a gran escala.
Evidencia Empírica: Una demostración de que un clasificador especializado de ML supera significativamente tanto a heurísticas basadas en reglas como a jueces LLM comerciales en la determinación de la idoneidad de refactorización para suites de pruebas BDD.
Reproducibilidad: Todos los artefactos, incluidos los scripts de minería, el grupo etiquetado, la rúbrica y los clasificadores entrenados, se publican bajo la licencia Apache-2.0.

Los autores posicionan este trabajo como el componente "cuál" en una serie de tres artículos: Mughal (2024) proporcionó el "cómo" (mecanismos), Mughal et al. (2026) proporcionó el "cuánto" (escala de duplicación a nivel de paso), y este artículo proporciona el "cuál" (decisiones de extracción por rebanada). El artículo concluye que, aunque la estructura recurrente es ubicua, la señal entre organizaciones está dominada por la duplicación infraestructural (por ejemplo, idiomáticas de solicitud/respuesta HTTP) en lugar de lógica de negocio compleja, lo que sugiere que el valor más inmediato reside en macros cortas y frecuentemente repetidas.