💬 NLP

Deja Vu at Scale: Paraphrase-Robust Detection of Duplicate Gherkin Steps in Behaviour-Driven Software Testing with Sentence-Transformer Embeddings and a 1.1M-Step Open Benchmark

Este artículo aborda los costes de mantenimiento de los pasos de Gherkin duplicados en el Desarrollo Guiado por Comportamiento mediante la publicación de un benchmark a gran escala y de carácter interorganizacional de más de 1,1 millones de pasos y la introducción de un detector robusto ante paráfrasis que combina métodos exactos, léxicos y semánticos para identificar y cuantificar la redundancia eliminable significativa.

Autores originales: Ali Hassaan Mughal, Noor Fatima, Muhammad Bilal

Publicado 2026-06-15

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Ali Hassaan Mughal, Noor Fatima, Muhammad Bilal

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres el editor de un libro de cocina colaborativo masivo. Miles de chefs de diferentes cocinas han contribuido con recetas. Con el tiempo, notas un problema: las mismas instrucciones aparecen una y otra vez, solo que escritas de forma ligeramente distinta.

Un chef escribe: "Add two cups of flour." (Añadir dos tazas de harina).
Otro escribe: "Add 2 cups of flour." (Añadir 2 tazas de harina).
Un tercero escribe: "Put in 2 cups of flour." (Poner 2 tazas de harina).

En el mundo de las pruebas de software, estas instrucciones se llaman pasos de Gherkin. Son las "recetas" que le dicen a una computadora cómo probar un software. El problema es que, cuando estas instrucciones se duplican o se parafrasean ligeramente, se convierte en una pesadilla de mantenimiento. Si necesitas cambiar un paso (como cambiar "Añadir harina" por "Añadir harina de almendras"), podrías tener que buscar y editar miles de copias en lugar de solo una.

Este artículo, titulado "Déjà Vu at Scale" (Déjà Vu a Escala), trata sobre la construcción de una herramienta superinteligente para encontrar estos duplicados, incluso cuando están escritos de formas ligeramente diferentes, y la creación de una biblioteca gigante de ejemplos para demostrar que la herramienta funciona.

Aquí está el desgero de lo que hicieron, utilizando analogías simples:

1. El Problema: El Efecto "Déjà Vu"

Los autores descubrieron que en el mundo del software, la duplicación está en todas partes. Analizaron 347 proyectos de software diferentes (como 347 libros de cocina distintos) y encontraron más de 1.1 millones de instrucciones.

La Estadística: Descubrieron que el 80% de estas instrucciones eran copias exactas de algo más.
El Dolor: Si una empresa quiere corregir una errata o cambiar una regla, podría tener que editar miles de archivos. Es como intentar actualizar una receta en un libro de cocina donde esa receta está escrita en 1,000 páginas diferentes en 1,000 libros distintos.

2. La Solución: Un "Bibliotecario Inteligente"

Los autores construyeron una herramienta llamada cukereuse. Piensa en esta herramienta como un superbibliotecario que puede leer las instrucciones y entender que "Add 2 cups" y "Add two cups" son lo mismo, incluso si la ortografía o el espaciado son diferentes.

No usaron un solo truco; utilizaron un sistema de defensa de cuatro capas para detectar duplicados:

La Coincidencia Exacta: Si dos instrucciones son idénticas hasta el último carácter (como dos fotocopias), las detecta instantáneamente.
La Coincidencia "Casi Igual": Si las instrucciones son un 90% iguales (como "Add 2 cups" frente a "Add two cups"), también las detecta.
La Coincidencia de "Significado": Esta es la parte ingeniosa. Utiliza IA (llamada Sentence Transformers) para entender el significado. Sabe que "The user clicks the button" (El usuario hace clic en el botón) y "Clicking the button by the user" (Hacer clic en el botón por parte del usuario) significan lo mismo, aunque las palabras sean totalmente distintas.
La Híbrida: Combina las comprobaciones de "Casi Igual" y de "Significado" para estar extra seguro.

3. La Prueba: La Prueba del "Estándar de Oro"

Para demostrar que su bibliotecario era realmente bueno, no se limitaron a suponer. Crearon un conjunto de pruebas gigante:

Tomaron 1,020 pares de instrucciones.
Tres personas diferentes (los autores) las leyeron manualmente y decidieron: "¿Son estas instrucciones duplicados o no?".
Se aseguraron de que todos coincidieran en las respuestas (una puntuación alta llamada Fleiss' κ = 0.84, que es como un equipo de jueces que coinciden todos en quién ganó un concurso).
El Resultado: Su herramienta de "Coincidencia de Significado" fue muy buena, pero la herramienta de "Coincidencia Casi Igual" fue la más fiable y honesta, identificando correctamente los duplicados aproximadamente el 82% de las veces sin confundirse con las reglas de la prueba.

4. El Gran Descubrimiento: El Ahorro de la "Consolidación"

La parte más emocionante del artículo es la matemática que hicieron sobre los ahorros.

Descubrieron que en un proyecto de software típico, se podría eliminar aproximadamente el 62.5% de las instrucciones duplicadas y reemplazarlas con una sola instrucción "maestra".
La Analogía: Imagina que tienes 100 páginas de un libro de cocina. Después de usar esta herramienta, te das cuenta de que solo necesitas 37 páginas únicas. Las otras 63 páginas son solo copias. Puedes tirarlas, haciendo que el libro sea mucho más delgado y fácil de gestionar.
Vincularon esto con la ISO/IEC 25010, que es básicamente un reglamento global para el "buen software". Demostraron que limpiar estos duplicados hace que el software sea más fácil de cambiar (Mantenibilidad) y menos propenso a romperse (Fiabilidad).

5. Lo Que Entregaron al Mundo

Los autores no se guardaron sus hallazgos para sí mismos. Publicaron un "paquete de inicio" para que cualquiera que quiera realizar esta investigación pueda hacerlo:

Los Datos: Una colección masiva de 1.1 millones de instrucciones de proyectos de software reales.
La Prueba: Los 1,020 pares de instrucciones con las respuestas del "estándar de oro".
La Herramienta: El código real de la herramienta (cukereuse) que encuentra los duplicados.
Las Reglas: Una guía sobre cómo decidieron qué cuenta como un duplicado.

Resumen

En resumen, este artículo dice: "Las instrucciones de las pruebas de software están llenas de duplicados innecesarios, lo que las hace difíciles de gestionar. Construimos una herramienta inteligente que encuentra estos duplicados (incluso cuando están escritos de forma diferente), demostramos que funciona con una prueba masiva y de alta calidad, y mostramos que solucionar esto podría ahorrar a los equipos de software una enorme cantidad de tiempo y esfuerzo. Estamos regalando todas nuestras herramientas y datos para que otros puedan usarlos".

Lo que NO afirmaron:

No dijeron exactamente cuánto dinero ahorra esto (porque cada empresa paga a sus trabajadores de forma diferente).
No dijeron que esto solucione todos los problemas de calidad del software, solo el problema específico de las instrucciones duplicadas.
No afirmaron que su herramienta funcione con datos privados o secretos de empresas (ya que solo analizaron datos públicos).

Resumen Técnico: Déjà Vu a Escala

Planteamiento del Problema
Las suites de Desarrollo Basado en Comportamiento (BDD), escritas en el lenguaje Gherkin, acumulan frecuentemente duplicación de texto en sus pasos (steps). Investigaciones previas establecen que dicha duplicación incurre en costes de mantenimiento significativos, particularmente cuando las definiciones de los pasos requieren renombre o refactorización en múltiples ocurrencias. Las técnicas de detección existentes sufren limitaciones críticas: los enfoques dinámicos (p. ej., Binamungu et al., 2018–2023) requieren suites de pruebas ejecutables, lo que las hace inviables a escala entre repositorios; los enfoques estáticos (p. ej., Irshad et al., 2020–2022) suelen estar confinados a una sola organización o carecen de granularidad a nivel de paso. En consecuencia, existe un vacío para un detector de pasos puramente estático, robusto ante la paráfrasis y aplicable a cualquier repositorio, acompañado de un benchmark público para su calibración.

Metodología
Los autores presentan cukereuse, una herramienta de análisis estático y un estudio empírico asociado. La metodología se estructura en torno a tres componentes principales:

Construcción del Corpus:
- Descubrimiento: Utilizando la API de búsqueda de GitHub REST, los autores identificaron repositorios que contienen archivos Gherkin, filtrando aquellos con $\ge$ 10 estrellas y excluyendo proyectos archivados.
- Materialización: Se realizó un sparse-clone de 347 repositorios, obteniendo 23,667 archivos .feature analizados y 1,113,616 pasos de Gherkin.
- Definición de Identidad: La identidad de un paso se define como el hash BLAKE2b de su texto tras la colapsación de espacios en blanco, excluyendo palabras clave (Given/When/Then) y argumentos adjuntos (DocStrings/DataTables), pero reteniendo parámetros y literales. Esto refleja la lógica de resolución del tiempo de ejecución de Cucumber.
Estrategias de Detección:
La herramienta implementa cuatro estrategias a lo largo de una frontera de precisión/coste computacional:
- Exacta: Hashing BLAKE2b sobre texto normalizado.
- Casi Exacta: Ratio de Levenshtein normalizado.
- Semántica: Similitud de coseno mediante Sentence-BERT (SBERT).
- Híbrida: Una combinación de similitud de coseno de SBERT y una guarda de banda de Levenshtein para filtrar el ruido.
Evaluación y Benchmarking:
- Benchmark Etiquetado: Un conjunto de datos de 1,020 pares de pasos fue etiquetado manualmente por tres autores utilizando una rúbrica compartida (Fleiss' $\kappa$ = 0.84 en un solapamiento de 60 pares).
- Control de Circularidad: Para abordar la amenaza de que las reglas de la rúbrica basadas en puntuación (R1–R3) sesguen el detector, se introdujo un protocolo de reetiquetado de segunda pasada "libre de puntuación". Este protocolo utiliza reglas deterministas de reescritura de texto (p. ej., identidad de multiconjunto de tokens, contención de subsecuencias) sin acceder a las puntuaciones de similitud.
- Líneas Base: El estudio compara las estrategias propuestas contra dos líneas base léxicas clásicas: Jaccard de conjunto de tokens (estilo SourcererCC) y coseno de n-gramas de caracteres TF-IDF (estilo NiCad).

Contribuciones Clave

El Corpus Transorganizacional más Grande: Un conjunto de datos de 1.1 millones de pasos de Gherkin a través de 347 repositorios, publicado con etiquetas de licencia SPDX y una hoja de datos (datasheet) al estilo de Gebru.
Primer Benchmark Público de BDD: Un benchmark etiquetado de 1,020 pares con alta concordancia inter-anotador, diseñado específicamente para calibrar detectores de duplicación.
Protocolo de Reetiquetado Libre de Puntuación: Una contribución metodológica para limitar la circularidad entre los detectores basados en puntuación y las rúbricas de evaluación basadas en puntuación.
Modelo de Ahorro por Consolidación: Un modelo cuantitativo que mapea los clústeres detectados con las características de calidad ISO/IEC 25010 (específicamente subcaracterísticas de mantenibilidad como modificabilidad y reusabilidad).
Herramientas de Código Abierto: La herramienta cukereuse, el pipeline de análisis y todos los artefactos se liberan bajo licencias permisivas.

Resultados

Prevalencia de Duplicación: La tasa de duplicación exacta ponderada por pasos es del 80.2%. El repositorio mediano tiene una tasa de duplicación del 58.6%. El clúster híbrido más frecuente ("the response status is 200 OK") aparece 20,737 veces en 2,245 archivos.
Rendimiento de la Detección:
- Bajo la rúbrica primaria, la estrategia semántica alcanzó un F1 de 0.906, pero esto se identificó como un artefacto de estratificación (recall = 1.000 debido a las reglas de la rúbrica).
- Bajo el reetiquetado libre de puntuación (la métrica "honesta"), la estrategia casi exacta (Levenshtein) funcionó mejor con un F1 de 0.822.
- La estrategia semántica cayó a F1 = 0.772 bajo las etiquetas libres de puntuación, mientras que las líneas base léxicas alcanzaron F1 = 0.761 (Jaccard) y 0.799 (TF-IDF).
Potencial de Consolidación: El modelo estima que 893,357 ocurrencias de texto de pasos (aprox. 80% del corpus) son susceptibles de consolidación bajo coincidencia exacta. En un repositorio mediano, el 62.5% de las líneas de pasos son eliminables.

Significancia y Reivindicaciones
El artículo afirma cerrar una brecha específica y medible en las herramientas de calidad de BDD al proporcionar el primer detector de pasos duplicados estático, robusto ante la paráfrasis y transorganizacional. La significancia no radica en pretender resolver todos los problemas de calidad de BDD, sino en proporcionar los artefactos empíricos necesarios (corpus, benchmark y herramienta) para permitir la investigación futura y la aplicación práctica.

Los autores declaran explícitamente que los clústeres detectados se mapean con las subcaracterísticas de mantenibilidad de ISO/IEC 25010 (modificabilidad, modularidad, reusabilidad, analizabilidad, testabilidad) e indirectamente con la fiabilidad mediante la prevención de la deriva (drift). Sin embargo, el artículo mantiene la modestia respecto al impacto económico: cuantifica la "superficie eliminable" (líneas de texto), pero no traduce estas cifras a ahorros monetarios o de horas-persona, señalando que tal traducción requiere una calibración de costes específica de la organización que está fuera del alcance de los datos liberados. El trabajo sirve como un benchmark fundacional y un conjunto de herramientas para que la comunidad replique, extienda y aplique a sus propios entornos de código.