💻 computer science

Improving Test Case Prioritization in Continuous Integration Environments Using Multilayer Perceptron: An Empirical Comparative Study

Este estudio empírico demuestra que un Perceptrón Multicapa (MLP) supera significativamente a cinco algoritmos clásicos de aprendizaje automático en la priorización de casos de prueba dentro de entornos de integración continua, logrando una eficiencia de detección de fallos y una significancia estadística superiores a través de múltiples conjuntos de datos industriales.

Autores originales: MUSA ISYAKU, ABDULSALAM YA'U GITAL, HARUNA CHIROMA

Publicado 2026-09-29

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: MUSA ISYAKU, ABDULSALAM YA'U GITAL, HARUNA CHIROMA

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el vasto y acelerado mundo del desarrollo de software moderno, los programas se actualizan constantemente. Para mantener la fiabilidad de estos sistemas, los ingenieros ejecutan comprobaciones automatizadas llamadas pruebas de regresión cada vez que se realiza un cambio. Imagine una biblioteca masiva donde cada libro debe ser revisado en busca de daños cada vez que se añade una página nueva. Si un bibliotecario tuviera que revisar cada libro uno por uno, el proceso tardaría una eternidad y la biblioteca se quedaría atrás. En el software, esto significa esperar demasiado tiempo para encontrar una función defectuosa, lo que puede resultar costoso y frustrante. Para resolver esto, los investigadores utilizan una estrategia llamada priorización de casos de prueba. En lugar de ejecutar las pruebas en un orden aleatorio, intentan determinar qué pruebas específicas tienen más probabilidades de fallar primero. Al ejecutar las pruebas más sospechosas al principio de todo, los equipos pueden encontrar y solucionar problemas mucho más rápido, ahorrando tiempo y recursos.

Durante años, los científicos de la computación han intentado utilizar el aprendizaje automático para ayudar en esta tarea de clasificación. Estos son programas informáticos que aprenden de datos pasados para realizar predicciones. Sin embargo, un estudio reciente de la Universidad Abubakar Tafawa Balewa de Nigeria sugiere que, si bien existen muchos métodos, un tipo específico de modelo de aprendizaje podría ser el más eficaz para este trabajo. Los investigadores, Musa Isyaku, Abdulsalam Ya'u Gital y Haruna Chiroma, se propusieron ver si un modelo llamado Perceptrón Multicapa podía superar a otros métodos populares al clasificar miles de casos de prueba en un entorno de pruebas continuas. No se limitaron a suponerlo; pusieron a prueba el modelo contra otros cinco algoritmos establecidos utilizando datos del mundo real de empresas de robótica industrial y tecnología de redes.

El equipo recopiló una colección masiva de registros de pruebas históricos de ABB Robotics, una empresa que construye robots industriales. Este conjunto de datos contenía más de 64,000 ejecuciones de pruebas individuales de 106 ciclos de prueba diferentes. En este escenario del mundo real, la mayoría de las pruebas pasan con éxito, mientras que solo una pequeña fracción falla. Esto crea una situación complicada para los modelos informáticos: si un programa simplemente supone que todas las pruebas pasarán, acertará la mayor parte del tiempo, pero pasará por alto por completo las pocas pruebas que realmente fallan. Los investigadores necesitaban un modelo que pudiera detectar esos fallos poco comunes sin distraerse con el abrumador número de éxitos. Para asegurar que sus hallazgos no fueran una mera casualidad, también probaron su enfoque en otros tres conjuntos de datos industriales de diferentes empresas, comprobando si los resultados se mantenían en diferentes entornos.

Compararon su modelo elegido, el Perceptrón Multicapa, frente a otras cinco técnicas comunes de aprendizaje automático: Bosque Aleatorio (Random Forest), XGBoost, Regresión Logística, Máquina de Vectores de Soporte (Support Vector Machine) y k-Vecinos más Cercanos (k-Nearest Neighbors). Para que la comparación fuera justa, ejecutaron los seis modelos bajo las mismas condiciones exactas, utilizando la misma división de datos y los mismos métodos para ajustar sus configuraciones. El objetivo era ver qué modelo clasificaba las pruebas fallidas en la posición más alta de la lista, asegurando que se ejecutaran primero. Los investigadores midieron el éxito no solo por la frecuencia con la que el modelo acertaba en general, sino por la rapidez con la que podía identificar los fallos. Utilizaron una puntuación específica llamada Porcentaje Promedio de Fallos Detectados, que esencialmente mide qué tan temprano aparecen las pruebas defectuosas en la lista. Una puntuación más alta significa que el modelo es mejor detectando problemas de forma temprana.

Los resultados fueron claros y consistentes. En el conjunto de datos principal de ABB Robotics, el modelo Perceptrón Multicapa alcanzó una precisión del 99.77 por ciento y una puntuación del 86.35 por ciento en la métrica de detección de fallos. Aunque otros modelos funcionaron bien, el Perceptrón Multicapa clasificó consistentemente las pruebas fallidas ligeramente por encima de la competencia. Los investigadores utilizaron pruebas estadísticas rigurosas para confirmar que esta diferencia no se debía al azar. El análisis demostró que el Perceptrón Multicapa era estadísticamente superior a los otros cinco modelos, con un nivel de confianza que no dejaba lugar a dudas. Incluso cuando ajustaron las configuraciones de los modelos para ver si podían mejorarlos aún más, el Perceptrón Multicapa siguió siendo el mejor performer, mientras que algunos de los otros modelos en realidad empeoraron tras el ajuste.

Una de las lecciones más importantes de este estudio es sobre cómo medimos el éxito. Los investigadores descubrieron que observar solo la precisión general puede ser engañoso en este campo. Debido a que la mayoría de las pruebas pasan, un modelo puede tener una puntuación de precisión muy alta simplemente ignorando los fallos. El estudio demostró que para comprender verdaderamente qué tan bien funciona un sistema de priorización, uno debe observar qué tan bien encuentra la minoría de las pruebas fallidas y qué tan pronto las encuentra. El Perceptrón Multicapa destacó en esto, demostrando que los modelos de aprendizaje profundo pueden manejar la naturaleza compleja e irregular de los datos de prueba del mundo real mejor que los métodos tradicionales.

El estudio también analizó si este modelo podía funcionar con datos de diferentes empresas. Al ser probado en los conjuntos de datos de IOFROL, PAINTCONTROL y Westermo Network Technologies, el Perceptrón Multicapa mantuvo un sólido rendimiento, demostrando que no es solo un ajuste afortunado para un conjunto de datos específico, sino una herramienta robusta que puede adaptarse a diferentes contextos industriales. Los investigadores concluyeron que, para las organizaciones que ejecutan pruebas automatizadas a gran escala, adoptar este tipo específico de modelo de aprendizaje automático podría acelerar significamente el proceso de detección de errores. Al utilizar un modelo que aprende patrones complejos de la historia, los equipos de software pueden asegurar que sus pruebas más críticas se ejecuten siempre primero, manteniendo sus sistemas fiables y sus ciclos de desarrollo avanzando sin retrasos innecesarios.

Resumen Técnico: Mejora de la Priorización de Casos de Prueba en Entornos de Integración Continua mediante Perceptrón Multicapa

Planteamiento del Problema
La Priorización de Casos de Prueba (TCP, por sus siglas en inglés) es una técnica de optimización crítica en las pruebas de regresión de Integración Continua (CI), cuyo objetivo es reordenar los casos de prueba para detectar fallos lo antes posible. Si bien la literatura existente ha aplicado cada vez más el aprendizaje automático (ML) a la TCP, los estudios actuales presentan varias limitaciones: una falta de comparaciones empíricas sistemáticas entre modelos de aprendizaje profundo y modelos de ML clásicos bajo condiciones experimentales idénticas, una dependencia excesiva de la precisión de clasificación (lo cual es engañoso en conjuntos de datos con clases desbalanceadas) y un estudio insuficiente de la generalización entre distintos conjuntos de datos. Los entornos de pruebas de regresión industriales suelen sufrir de desbalance de clases (aproximadamente un 80% de casos de prueba que pasan frente a un 20% que fallan), lo que hace que las métricas de precisión estándar sean inadecuadas para evaluar la eficiencia en la detección de fallos.

Metodología
Este estudio emplea un enfoque de clasificación binaria supervisada para predecir la probabilidad de fallo de un caso de prueba ( $y=1$ ) basándose en atributos de ejecución históricos. La investigación utiliza un marco experimental unificado que involucra seis modelos de ML: un Perceptrón Multicapa (MLP) y cinco líneas base clásicas (Random Forest, XGBoost, Regresión Logística, Máquinas de Vectores de Soporte y k-Nearest Neighbors).

Conjuntos de Datos: La evaluación principal utiliza el conjunto de datos industrial ABB Robotics (64,024 ejecuciones de casos de prueba a través de 106 ciclos de CI). Para evaluar la generalización, se incluyeron tres conjuntos de datos industriales adicionales (IOFROL, PAINTCONTROL y Westermo Network Technologies).
Preprocesamiento: El flujo de trabajo consistió en el manejo de valores faltantes, la eliminación de atributos no informativos (por ejemplo, Id, Name), la transformación logarítmica de los atributos de duración (Duration) sesgados y la aplicación de StandardScaler. El desbalance de clases se abordó mediante el uso de ponderación de clase balanceada durante el entrenamiento.
Configuración del Modelo: Todos los modelos se implementaron dentro de un Pipeline de scikit-learn para evitar la fuga de datos (data leakage). El ajuste de hiperparámetros se realizó mediante GridSearchCV de 5 pliegues (5-fold) en el conjunto de entrenamiento, optimizando para la puntuación F1 de la clase minoritaria (fallo). La configuración óptima identificada para el MLP fue de dos capas ocultas (64, 32 neuronas), activación ReLU y una tasa de aprendizaje de 0.001.
Métricas de Evaluación: El rendimiento se midió utilizando Precisión (Accuracy), Precisión (Precision), Exhaustividad (Recall), F1-score y el Promedio de Porcentaje de Fallos Detectados (APFD). Se priorizó el APFD como la métrica principal para la TCP, ya que cuantifica la velocidad de detección de fallos.
Validación Estadística: Para abordar las limitaciones de una única división de entrenamiento-prueba, el estudio generó 1,000 remuestreos de bootstrap del conjunto de prueba retenido. Se aplicaron pruebas de rango de Wilcoxon para determinar la significancia estadística ( $\alpha=0.05$ ) y los tamaños del efecto ( $|r|$ ) entre el MLP y los modelos de línea base.

Resultos Clave
En el conjunto de datos primario ABB, el modelo MLP demostró un rendimiento de primer nivel, aunque con matices específicos en comparación con las líneas base:

Rendimiento: El MLP alcanzó un 99.77% de Precisión (Accuracy), 100% de Precision, 99.15% de Recall y un 99.57% de F1-score. Aunque XGBoost logró un F1-score por defecto marginalmente superior (0.9960 vs. 0.9957), el MLP igualó o superó a las líneas base en su configuración ajustada. El MLP alcanzó un APFD del 86.35%, empatando con la Regresión Logística y KNN, y superando ligeramente a XGBoost (86.25%) y SVM (86.33%) en el escenario ajustado.
Significancia Estadística: Las pruebas de rango de Wilcoxon confirmaron que la superioridad del MLP sobre las cinco líneas base fue estadísticamente significativa ( $p < 0.001$ ) con tamaños de efecto grandes ( $|r| \geq 0.98$ ). Notablemente, a pesar de que el MLP y Random Forest compartían un APFD medio idéntico de 0.8635 en el análisis de bootstrap, la prueba estadística arrojó un resultado significativo a favor del MLP, al igual que la comparación contra KNN, que también compartía el mismo AP de 0.8635.
Sensibilidad de Hiperparámetros: Mientras que XGBoost mostró un F1-score marginalmente más alto con parámetros por defecto, su rendimiento se degradó tras el ajuste (el APFD cayó a 86.25%), mientras que el MLP se mantuvo estable, lo que sugiere que el MLP es menos sensible a las variaciones de hiperparámetros en este conjunto de datos específico.
Generalización: El MLP demostró robustez en los conjuntos de datos IOFROL y PAINTCONTROL, manteniendo una alta precisión (aprox. 89–94%) y puntuaciones de APFD (aprox. 0.81–0.83), aunque el rendimiento varió en el conjunto de datos de Westermo debido al desbalance extremo de clases (bajo recall).

Contribuciones Clave

Comparación Empírica: Proporciona una comparación rigurosa y comparativa entre un modelo de aprendizaje profundo (MLP) y cinco algoritmos de ML clásicos bajo condiciones experimentales estrictamente idénticas en cuatro conjuntos de datos industriales.
Validación de Métricas: Demuestra empíricamente que la precisión de clasificación es una métrica poco fiable para la TCP en entornos de CI desbalanceados, abogando por el APFD y el F1-score como criterios de evaluación primarios.
Rigor Estadístico: Introduce un marco de validación robusto utilizando un remuestreo de bootstrap de 1,000 iteraciones combinado con pruebas de rango de Wilcoxon para establecer la significancia estadística en diseños experimentales de división única, incluso cuando las puntuaciones medias son idénticas.
Análisis de Hiperparámetros: Ofrece evidencia empírica sobre el impacto del ajuste de hiperparámetros, mostrando que, si bien el ajuste es beneficioso, la configuración óptima del MLP (dos capas ocultas, ReLU) es relativamente estable y menos compleja que el máximo del espacio de búsqueda.

Significancia y Reivindicaciones
El artículo sostiene que los Perceptrones Multicapa pueden modelar eficazmente las relaciones complejas y no lineales entre los atributos de los casos de prueba y las probabilidades de fallo, superando a las técnicas de ML tradicionales en tareas de TCP basadas en CI cuando se evalúan con métodos estadísticos rigurosos. El estudio postula que los modelos de aprendizaje profundo ofrecen una vía viable para mejorar las tasas de detección de fallos en entornos industriales.

Crucialmente, los autores enfatizan que sus hallazgos respaldan el despliegue de la TCP basada en MLP como una "mejora directa" (drop-in enhancement) para los flujos de trabajo de CI existentes, requiriendo únicamente datos de ejecución históricos. El estudio concluye que, si bien la precisión por sí sola es insuficiente para evaluar la TCP, la combinación de altos puntajes de APFD y una validación estadística rigurosa proporciona una fuerte evidencia para la adopción del MLP en las pruebas de regresión. Los autores señalan que el trabajo futuro debería explorar el aprendizaje en línea (online learning), la priorización consciente de costos (APFDc) y la explicabilidad, pero el presente estudio establece la eficacia fundacional del MLP sobre las líneas base clásicas en este dominio.

Más como este