Improving Requirements Classification with SMOTE-Tomek Preprocessing

Resumen Técnico: Mejora de la Clasificación de Requisitos con Preprocesamiento SMOTE-Tomek

Enunciado del Problema
La ingeniería de requisitos (RE) es crítica para traducir las necesidades de los interesados en especificaciones del sistema, no obstante, la clasificación de requisitos a menudo sigue siendo un proceso manual e inconsistente. Aunque el aprendizaje automático (ML) ofrece automatización, su aplicación se ve obstaculizada por un desequilibrio severo de clases en conjuntos de datos del mundo real, específicamente en el conjunto de datos PROMISE, ampliamente utilizado. Este conjunto de datos contiene 969 requisitos de software categorizados en 12 tipos distintos (uno funcional y 11 subtipos no funcionales). La distribución está altamente sesgada; por ejemplo, la categoría "Portabilidad" representa solo el 1.24% de los datos, mientras que "Seguridad" comprende el 12.9%. Este desequilibrio provoca que los modelos estándar de ML se inclinen hacia las clases mayoritarias, resultando en una generalización deficiente y un bajo rendimiento en las clases minoritarias. Además, aunque los modelos de aprendizaje profundo (DL) han avanzado significativamente en el Procesamiento del Lenguaje Natural (NLP), su dependencia de conjuntos de datos masivos y recursos computacionales los hace menos prácticos para proyectos de RE con recursos limitados.

Metodología
Este estudio propone una estrategia de preprocesamiento híbrida que combina SMOTE (Técnica de Sobremuestreo Sintético de la Minoría) y Enlaces de Tomek (SMOTE-Tomek) para abordar tanto el desequilibrio de clases como el ruido en los datos.

• Representación de Datos: Los requisitos de texto no estructurado se convierten en vectores numéricos utilizando Frecuencia de Término-Inverso de Frecuencia de Documento (TF-IDF).
• Proceso SMOTE-Tomek:
  1. Sobremuestreo: SMOTE genera muestras sintéticas para las clases minoritarias mediante interpolación lineal entre muestras existentes y sus vecinos más cercanos, mejorando la diversidad de clases sin una simple duplicación.
  2. Limpieza: Los Enlaces de Tomek identifican y eliminan pares de muestras que son vecinos más cercanos mutuos pero que pertenecen a clases diferentes (típicamente muestras limítrofes o ruidosas). Este paso elimina al miembro de la clase mayoritaria de dichos pares para mejorar la separabilidad de clases.
• Marco de Validación: Para garantizar una evaluación rigurosa y prevenir la fuga de datos, el estudio emplea Validación Cruzada Estratificada de 10 pliegues. Crucialmente, el remuestreo SMOTE-Tomek se aplica solo a los pliegues de entrenamiento (9 pliegues) en cada iteración, dejando el pliegue de validación (1 pliegue) intacto para preservar la distribución original de los datos.
• Modelos Evaluados: El estudio compara un conjunto diverso de algoritmos clásicos de ML, incluyendo Regresión Logística (LR), Árboles de Decisión, Bosque Aleatorio, Máquinas de Vectores de Soporte (kernels Lineal y RBF), Naive Bayes, Vecinos Más Cercanos (KNN), Boosting de Gradiente, AdaBoost y CatBoost.

Contribuciones Clave

1. Aplicación Sistemática: El artículo aplica SMOTE-Tomek dentro de un marco de K-fold estratificado diseñado específicamente para mantener los conjuntos de validación libres de artefactos de remuestreo, asegurando una evaluación imparcial de las capacidades de generalización.
2. Evaluación Comparativa: Proporciona un análisis de rendimiento exhaustivo de modelos clásicos de ML en el conjunto de datos PROMISE desequilibrado, demostrando que los modelos ligeros pueden lograr alta eficiencia sin la sobrecarga computacional del aprendizaje profundo.
3. Análisis de Interpretabilidad: Al utilizar la Regresión Logística, el estudio analiza los coeficientes de las características para interpretar la relación entre palabras específicas y tipos de requisitos, ofreciendo perspectivas sobre cómo el preprocesamiento estabiliza el aprendizaje de características.

Resultados
La integración de SMOTE-Tomek produjo mejoras significativas en múltiples métricas, particularmente para la Regresión Logística:

• Regresión Logística (LR): Logró el mejor rendimiento, mejorando la precisión media de una línea base de 58.31% ± 2.05% a 76.16% ± 2.58%. El Coeficiente de Correlación de Matthews (MCC) aumentó aproximadamente un 7% (de 0.4181 a 0.6736). La optimización de hiperparámetros (C=10, regularización L2, solucionador SAGA) refinó aún más estos resultados.
• Otros Modelos: Naive Bayes y Boosting de Gradiente también vieron ganancias sustanciales, superando el 70% de precisión. La SVM Lineal mejoró de 71.10% a 74.20%.
• Resultados Negativos: Por el contrario, los métodos de ensamble como AdaBoost y Bosque Aleatorio funcionaron mal o se degradaron significativamente después del preprocesamiento (la precisión de AdaBoost cayó al 16.10%), lo que sugiere que estos algoritmos específicos son altamente sensibles a la distribución remuestreada en este contexto.
• Estabilidad de Características: El análisis de los coeficientes de LR reveló que el modelo de línea base exhibía pesos extremos y variables para las clases minoritarias (indicando sobreajuste al ruido). En contraste, el enfoque SMOTE-Tomek estabilizó estos coeficientes, forzando al modelo a depender de un conjunto más robusto y generalizado de características léxicas.

Significado y Afirmaciones
El artículo afirma que SMOTE-Tomek proporciona una solución robusta, escalable e interpretable para la clasificación de requisitos en conjuntos de datos desequilibrados. Demuestra que los modelos clásicos de ML, cuando se combinan con un preprocesamiento adecuado, pueden manejar eficazmente las sutilezas del conjunto de datos PROMISE sin requerir los extensos recursos computacionales del aprendizaje profundo. El estudio enfatiza que, aunque los resultados son prometedores, el tamaño reducido y la variedad limitada del conjunto de datos PROMISE siguen siendo una restricción. Los autores posicionan este trabajo como un enfoque práctico para entornos con recursos limitados y sugieren que la metodología es aplicable a otros dominios que enfrentan desafíos similares de desequilibrio de datos, como el análisis de documentos legales o de salud. Se propone trabajo futuro para explorar conjuntos de datos más grandes y enfoques híbridos que combinen modelos ligeros con aprendizaje profundo.