Evaluation of AutoML Frameworks for IDS under Imbalanced Data Conditions of the NSL-KDD Dataset

Resumen Técnico: Evaluación de Marcos de Trabajo AutoML para IDS bajo Condiciones de Desequilibrio de Datos del Conjunto de Datos NSL-KDD

Planteamiento del Problema
Los Sistemas de Detección de Intrusiones de Red (NIDS) dependen cada vez más del aprendizaje automático (ML) para identificar actividades maliciosas. Sin embargo, persiste un desafío crítico: el severo desequilibrio de clases inherente a los conjuntos de datos de tráfico de red del mundo real, como NSL-KDD. En estos conjuntos de datos, las categorías de ataque minoritarias (específicamente Remote-to-Local [R2L] y User-to-Root [U2R]) están significativamente subrepresentadas en comparación con las clases mayoritarias (Normal y Denegación de Servicio). Este desequilibrio sesga los procesos de aprendizaje estándar hacia las clases mayoritarias, lo que resulta en un desempeño de detección deficiente para ataques poco frecuentes. Aunque los marcos de trabajo de Aprendizaje Automático Automatizado (AutoML) ofrecen la posibilidad de agilizar el flujo de trabajo de ML mediante el preprocesamiento automatizado, la selección de algoritmos y la optimización de hiperparámetros, su efectividad para manejar el desequilibrio multiclasa severo dentro del dominio de NIDS permanece poco explorada. Estudios previos a menudo simplifican este problema convirtiéndolo en una clasificación binaria o eliminando las clases minoritarias, por lo que no proporcionan una evaluación realista de los comportamientos de aprendizaje sensibles al desequilibrio.

Metodología
Este trabajo realiza un análisis comparativo de nueve marcos de trabajo de código abierto aplicados al conjunto de datos NSL-KDD bajo un protocolo experimental unificado y reproducible. El estudio preserva la distribución original de cinco clases (Normal, DoS, Probe, R2L, U2R) para mantener la severidad del desequilibrio, en lugar de simplificar la tarea.

Los marcos evaluados incluyen:

• AutoGluon, PyCaret, TPOT, H2O AutoML, Auto-Sklearn, FLAML, LazyPredict, Auto-PyTorch y AutoKeras.

El diseño experimental se centra en las arquitecturas internas de estos marcos, analizando específicamente:

1. Construcción del Pipeline: Cómo cada marco maneja la carga de datos, la división y la evaluación iterativa.
2. Estrategias de Optimización: El uso de programación genética (TPOT), optimización bayesiana (Auto-Sklearn, Auto-PyTorch, AutoKeras), optimización frugal de costos (FLAML) y búsqueda de arquitectura neuronal (AutoKeras, Auto-PyTorch).
3. Mecanismos de Manejo de Desequilibrio: La presencia y activación de remuestreo nativo (por ejemplo, SMOTE), ponderación de clases y estrategias de ensamble.

El estudio utiliza el subconjunto KDDTest+ para la evaluación. El desempeño se mide utilizando macro-F1 score, weighted-F1, precisión (accuracy), precisión (precision) y exhaustividad (recall). Crucialmente, la métrica macro-F1 se prioriza para asegurar que la discriminación de las clases minoritarias no sea enmascarada por una alta precisión general. Los resultados se comparan con trabajos relacionados que emplean flujos de trabajo diseñados a mano y optimizados manualmente.

Resultos Clave
La evaluación revela disparidades significativas en el desempeño entre los marcos, correlacionadas directamente con su capacidad para manejar el desequilibrio de clases:

• Mejores Desempeños: PyCaret logró el mejor desempeño general con un macro-F1 de 66%, seguido por AutoGluon con 55%. El éxito de PyCaret se atribuye a su diseño modular que utiliza stacking, ensambles y una optimización de hiperparámetros refinada (vía Optuna). El desempeño de AutoGluon proviene de su estrategia de ensamble ponderado, que combina jerárquicamente modelos (NeuralNetFastAI, Extra Trees y LGBM) para mitigar el dominio de la clase mayoritaria.
• Peores Desempeños: Los marcos que carecen de soporte nativo para el equilibrio o aquellos que priorizan la eficiencia computacional sobre espacios de búsqueda complejos mostraron una degradación significativa. TPOT y FLAML lograron macro-F1 de 49% y 48%, respectivamente. LazyPredict, que no ofrece optimización de hiperparámetros ni soporte de equilibrio, también tuvo un desempeño pobre.
• Comparación con Modelos Diseñados a Mano: El estudio observa que las arquitecturas diseñadas a mano (por ejemplo, Random Forest especializado, Gradient Boosting y Voting Ensembles de literatura previa) generalmente superaron a los marcos de AutoML configurados por defecto, logrando macro-F1 entre 68.99% y 71.10%. Esto sugiere que, si bien el AutoML proporciona bases sólidas, actualmente carece de la adaptación específica al conjunto de datos (selección de características, ponderación adaptativa, submuestreo) que encuentran las soluciones ajustadas manualmente.
• Sensibilidad de la Métrica: Los resultados demuestran que la optimización orientada a la precisión es insuficiente para escenarios de IDS desequilibrados. Los marcos que optimizan para la precisión suelen coexistir con un pobre desempeño de generalización en categorías de ataques raros.

Contribuciones y Significado
El artículo establece un benchmark estandarizado para evaluar la detección de intrusiones basada en AutoML bajo un desequilibrio multiclasa severo. Sus principales contribuciones incluyen:

1. Evaluación Realista: Al preservar la distribución original de cinco clases de NSL-KDD, este trabajo evita los errores de la simplificación binaria, ofreciendo una prueba más rigurosa del aprendizaje consciente del desequilibrio.
2. Análisis Arquitectónico: El estudio identifica que los marcos que incorporan el aprendizaje de ensamble y la optimización consciente del desequilibrio (como el remuestreo explícito o la ponderación de clases) superan significativamente a los que no lo hacen.
3. Identificación de Limitaciones: El trabajo destaca que los flujos de trabajo de AutoML actuales a menudo dependen de espacios de búsqueda generalizados sin adaptación específica al conjunto de datos, lo que limita su efectividad para detectar ataques raros como R2L y U2R en comparación con las soluciones diseñadas a mano.
4. Reproducibilidad: Los autores proporcionan un repositorio de código fuente públicamente disponible para asegurar la reproducibilidad del protocolo experimental.

Conclusión
El artículo concluye que, si bien los marcos de AutoML como PyCaret y AutoGluon pueden proporcionar bases competitivas para NIDS, actualmente enfrentan limitaciones para manejar el desequilibrio de clases extremo sin intervención manual o configuración específica. Los autores abogan por la futura integración de estrategias de equilibrio nativas —como el sobremuestreo automatizado, la ponderación de clases y la validación estratificada— directamente en los procedimientos de búsqueda y optimización de AutoML para mejorar la adaptabilidad y robustez en aplicaciones de ciberseguridad.