Machine Learning for Network Attacks Classification and Statistical Evaluation of Machine Learning for Network Attacks Classification and Adversarial Learning Methodologies for Synthetic Data Generation

Resumen Técnico: Clasificación y Evaluación Estadística de Metodologías de Aprendizaje Adversarial para la Generación de Datos Sintéticos en Ataques de Red

1. Planteamiento del Problema

La detección de intrusiones en redes (NIDS) basada en aprendizaje supervisado enfrenta desafíos críticos en la era de la Inteligencia Artificial (IA). Los ataques modernos son cada vez más sofisticados, utilizando técnicas como IA generativa (GenAI) y aprendizaje por refuerzo para evadir los sistemas de defensa. Además, existe una necesidad urgente de proteger datos personales dispersos en la web.
Los problemas principales identificados son:

• Falta de estabilidad y fiabilidad: Muchos modelos de detección se centran en métricas de clasificación altas pero carecen de robustez ante variaciones en los datos.
• Escasez de datos y desequilibrio: Los conjuntos de datos reales de intrusiones a menudo tienen clases desbalanceadas (pocos ejemplos de ciertos ataques) y carecen de datos de entrenamiento suficientes para modelos avanzados.
• Evaluación insuficiente de datos sintéticos: Aunque existen métodos para generar datos sintéticos (GANs, VAEs), falta una evaluación integral que combine fidelidad, utilidad y privacidad utilizando pruebas estadísticas no paramétricas robustas y marcos de trabajo unificados.

2. Metodología

El estudio se divide en dos tareas principales, utilizando un conjunto de datos unificado y multimodal llamado UMNIDS (creado a partir de CIC-IDS-2017, CIC-IoT-2023, UNSW-NB15 y CIC-DDoS-2019), que incluye datos a nivel de flujo, carga útil de paquetes y características contextuales temporales (~170,000 observaciones, 88 características).

A. Tarea 1: Clasificación de Ataques (Detección)

• Preprocesamiento: Eliminación de duplicados, codificación de etiquetas, análisis estadístico profundo (pruebas de normalidad, detección de valores atípicos usando IQR, Z-score, DBSCAN) y escalado robusto. Se aplicaron técnicas de remuestreo (SMOTE, ADASYN) solo en el conjunto de entrenamiento para evitar fugas de datos.
• Modelos: Se compararon modelos base (Regresión Logística, SVM) con modelos avanzados basados en árboles y ensambles (XGBoost, Random Forest, Extra Trees, Gradient Boosting).
• Validación: Se utilizó validación cruzada estratificada de 10 pliegues con optimización de hiperparámetros (Grid Search, Bayesian Optimization) y calibración de probabilidades.

B. Tarea 2: Generación de Datos Sintéticos

• Algoritmos Generativos: Se entrenaron y compararon diversas arquitecturas adversariales y generativas:
  • GANs básicas y avanzadas: Vanilla-GAN, WGAN, WGAN-GP, f-GANs (KLD y H2D).
  • Arquitecturas condicionales: CTGAN (con y sin mezclas Gaussianas Bayesianas), TVAE.
  • Modelos de difusión y LLM: XGBoost Diffusion Forest (XGB-DF) y DistilGPT2.
  • Privacidad: PATE-CTGAN (agregación privada de ensembles de profesores).
• Evaluación de Calidad: Se utilizó el marco Synthetic Data Vault (SDV) para métricas de calidad (fidelidad marginal y correlación) y diagnóstico (integridad estructural y adherencia a límites).
• Pruebas de Utilidad y Distingibilidad:
  • TRTS/TSTR: Entrenar en Real/Probar en Sintético y viceversa, comparado con Real/Real.
  • Distingibilidad: Clasificadores binarios (Random Forest, Regresión Logística) para ver si pueden distinguir entre datos reales y sintéticos.
• Evaluación Estadística Rigurosa:
  • Divergencias f: Medidas como Jensen-Shannon, Hellinger y Wasserstein.
  • Pruebas No Paramétricas: Test de Hotelling's T² regularizado (medias multivariantes), Norma de Frobenius (matrices de covarianza) y Discrepancia Máxima de Media (MMD) para distribuciones conjuntas.
  • Privacidad: Puntuación NNDR (Distancia al Vecino Más Cercano) para detectar fugas de datos (overfitting/copia de registros).

3. Contribuciones Clave

• Creación del Dataset UMNIDS: Unificación de múltiples conjuntos de datos de intrusiones en un espacio de características común, incorporando datos de flujo, carga útil y contexto temporal.
• Marco de Evaluación Híbrido: Primera integración del marco SDV con pruebas estadísticas no paramétricas robustas (Hotelling, Frobenius, MMD) y medidas de divergencia para evaluar datos sintéticos de redes.
• Análisis Comparativo Exhaustivo: Evaluación de una amplia gama de arquitecturas, desde GANs clásicas hasta modelos de difusión y LLMs, en el contexto específico de datos de ciberseguridad.
• Enfoque en Privacidad vs. Utilidad: Análisis del trade-off entre la protección de la privacidad (mediante arquitecturas como PATE) y la utilidad de los datos para entrenar modelos de detección.

4. Resultados Principales

• Clasificación: Los modelos basados en árboles y ensambles superaron significativamente a los modelos base. XGBoost mostró el mejor rendimiento, alcanzando un 96.40% de precisión y 96.29% de recall en pruebas, con alta estabilidad. SVM y Regresión Logística fallaron en este contexto complejo.
• Generación de Datos:
  • Mejores Modelos: CTGAN-2 (con mezclas Bayesianas), XGB-DF (Diffusion Forest) y DistilGPT2 obtuvieron puntuaciones de calidad SDV cercanas al 100% (ej. CTGAN-2: 98.91% Calidad, 100% Diagnóstico).
  • Fidelidad Estadística: CTGAN-2, XGB-DF y DistilGPT2 no mostraron diferencias estadísticamente significativas en las distribuciones conjuntas de características (p-valor > 0.05 en pruebas MMD y Hotelling), indicando que capturan fielmente la estructura de los datos reales.
  • Utilidad: En las pruebas TRTS y TSTR, los modelos mencionados arriba lograron métricas de precisión y recall casi idénticas a las del conjunto de datos real, demostrando alta utilidad para entrenar detectores de intrusiones.
  • Privacidad: El modelo PATE-CTGAN ofreció la mejor privacidad (NNDR > 0.96), pero a costa de una baja utilidad y fidelidad (fácilmente distinguible de datos reales y con pobre rendimiento en pruebas TRTS/TSTR).
  • Fallo de Modelos: Vanilla-GAN y WGAN mostraron inestabilidad en el entrenamiento y menor fidelidad. PATE-CTGAN falló en capturar la distribución multivariada debido a las restricciones de privacidad diferencial.

5. Significado e Impacto

Este trabajo demuestra que es posible generar datos sintéticos de alta calidad para dominios de ciberseguridad complejos, superando las limitaciones de los datos reales desbalanceados.

• Para la Investigación: Establece un nuevo estándar de evaluación que va más allá de las métricas de calidad visual, utilizando pruebas estadísticas rigurosas para validar la distribución multivariada de los datos generados.
• Para la Práctica: Proporciona a los investigadores y profesionales de la seguridad herramientas validadas (como CTGAN-2 o XGB-DF) para aumentar conjuntos de datos de entrenamiento, mejorando la robustez de los NIDS sin comprometer la privacidad de los datos reales.
• Futuro: Sugiere la necesidad de validar estos métodos en otros conjuntos de datos y explorar arquitecturas condicionales privadas con mezclas Bayesianas para manejar versiones desbalanceadas de los datos.

En conclusión, el estudio confirma que los modelos de aprendizaje profundo avanzados (especialmente los condicionales y de difusión), combinados con una evaluación estadística rigurosa, son la vía más prometedora para generar datos sintéticos fiables que permitan entrenar sistemas de defensa cibernética más robustos y estables.