🤖 machine learning

Categorical Robustness Assessment for Machine Learning based Network Intrusion Detection Systems

Este artículo evalúa la robustez adversarial de los clasificadores CNN, LSTM y Random Forest en el conjunto de datos ACI-IoT-2023, revelando que mientras Random Forest logra una precisión base superior, colapsa ante perturbaciones mínimas, mientras que las CNN demuestran una resiliencia significativamente mayor y una degradación gradual, lo que conduce a una recomendación de arquitecturas basadas en CNN en entornos de detección de intrusiones de red adversariales.

Autores originales: Mayank Raj, Nathaniel D. Bastian, Lance Fiondella, Gokhan Kul

Publicado 2026-06-11

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Mayank Raj, Nathaniel D. Bastian, Lance Fiondella, Gokhan Kul

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás contratando a un guardia de seguridad para vigilar un aeropuerto concurrido. Tienes tres candidatos:

El "Contador Perfecto" (Random Forest): Este guardia tiene un historial perfecto en el entrenamiento. Puede detectar una identificación falsa o una bolsa sospechosa el 99.98% de las veces. Parece la opción obvia.
El "Buen Conversador" (CNN): Este guardia también es muy bueno, con una puntuación de alrededor del 99% en el entrenamiento. Es conocido por ser adaptable y por ver el "panorama general".
El Guardia de la "Memoria" (LSTM): Este guardia también es excelente, con una puntuación de alrededor del 99.3% en el entrenamiento. Es bueno recordando secuencias de eventos.

El artículo plantea una pregunta simple: ¿Qué pasa cuando un ladrón astuto intenta engañar a estos guardias?

Los investigadores no solo les pidieron a los guardias que miraran bolsas normales; les dieron "trucos de magia" (llamados ataques adversarios). Estos son cambios diminutos, casi invisibles en los datos, como un ladrón que usa un sombrero que parece normal al ojo pero confunde el cerebro del guardia.

Esto es lo que pasó cuando aparecieron los "ladrones":

1. El Guardia "Perfecto" se desmoronó

El Contador (Random Forest) fue la gran sorpresa. Aunque tenía la puntuación más alta en el entrenamiento, en el momento en que se usó un truco diminuto (un cambio muy pequeño en los datos), su rendimiento colapsó.

La analogía: Imagina una casa construida con una pared rígida y de bloques. Si la empujas apenas un poquito en el lugar exacto equivocado, toda la estructura se cae. La toma de decisiones del Contador es como esa pared rígida. Un pequeño empujón hace que piense que una bolsa "Benigna" (segura) es una "Bomba", o viceversa. Su precisión cayó del 99.98% a solo un 26.8% con el truco más pequeño.
La lección: El hecho de que alguien tenga una puntuación perfecta en un examen no significa que pueda manejar un truco del mundo real.

2. El "Buen Conversador" mantuvo su posición

El CNN (Red Neuronal Convolucional) fue el héroe de la historia. Cuando se usaron los mismos trucos diminutos, solo perdió un poco de su precisión.

La analogía: Imagina que el guardia CNN es como una hoja de goma flexible. Si la golpeas, se dobla y se tambalea, pero no se rompe. Absorbe los pequeños cambios y sigue haciendo su trabajo. Incluso cuando los trucos se volvieron más grandes y agresivos, el guardia CNN se degradó de forma lenta y elegante, en lugar de desmoronarse instantáneamente.
El resultado: El CNN mantuvo un 95.5% de precisión con trucos pequeños, mientras que el Contador falló de inmediato.

3. El Guardia de la "Memoria" quedó en el medio

El guardia LSTM estuvo bien. Eran más flexibles que el rígido Contador, pero no tan estables como el CNN. Mantuvieron su posición mejor que el Contador, pero eventualmente tuvieron dificultades cuando los trucos se volvieron muy fuertes.

La Gran Sorpresa: El Problema del "Falso Campeón"

El artículo introduce un concepto llamado el "Problema del Falso Campeón".
En el pasado, si querías el mejor sistema de seguridad, elegías el que tuviera la mayor puntuación de precisión. Este artículo dice que eso es peligroso.

El "Campeón" (Random Forest) parecía la mejor opción porque tenía la puntuación más alta.
Pero en una pelea real contra un atacante astuto, era el más débil.
El "Subcampeón" (CNN) era en realidad el luchador más fuerte.

Por qué algunos guardias fallaron en tareas específicas

Los investigadores también analizaron tipos específicos de "ladrones" (tipos de ataques):

Los Ladrones Raros: Algunos ataques, como el "ARP Spoofing", eran tan raros en los datos de entrenamiento que ninguno de los guardias podía detectarlos bien desde un principio. Es como intentar enseñar a un guardia a detectar un unicornio cuando solo le han mostrado caballos.
Los Ladrones Comunes: Ataques como los "Port Scans" eran muy comunes. Los guardias fueron excelentes detectándolos hasta que se usaron los "trucos de magia".
Los Ladrones de "Reconocimiento": Estos son los espías que observan antes de atacar. El artículo encontró que todos los guardias tuvieron dificultades significativas cuando estos espías específicos fueron disfrazados con trucos.

El Veredicto Final para los Equipos de Seguridad

Si estás construyendo un sistema de seguridad para el mundo real (como proteger dispositivos IoT), el artículo te da este consejo:

No te fijes solo en las puntuaciones de las pruebas. Una puntuación alta puede ser una mentira si el sistema es frágil.
Elige la "Hoja de Goma" (CNN). Aunque pueda tener una puntuación ligeramente inferior en un mundo perfecto, es mucho más difícil de engañar. Maneja mejor la presión y no colapsa instantáneamente.
Ten cuidado con los ataques raros. Si un tipo de ataque es muy raro, ningún entrenamiento podrá hacer que el sistema sea perfecto para detectarlo, especialmente si un ladrón intenta ocultarlo.

En resumen: El artículo demuestra que en el mundo de la seguridad informática, la flexibilidad es más importante que una puntuación perfecta. El modelo que parece perfecto en el papel puede ser el primero en romperse cuando los verdaderos problemas comienzan.

Resumen Técnico: Evaluación de la Robustez Categórica para Sistemas de Detección de Intrusiones en Redes Basados en Aprendizaje Automático

Planteamiento del Problema

Los Sistemas de Detección de Intrusiones en Redes (NIDS) basados en Aprendizaje Automático (ML) han alcanzado una precisión de clasificación casi perfecta en conjuntos de datos de referencia, sin embargo, albergan una vulnerabilidad crítica: un fallo catastrófico bajo perturbaciones adversarias. Si bien trabajos previos han establecido que los modelos de ML pueden ser manipulados mediante perturbaciones cuidadosamente diseñadas en los datos de tráfico de red, existe una falta de comparación sistemática y transversal entre arquitecturas bajo condiciones controladas. Específicamente, la relación entre la precisión base y la robustez adversaria sigue estando mal comprendida, lo que deja a los profesionales sin una guía clara sobre qué modelos desplegar en entornos combatidos. Este artículo introduce el "Problema del Falso Campeón", donde los modelos con la mayor precisión base pueden sufrir la degradación más severa bajo un ataque adversario, invalidando los paradigmas de evaluación convencionales para aplicaciones críticas de seguridad.

Metodología

El estudio emplea un marco de evaluación de robustez adversaria multidimensional para evaluar tres arquitecturas de ML fundamentalmente distintas:

Red Neuronal Convolucional (CNN): Una arquitectura profunda totalmente conectada con regularización de estilo convolucional (Normalización por Lotes, Dropout).
Red de Memoria de Corto Plazo de Largo Alcance (LSTM): Un modelo secuencial que trata los flujos de red como secuencias de un solo paso temporal para aprovechar los mecanismos de compuerta para la interacción de características.
Bosque Aleatorio (Random Forest - RF): Un ensamble libre de gradiente de árboles de decisión que utiliza la partición recursiva de características alineadas con los ejes.

Conjunto de Datos:
La evaluación utiliza el conjunto de datos ACI-IoT-2023, que comprende más de 1.23 millones de muestras de flujos de red etiquetadas a través de 12 clases de ataque (agrupadas en 5 categorías: Benigno, Reconocimiento, DoS, Fuerza Bruta, Suplantación/Spoofing). El conjunto de datos refleja un desequilibrio de clases del mundo real, donde el Escaneo de Puertos (Port Scan) comprende el 35.8% de las muestras y el ARP Spoofing representa menos del 0.01%.

Modelos de Ataque:

Ataques de Caja Blanca (White-Box): Se aplicaron el Método de Signo de Gradiente Rápido (FGSM) y el Descenso de Gradiente Proyectado (PGD) a las redes neuronales diferenciables (CNN, LSTM) con presupuestos de perturbación ( $\epsilon$ ) de 0.01, 0.05 y 0.1.
Ataques de Transferencia: Los ejemplos adversarios generados contra la CNN se utilizaron para atacar al Random Forest no diferenciable, simulando un escenario de caja gris.
Evaluaciones Adicionales: El marco incluye el cálculo de la puntuación CLEVER (robustez certificada), análisis de perturbabilidad, análisis de cambio de distribución (desplazamiento de covariables y de etiquetas) y reconstrucción basada en difusión para probar la generalización.

Contribuciones Clave

Definición y Validación del "Problema del Falso Campeón": El artículo define formalmente y valida empíricamente la relación inversa entre la precisión base y la robustez adversaria en los NIDS. Demuestra que la alta precisión en datos limpios no es un indicador fiable de la resiliencia de seguridad.
Análisis Arquitectónico de la Robustez: El estudio vincula propiedades arquitectónicas específicas con los resultados de robustez. Identifica que las fronteras de decisión alineadas con los ejes y basadas en umbrales de los ensambles de árboles (RF) crean superficies discontinuas que son fácilmente explotadas por perturbaciones mínimas. Por el contrario, las arquitecturas neuronales (CNN, LSTM) aprenden representaciones distribuidas y continuas con fronteras de decisión más suaves, lo que confiere una regularización inherente y una mayor robustez.
Mapeo de Vulnerabilidad Categórica: La investigación revela que la vulnerabilidad adversaria no es uniforme; varía drásticamente entre las categorías de ataque. Los ataques de reconocimiento (p. ej., Ping Sweep, OS Scan) exhiben una vulnerabilidad universal en todas las arquitecturas, mientras que los ataques de Fuerza Bruta permanecen relativamente estables.
Marco de Evaluación Integral: Los autores introducen un protocolo de evaluación multidimensional que integra ataques basados en gradientes, métricas certificadas (CLEVER), puntuación de perturbabilidad y análisis de cambio de distribución, estableciendo un nuevo estándar para evaluar sistemas de ML críticos para la seguridad.

Resultados Experimentales

Rendimiento Base: El Random Forest logró la mayor precisión base (99.98%), seguido por LSTM (99.36%) y CNN (99.06%).
Degradación Adversaria:
- Random Forest: Sufrió un colapso catastrófico. Bajo la perturbación mínima de FGSM ( $\epsilon = 0.01$ ), la precisión cayó 73 puntos porcentuales (de 99.98% a 26.8%), y la puntuación F1 cayó un 88%. El rendimiento se mantuvo plano a medida que aumentaba la perturbación, indicando fronteras de decisión frágiles.
- CNN: Demostró una degradación gradual. En $\epsilon = 0.01$ , retuvo un 95.5% de precisión. Incluso en $\epsilon = 0.1$ (PGD), mantuvo un 28.7% de precisión, superando significativamente al RF en términos de estabilidad.
- LSTM: Tuvo un desempeño intermedio, reteniendo un 85.0% de precisión en $\epsilon = 0.01$ (FGSM), pero degradándose más bruscamente que la CNN bajo perturbaciones mayores.
Hallazgos a Nivel de Clase: Las clases minoritarias (p. ej., ARP Spoofing, UDP Flood) ya eran débiles en la base debido a la escasez de datos y se volvieron completamente indetectables bajo ataque. Los ataques de reconocimiento mostraron las puntuaciones CLEVER más bajas (<1.5), indicando una alta vulnerabilidad, mientras que las clases de Fuerza Bruta mostraron mayor robustez.
Transferibilidad: Los ejemplos adversarios generados contra la CNN se transfirieron exitosamente al Random Forest, confirmando que la transferibilidad entre paradigmas es un riesgo significativo.

Significado y Reivindicaciones

El artículo sostiene que la sabiduría convencional de seleccionar modelos de NIDS basándose únicamente en la precisión base es fundamentalmente errónea en entornos adversarios. El principal significado de este trabajo radica en el cambio de enfoque de la "maximización de la precisión" hacia la "selección de arquitectura consciente de la robustez".

Los autores concl𝗰uyen que las arquitecturas basadas en CNN son las más adecuadas para los despliegues de NIDS en producción en entornos de amenazas adversarias debido a sus superficies de decisión suaves y continuas y su degradación proporcional y predecible bajo ataque. Recomiendan no desplegar Random Forests en tales entornos, a pesar de su rendimiento superior en datos limpios, ya que sus fronteras de decisión basadas en umbrales los hacen catastróficamente vulnerables a perturbaciones mínimas. El estudio proporciona orientación de despliegue específica según el escenario, sugiriendo CNNs para la detección temprana y el uso en producción, mientras señala que la detección de reconocimiento requiere un endurecimiento adicional (p. ej., entrenamiento adversario) independientemente de la arquitectura elegida.