💻 computer science

Assessing Generalisation Capability of Machine Learning Models for Intrusion Detection

Este estudio demuestra que, si bien los modelos de aprendizaje automático supervisado como Random Forest logran una alta precisión en conjuntos de datos específicos de detección de intrusiones, sufren una brecha de generalización significativa cuando se aplican a entornos de red no vistos, lo que resalta la necesidad urgente de modelos adaptativos y sensibles al contexto para abordar las amenazas de ciberseguridad en evolución.

Autores originales: Md Zakir Hossain, Md Ayshik Rahman Khan, Md Rafiqul Islam, Syed Mohammed Shamsul Islam, Tom Gedeon

Publicado 2026-05-07

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Md Zakir Hossain, Md Ayshik Rahman Khan, Md Rafiqul Islam, Syed Mohammed Shamsul Islam, Tom Gedeon

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás entrenando a un guardia de seguridad para detectar intrusos en un edificio.

La Configuración: Dos Edificios Diferentes
En este estudio, los investigadores entrenaron a sus "guardias" (que son programas informáticos llamados modelos de Aprendizaje Automático) utilizando datos de dos edificios muy diferentes:

Edificio A (UNSW-NB15): Una red de oficina estándar con tráfico informático típico.
Edificio B (TON_IoT): Una casa inteligente llena de dispositivos conectados a Internet, como cámaras, termostatos y neveras.

Los investigadores querían ver si un guardia entrenado en un edificio podía detectar con éxito a los malos en el otro edificio.

La Fase de Entrenamiento: Funcionando Muy Bien en Casa
Primero, probaron a los guardias en el mismo edificio donde fueron entrenados.

Utilizaron tres tipos de guardias: un Random Forest (un equipo de muchos tomadores de decisiones), una Regresión Logística (un seguidor simple de reglas) y un Naive Bayes (un adivinador de probabilidades).
El Resultado: Cuando los guardias se mantuvieron en su edificio de origen, estaban increíblemente agudos. El equipo "Random Forest" fue una superestrella, capturando el 95% de los intrusos en la oficina y casi el 100% en la casa inteligente. Parecía que habían dominado el trabajo.

La Prueba Real: El Desafío "Entre Edificios"
Luego, los investigadores intentaron algo complicado. Tomaron al guardia entrenado en la Oficina y lo enviaron a la Casa Inteligente a trabajar. Después, tomaron al guardia de la Casa Inteligente y lo enviaron a la Oficina.

El Resultado: El rendimiento se desplomó.
- El guardia superestrella "Random Forest", que era perfecto en su edificio de origen, de repente se confundió y solo capturó aproximadamente el 38% de los intrusos en el nuevo edificio.
- Los otros guardias lo hicieron aún peor, con algunos capturando menos del 10% de los malos.

¿Por Qué Sucedió Esto?
El artículo explica que los dos edificios eran demasiado diferentes.

"Uniformes" Diferentes: La red de oficina y la red de la casa inteligente hablaban "idiomas" diferentes (tenían características de datos distintas). Cuando los investigadores obligaron a los guardias a usar solo las pocas palabras que tenían en común (como la duración de una conexión o la cantidad de paquetes de datos enviados), los guardias perdieron las pistas específicas en las que confiaban para hacer su trabajo.
Patrones Diferentes: La oficina tenía una amplia variedad de patrones de tráfico, mientras que el tráfico de la casa inteligente estaba agrupado de manera diferente. Los guardias habían aprendido a reconocer los patrones específicos de su edificio de origen, no el concepto universal de "intrusión".

La Gran Lección
La conclusión principal es una advertencia: El hecho de que un sistema de seguridad parezca perfecto en un laboratorio de pruebas, no significa que funcionará en el mundo real.

Los autores comparan esto con la Computación Afectiva (un campo donde las computadoras intentan comprender las emociones humanas). Así como una computadora podría tener dificultades para leer el estado de ánimo de una persona si cambia la iluminación o el fondo, estos modelos de seguridad tienen dificultades para detectar ataques de red cuando cambia el entorno de la red.

Conclusión
El artículo concluye que debemos dejar de intentar solo obtener la puntuación más alta en una única prueba controlada. En su lugar, necesitamos construir sistemas de seguridad "adaptativos" que puedan aprender a reconocer comportamientos maliciosos incluso cuando el entorno cambia, muy parecido a un guardia humano que puede detectar a un ladrón ya sea que esté en un callejón oscuro o en un centro comercial iluminado.

Nota: Los autores mencionan que utilizaron una herramienta de IA (ChatGPT) solo para ayudar a corregir la gramática y hacer las oraciones más claras, pero los experimentos y resultados reales fueron realizados por los investigadores humanos.

Resumen Técnico: Evaluación de la Capacidad de Generalización de Modelos de Aprendizaje Automático para la Detección de Intrusos

Enunciado del Problema
La rápida expansión de los sistemas en red y del IoT ha intensificado las amenazas de ciberseguridad, exponiendo las limitaciones de los sistemas tradicionales de detección de intrusos (IDS) basados en firmas. Aunque los modelos de aprendizaje automático (ML) frecuentemente reportan alta precisión en conjuntos de datos de referencia específicos, este estudio identifica una brecha crítica: un alto rendimiento dentro de un único conjunto de datos no garantiza fiabilidad en entornos de red no vistos. Las evaluaciones existentes a menudo no tienen en cuenta la diversidad de los conjuntos de datos, las diferencias en la generación de tráfico y los cambios en la distribución de características, lo que conduce a modelos que pueden no generalizarse a escenarios del mundo real.

Metodología
El estudio evalúa la capacidad de generalización de modelos de ML supervisados utilizando dos conjuntos de datos públicos de detección de intrusos: UNSW-NB15 (tráfico de red general) y TON_IoT (tráfico IoT/IIoT).

Modelos: Se seleccionaron tres clasificadores supervisados para representar diferentes paradigmas de aprendizaje: Random Forest (conjunto), Regresión Logística (lineal) y Naive Bayes (probabilístico).
Configuraciones Experimentales:
1. Evaluación en el Mismo Conjunto de Datos: Los modelos se entrenaron y probaron en el mismo conjunto de datos utilizando una división de entrenamiento-prueba 70/30.
2. Evaluación Cruzada entre Conjuntos de Datos: Los modelos entrenados en un conjunto de datos se probaron en el otro para evaluar la generalización a través de diferentes entornos de red.
Ingeniería de Características: Para los experimentos cruzados entre conjuntos de datos, solo se retuvieron las siete características comunes compartidas por ambos conjuntos de datos: duration, proto, service, src_bytes, dst_bytes, src_pkts y dst_pkts. Esto fue necesario debido a las diferencias estructurales entre los conjuntos de datos.
Preprocesamiento: Los datos pasaron por limpieza (eliminación de duplicados, manejo de valores infinitos/faltantes), normalización (Min-Máx) y codificación de etiquetas. Se realizó un análisis de correlación de características para identificar redundancia.

Resultados Clave

Rendimiento en el Mismo Conjunto de Datos: Todos los modelos lograron un rendimiento sólido cuando se entrenaron y probaron en los mismos datos.
- Random Forest emergió como el mejor rendimiento, alcanzando una precisión del 95.08% en UNSW-NB15 y una precisión del 99.79% en TON_IoT.
- La Regresión Logística y Naive Bayes también mostraron resultados competitivos, particularmente en la recuperación, aunque con una precisión general menor que Random Forest.
Rendimiento Cruzado entre Conjuntos de Datos: Se observó una significativa "brecha de generalización". Cuando los modelos se entrenaron en un conjunto de datos y se probaron en el otro, el rendimiento cayó precipitadamente.
- Random Forest: Cayó a una precisión del 38.07% (UNSW-NB15 $\to$ TON_IoT) y una precisión del 39.54% (TON_IoT $\to$ UNSW-NB15).
- Regresión Logística: Rindió relativamente mejor en la dirección UNSW-NB15 $\to$ TON_IoT (77.79% de precisión), pero cayó al 38.24% en la dirección inversa.
- Naive Bayes: Mostró la generalización más débil, con precisiones tan bajas como 25.85% y 36.58%, y una recuperación extremadamente baja en algunas configuraciones.
Análisis de Características: Los mapas de calor de correlación revelaron características redundantes de volumen de tráfico. El análisis de importancia de características en el conjunto de datos TON_IoT indicó que los volúmenes de bytes/paquetes del lado de origen y las características relacionadas con DNS eran críticos para el modelo Random Forest, lo que sugiere que el modelo aprendió patrones específicos del conjunto de datos en lugar de firmas de ataque universales.

Contribuciones Clave

Evidencia Empírica del Fracaso de la Generalización: El estudio proporciona evidencia concreta de que una alta precisión en benchmarks en conjuntos de datos individuales (UNSW-NB15, TON_IoT) no se traduce en viabilidad cruzada entre conjuntos de datos.
Evaluación Cruzada entre Conjuntos de Datos: Al evaluar sistemáticamente los modelos a través de dos conjuntos de datos distintos utilizando un conjunto de características comunes restringido, el artículo destaca la fragilidad de los modelos IDS actuales cuando se enfrentan a cambios de dominio.
Análisis Comparativo: Los resultados se comparan con la literatura existente, mostrando que, si bien los resultados del estudio en el mismo conjunto de datos son competitivos o superiores a trabajos anteriores, el colapso cruzado entre conjuntos de datos es un hallazgo distintivo a menudo pasado por alto en las evaluaciones estándar.

Significado y Afirmaciones
El artículo afirma que la contribución principal no es meramente una comparación de clasificadores, sino la exposición de un notable problema de generalización en el aprendizaje automático de ciberseguridad. Los autores argumentan que la pronunciada disminución del rendimiento durante la evaluación cruzada entre conjuntos de datos demuestra que las altas puntuaciones en benchmarks a menudo enmascaran una falla para adaptarse a diversos tráficos de red.

El estudio enmarca este desafío dentro del contexto de la computación afectiva y la IA centrada en el humano. Establece un paralelo entre la dificultad de inferir estados latentes a partir de señales conductuales ruidosas y dependientes del contexto en la computación afectiva y el desafío de identificar actividad maliciosa a partir de comportamientos de red cambiantes. Los autores sugieren que las técnicas de estos campos, como el análisis de señales conductuales, la adaptación de dominio y la modelización consciente de la incertidumbre, podrían aprovecharse para desarrollar sistemas de detección de intrusos más robustos, adaptables y generalizables, capaces de operar en entornos de IoT y empresariales en evolución.

Limitaciones
Los autores reconocen que el pobre rendimiento cruzado entre conjuntos de datos puede atribuirse parcialmente al número limitado de características comunes (solo siete) utilizadas para la evaluación, lo que eliminó información específica del conjunto de datos disponible en las pruebas en el mismo conjunto de datos. Además, las diferencias en los entornos de generación de tráfico y en los comportamientos de ataque entre los dos conjuntos de datos contribuyeron al cambio de dominio.

Resumen Técnico: Evaluación de la Capacidad de Generalización de Modelos de Aprendizaje Automático para la Detección de Intrusos

Más como este