Multi-Level Distributional Entropy for Explainable Network Intrusion Detection

Resumen Técnico: Entropía Distribuida Multinivel para la Detección de Intrusiones en Redes Explicable

Planteamiento del Problema
Los actuales Sistemas de Detección de Intrusiones (IDS) basados en Aprendizaje Automático dependen en gran medida de estadísticas de flujo agregadas (por ejemplo, conteos de paquetes, volúmenes de bytes, duración de la conexión) extraídas por herramientas como CICFlowMeter. Aunque son efectivas para la detección basada en magnitud, estos descriptores agregados descartan la estructura distributiva y secuencial del tráfico, la cual suele diferir sistemáticamente entre sesiones benignas y ataques. Las medidas informacionales tradicionales (por ejemplo, la entropía de Shannon, la Entropía Aproximada) son conocidas por capturar esta diferencia estructural, pero requieren secuencias ordenadas de datos de paquetes sin procesar. Dado que la mayoría de los entornos de prueba de IDS y los flujos operativos utilizan conjuntos de datos de flujo pre-agregados donde los paquetes sin procesar no están disponibles, existe una barrera práctica para integrar características basadas en la entropía. Además, los clasificadores de conjunto de alto rendimiento existentes suelen ser opacos, lo que crea desafíos de cumplimiento y auditoría en entornos regulados. Finalmente, los protocolos de evaluación predominantes suelen depender de puntuaciones F1 agregadas de un solo conjunto de datos, lo que puede ocultar modos de falla operativos críticos, tales como bajas tasas de detección (DR) o una generalización deficiente bajo desplazamientos temporales.

Metodología: El Marco MDE
Los autores proponen la Entropía Distribuida Multinivel (MDE), un marco analítico que deriva características de entropía interpretables directamente de las estadísticas de resumen de flujo agregadas, sin requerir acceso a paquetes sin procesar ni datos de entrenamiento. MDE opera en tres niveles complementarios:

1. Nivel 1 (Entropía Diferencial Gaussiana dentro del Flujo - ADE): Asume que los tamaños de los paquetes y los tiempos de llegada entre ellos siguen una distribución Gaussiana. Calcula la entropía diferencial ($h(X) = \frac{1}{2}\ln(2\pi e\sigma^2)$) utilizando la media y la desviación estándar disponibles en los registros de flujo. Esto captura la complejidad dentro del flujo; las herramientas de ataque suelen producir tráfico de baja varianza (regular), lo que resulta en una entropía menor en comparación con el tráfico benigno variable.
2. Nivel 2 (Divergencia de Jensen-Shannon Direccional - JSD): Mide la asimetría distributiva entre el tráfico hacia adelante (origen a destino) y hacia atrás (destino a origen). Aproxima la JSD entre dos distribuciones Gaussianas parametrizadas por las estadísticas de flujo. Esto captura desequilibrios direccionales comunes en ataques (por ejemplo, inundaciones de DDoS o escaneos de puertos) frente a la simetría bidireccional de las sesiones benignas.
3. Nivel 3 (Entropía de Shannon de Patrones de Flags TCP): Calcula la entropía de Shannon sobre la distribución de los flags de control TCP (FIN, SYN, RST, etc.) dentro de un flujo. Una entropía baja indica flujos dominados por un único tipo de flag (por ejemplo, inundaciones SYN), una firma de patrones de ataque específicos.

Contribuciones Clave

1. Construcción Analítica de Características: MDE construye de 7 a 12 características de entropía interpretables analíticamente a partir de estadísticas de flujo estándar (medias, desviaciones estándar, conteos). No requiere datos de paquetes sin procesar, no requiere datos de entrenamiento para la extracción de características y no requiere reentrenamiento al aplicarse a diferentes conjuntos de datos con esquemas variables.
2. Protocolo de Evaluación Operativa Libre de Fugas: Los autores introducen un marco de evaluación riguroso que evita la fuga de datos (utilizando preprocesamiento local por pliegues/folds) e informa una suite completa de métricas operativas (Tasa de Detección, Tasa de Falsas Alarmas, MCC, PR-AUC) junto con F1. Este protocolo está diseñado para exponer modos de falla que las puntuaciones agregadas ocultan, incluyendo desplazamientos temporales y familias de ataques no vistos.
3. Análisis de Explicabilidad y Estabilidad: El estudio aplica explicaciones de adición de Shapley (SHAP) a los clasificadores aumentados con MDE. Cuantifica la estabilidad de los pliegues y la coherencia de dominio de las atribuciones de entropía, demostrando que las características de entropía reciben explicaciones reproducibles y teóricamente fundamentadas en entornos heterogéneos.

Resultados

• Rendimiento: A través de cuatro bancos de pruebas (NSL-KDD, CICIDS-2017, CICIDS-2018, UNSW-NB15), las características de solo entropía logran puntuaciones F1 ponderadas que van desde 0.708 hasta 0.989. Cuando se combinan con características convencionales, MDE no degrada el rendimiento; las puntuaciones F1 dentro de la distribución son estadísticamente indistinguibles de las bases de solo características convencionales.
• Modos de Falla Operativos: El reporte de métricas completas reveló brechas significativas ocultas por el F1 agregado:
  • En CICIDS-2018, un F1 de ~0.74 enmascaró una Tasa de Detección (DR) de solo 0.48, lo que significa que se detectó menos de la mitad de los ataques.
  • En CICIDS-2017 bajo desplazamiento temporal (entrenamiento de lunes a jueves, prueba el viernes), la DR colapsó a 0.082 a pesar de tener un AUC de 0.87, indicando que, aunque el modelo podía clasificar los ataques con mayor rango que el tráfico benigno, los umbrales fijos fallaron completamente.
  • En pruebas de familias de ataques no vistas (familias de Infiltración y Bot retenidas), la DR cayó a 0.000 para todos los modelos, mientras que el F1 se mantuvo >0.998 debido únicamente a la clase mayoritaria benigna.
• Robustez y Transferencia: Las características de MDE mostraron una degradación gradual bajo ruido Gaussiano aditivo. Sin embargo, la transferencia de conjunto de datos cero-disparo (por ejemplo, entrenar en CICIDS-2017, probar en CICIDS-2018) resultó en caídas significativas de rendimiento (F1 de 0.955 a 0.591), confirmando que las firmas de entropía son específicas de la familia de ataques y requieren adaptación de dominio.
• Interpretabilidad: El análisis SHAP confirmó que las características de entropía (particularmente JSD y ADE) son consistentemente de los principales contribuyentes a las predicciones. El análisis de estabilidad de pliegues mostró altas correlaciones de rango de Spearman (0.80–0.95) para las atribuciones de todas las características, confirmando que el modelo depende de señales de entropía con coherencia de dominio.

Significancia y Reivindicaciones
El artículo afirma que la contribución principal de MDE no es un aumento dramático en la precisión de clasificación agregada sobre las características convencionales, sino un cambio en la metodología de representación y evaluación.

• Representación: MDE proporciona características compactas y teóricamente fundamentadas que capturan la estructura distributiva (regularidad, asimetría, diversidad de protocolos) que las estadísticas agregadas descartan. Estas características son intrínsecamente interpretables mediante SHAP, abordando el problema de la "caja negra" de los clasificadores de conjunto.
• Evaluación: El estudio demuestra que las puntuaciones F1 agregadas estándar son insuficientes para la evaluación de seguridad operativa. Al exponer la divergencia de ranking de umbral (donde el AUC permanece alto pero la DR colapsa) y el fallo en la detección de familias de ataques no vistas, el artículo aboga por protocolos de evaluación que prioricen métricas operativas completas y pruebas de desplazamiento temporal/familias no vistas.
• Aplicabilidad: MDE ofrece una solución práctica para entornos donde no hay disponibles datos de paquetes sin procesar, permitiendo la integración de conocimientos de teoría de la información en los flujos de trabajo de los IDS basados en flujos estándar sin la sobrecarga de aprendizaje profundo o el almacenamiento de datos sin procesar.

Los autores concluyen que, si bien las características de entropía no resuelven el desafío fundamental de generalizar a taxonomías de ataques no vistos sin reentrenamiento, proporcionan una capa de análisis robusta, interpretable y computacionalmente eficiente que complementa las estadísticas convencionales y revela riesgos operativos que a menudo son enmascarados por las métricas estándar.