UNAD+: An Explainable Hybrid Framework for Unknown Network Attack Detection

Resumen Técnico de UNAD+: Un Marco Híbrido Explicable para la Detección de Ataques de Red Desconocidos

Planteamiento del Problema
La detección fiable de ataques de red previamente no vistos (día cero) sigue siendo un desafío crítico para los Sistemas de Detección de Intrusos (IDS). Si bien los métodos de aprendizaje supervisado funcionan bien en clases de ataques conocidas, no logran generalizar a amenazas nuevas no presentes en los datos de entrenamiento. Por el contrario, los métodos de detección de anomalías no supervisados, que aprenden las características del tráfico benigno para identificar desviaciones, son más adecuados para la detección de día cero, pero a menudo sufren altas Tasas de Falsos Positivos (FPR). Esto limita su despliegue práctico, ya que generan alertas excesivas que sobrecargan a los analistas de seguridad. Además, los sistemas híbridos existentes a menudo carecen de transparencia; el razonamiento interno de los modelos de conjunto complejos es frecuentemente opaco, lo que obstaculiza la confianza del analista, el análisis de la causa raíz y el cumplimiento en sectores regulados.

Metodología
El artículo propone UNAD+, un marco híbrido mejorado que extiende el Detector Original de Ataques de Red Desconocidos (UNAD). UNAD+ integra tres componentes principales en una tubería modular:

1. Ensemble No Supervisado Solo Benigno con Votación Mayoritaria Ponderada (WMV):

   • La primera etapa utiliza un ensemble heterogéneo de 100 aprendices base (50 modelos de Factor de Outlier Local y 50 modelos de Bosque de Aislamiento) entrenados exclusivamente en subconjuntos bootstrap de tráfico benigno.
   • A diferencia del UNAD original, que utilizaba votación mayoritaria simple, UNAD+ emplea Votación Mayoritaria Ponderada. Durante la validación, cada aprendiz base se asigna un peso proporcional a su puntuación F1. Durante la inferencia, las predicciones se ponderan por estas puntuaciones para determinar la salida final del ensemble. Este enfoque reduce la influencia de detectores más débiles y elimina escenarios de empate que anteriormente sesgaban el sistema original hacia predicciones benignas.

2. Etapa de Refinamiento Supervisado:

   • Para abordar la alta FPR de la etapa no supervisada, se introduce un clasificador supervisado de segunda etapa.
   • Las detecciones iniciales del ensemble (tanto ataques identificados correctamente como flujos benignos) se convierten en pseudo-etiquetas. Estas, combinadas con los datos benignos originales, forman un conjunto de entrenamiento expandido.
   • Un clasificador de Bosque Aleatorio, seleccionado por su robustez e interpretabilidad, se entrena con estos datos pseudo-etiquetados. Esta etapa aprende límites de decisión más precisos a partir de patrones de tráfico más cercanos al entorno operativo de detección, corrigiendo efectivamente los errores residuales de la primera etapa.
   • Se propone un punto de control de "humano en el bucle" entre etapas para permitir que expertos del dominio validen un subconjunto de pseudo-etiquetas antes de que se utilicen para el entrenamiento supervisado, mitigando la propagación de errores.

3. Capa de Explicabilidad Post Hoc:

   • Para mejorar la transparencia, el marco incorpora mecanismos de explicación tanto locales como globales.
   • Explicabilidad Local: LIME (Explicaciones Locales Agnósticas a Modelos Interpretables) se aplica al clasificador de Bosque Aleatorio para generar explicaciones a nivel de instancia, destacando qué características del tráfico (por ejemplo, longitudes de paquetes, bytes de flujo) contribuyeron a predicciones específicas.
   • Explicabilidad Global: Se entrena un modelo sustituto de Árbol de Decisión para aproximar el comportamiento del Bosque Aleatorio. Esto proporciona una visión simplificada e interpretable de la lógica de decisión global, incluyendo reglas dominantes e interacciones de características.

Contribuciones Clave

• Arquitectura Híbrida: El artículo demuestra una integración coherente de detección no supervisada solo benigna, refinamiento supervisado utilizando pseudo-etiquetas y explicabilidad dentro de un único marco.
• Mecanismo de Votación Ponderada: La introducción de WMV mejora la toma de decisiones del ensemble al ponderar los aprendices base según su rendimiento, reduciendo así la ambigüedad relacionada con empates y el sesgo hacia la clase benigna.
• Reducción de Falsos Positivos: Se demuestra que la etapa de refinamiento supervisado es un mecanismo crítico para reducir drásticamente las tasas de falsos positivos inherentes a la detección de anomalías no supervisada.
• Explicabilidad Integrada: El marco va más allá de tratar la explicabilidad como un añadido, integrándola como un componente estructural para apoyar la confianza del analista y la auditoría.

Resultados Experimentales
El marco se evaluó en dos conjuntos de datos de referencia: CICIDS2017 y NSL-KDD.

• Métricas de Rendimiento:
  • En CICIDS2017, el marco completo UNAD+ logró una puntuación F1 de 98.31%, una mejora significativa sobre el UNAD original (75.19%) y el clasificador supervisado independiente (90.59%). La Tasa de Falsos Positivos (FPR) se redujo del 11.34% (ensemble ponderado) al 0.18% tras el refinamiento.
  • En NSL-KDD, el marco logró una puntuación F1 de 98.25%, superando al UNAD original (93.38%). La FPR disminuyó del 6.37% al 2.77%.
• Análisis a Nivel de Clase: La etapa de refinamiento mejoró significativamente la detección para clases de ataques difíciles o raras (por ejemplo, SSH-Patator, DoS Slowhttptest, R2L y U2R). Sin embargo, las ganancias de rendimiento fueron limitadas para clases extremadamente raras donde la primera etapa no logró generar suficientes instancias pseudo-etiquetadas para que la segunda etapa aprendiera de ellas.
• Evaluación de Explicabilidad: Se encontró que las explicaciones locales (LIME) eran plausibles, destacando características de red significativas, y estables a través de inspecciones repetidas. Los modelos sustitutos globales demostraron una alta fidelidad (>99%) con el clasificador de Bosque Aleatorio, capturando con éxito su lógica de decisión en un formato interpretable.

Significado y Afirmaciones
Los autores afirman que UNAD+ ofrece una mejora sustancial sobre la línea base original UNAD, no solo a través del rendimiento predictivo, sino abordando las limitaciones operativas de los IDS no supervisados. El artículo afirma que la combinación de detección por ensemble ponderado y refinamiento supervisado equilibra efectivamente la necesidad de detección de día cero con el requisito de bajas tasas de falsos positivos. Además, la integración de la explicabilidad se presenta como esencial para el despliegue en el mundo real, permitiendo a los analistas interpretar decisiones, auditar el comportamiento del sistema y depurar errores del clasificador. El trabajo concluye que, si bien el marco es altamente efectivo, su rendimiento en clases de ataques extremadamente raras depende de la capacidad de la primera etapa para generar pseudo-etiquetas informativas, y el trabajo futuro debe abordar los desafíos del tráfico cifrado.