Predicting Tail-Risk Escalation in IDS Alert Time Series

Resumen Técnico: Predicción de la Escalada de Riesgo de Cola en Series Temporales de Alertas de IDS

Planteamiento del Problema
Los defensores de redes se enfrentan a un flujo continuo de alertas de Sistemas de Detección de Intrusiones (IDS), lo que a menudo conduce a la "fatiga de alertas", donde el volumen y la variabilidad de las alertas exceden la capacidad de triaje humano. Mientras que la investigación tradicional se centra en clasificar alertas individuales o correlacionarlas para reducir el ruido, los fallos operativos en el monitoreo de seguridad son impulsados frecuentemente no por las tasas típicas de fondo, sino por oleadas episódicas que abruman a los analistas y a los procesos automatizados. La pregunta de investigación central es si la microestructura temporal a corto plazo de las llegadas de alertas de IDS contiene información predictiva sobre transiciones inminentes hacia regímenes de alta intensidad extrema (eventos de riesgo de cola) que impulsan el riesgo operativo.

Metodología
Los autores abordan este problema reformulando el flujo de alertas de IDS como una tarea de pronóstico de series temporales, aplicando específicamente métodos de pronóstico de regímenes extremos tomados de la modelización financiera.

1. Conjunto de Datos y Estratificación:

   • El estudio utiliza 251 millones de alertas de Suricata IDS recolectadas durante tres meses de una gran red universitaria pública de EE. UU.
   • Para gestionar la heterogeneidad, las alertas se estratifican por severidad (Crítica, Alta, Media, Baja, Desconocida), la cual fue seleccionada como el eje óptimo debido a su alta completitud de campos y comportamiento temporal estable en comparación con los mapeos de protocolo o MITRE ATT&CK.
   • Las alertas brutas se agregan en series de conteo por minuto, $N(t)$.

2. Ingeniería de Características (Feature Engineering):
   Los autores derivan tres características temporales interpretables de la intensidad suavizada de las alertas $\lambda(t)$ (calculada mediante una media móvil exponencial):

   • Intensidad ($\lambda_t$): La tasa suavizada de llegada de alertas.
   • Momento a Corto Plazo ($m_t$): La primera diferencia estandarizada de la intensidad, que captura cambios direccionales (aceleración o desaceleración) en el volumen de alertas.
   • Volatilidad Móvil ($v_t$): La desviación estándar del momento sobre una ventana móvil, que mide la incertidumbre o inestabilidad local en el proceso de llegada.
   • Nota: Los intentos iniciales de modelar los datos utilizando procesos estocásticos paramétricos (por ejemplo, procesos de Hawkes) mostraron que, si bien existe autoexcitación en escalas de tiempo muy finas (1–2 minutos), esta disminuye en resoluciones operativas de nivel de minuto. Esto motivó un cambio hacia características diseñadas para el aprendizaje supervisado.

3. Marco de Predicción:

   • Definición del Objetivo: El problema se formula como una tarea de clasificación binaria: predecir si la intensidad de las alertas en los próximos 30 minutos excederá el percentil 95 ($P_{95}$) empírico de la distribución de la intensidad. Esto sirve como un análogo de Valor en Riesgo (VaR) para el riesgo operativo.
   • Modelo: Se entrena un clasificador XGBoost (Árboles de Decisión Potenciados por Gradiente) sobre el vector de características $(\lambda_t, m_t, v_t)$.
   • Validación: Se utiliza una división cronológica estricta (70% entrenamiento, 30% prueba) para evitar la fuga de datos temporales (data leakage). Un paso de "purga" elimina los puntos de datos dentro de los 30 minutos del límite entre entrenamiento y prueba para asegurar que ninguna información futura contamine el conjunto de entrenamiento.

Resultos Clave
El modelo demuestra un fuerte rendimiento predictivo a través de todos los estratos de severidad, logrando aproximadamente un 91% de precisión (accuracy), 89% de exhaustividad (recall) y 98% de precisión (precision) en la tarea agregada.

• Importancia de las Características (Estudio de Ablación):

  • La Intensidad ($\lambda_t$) es la señal predictiva dominante. Eliminarla provoca que el rendimiento colapse (por ejemplo, los puntajes F1 caen casi a cero para varios estratos).
  • La Volatilidad y el Momento proporcionan un valor complementario, no esencial pero significativo. Su inclusión produce las mejoras más sustanciales para los estratos de alta severidad (por ejemplo, una mejora del 97% en el F1 para el estrato "Crítico" al añadir características temporales a la intensidad sola).
  • La combinación de estas tres características permite al modelo distinguir entre actividad de fondo estable, fases de "acumulación" (momento positivo con volatilidad moderada) y eventos de "oleada" (alta volatidad y alto momento).

• Visualización: Los autores desarrollaron una visualización de prueba de concepto que superpone las probabilidades de riesgo de cola sobre la intensidad de alerta en vivo. Esta herramienta permite a los operadores visualizar los puntajes de riesgo a través de diferentes estratos de severidad simultáneamente, identificando qué tipos específicos de ataques están escalando antes de que ocurra una oleada completa.

Significancia y Contribuciones
El artículo afirma proporcionar la primera aplicación de la esperanza condicional de la cola predictiva a los datos de detección de intrusiones. Sus principales contribuciones son:

1. Medición de Riesgo Temporal: Establece un marco para cuantificar el riesgo de llegada de amenazas mediante el análisis de la microestructura temporal de los flujos de alertas, yendo más allá de la clasificación estática de alertas.
2. Alerta Temprana Operativa: Demuestra que existen "señales de acumulación" medibles (combinaciones de intensidad, volatilidad y momento) que preceden a las oleadas de alertas, permitiendo una planificación de recursos proactiva (por ejemplo, preasignar la atención de los analistas) en lugar de un triaje reactivo.
3. Interpretabilidad: Al utilizar características diseñadas y XGBoost, el modelo ofrece una frontera de decisión interpretable en el plano de volatilidad-momento, permitiendo a los defensores entender por qué se dispara una advertencia.

Modestia y Limitaciones
Los autores enmarcan explícitamente estos resultados como una prueba de concepto en lugar de un sistema de alerta temprana universal definitivo. Reconocen varias limitaciones:

• El estudio depende de una única familia de modelos (XGBoost) y un único umbral de evento extremo (percentil 95).
• El análisis se centra únicamente en el riesgo volumétrico (conteos de alertas) y actualmente no integra el comportamiento del adversario, las transiciones de técnicas o las dependencias entre estratos.
• Los intentos iniciales de utilizar Modelos Ocultos de Markov (HMM) y Modelos de Mezcla Gaussiana fallaron en generalizar, lo que sugiere que los flujos de IDS pueden requerir un agrupamiento temporal más flexible que los modelos paramétricos estándar.
• El estudio no pretende identificar "precursores universales", sino demostrar que características simples e interpretables pueden distinguir patrones de ataque acelerados con alta precisión.

El trabajo concluye que, si bien no resuelve el problema completo de la fatiga de alertas, valida que la telemetría de IDS contiene información temporal de horizonte corto estadísticamente medible, suficiente para predecir transiciones hacia regímenes de alto volumen extremo.