Resumen Técnico: CALIBURN: Un Estudio de Sensibilidad al Régimen de Detección de Intrusiones en Streaming Calibrado Operativamente

1. Declaración del Problema

Los Sistemas de Detección de Intrusiones en Redes (NIDS) en producción enfrentan una brecha crónica entre las puntuaciones de anomalía estadísticas y los requisitos operativos de generación de alertas. Los métodos académicos actuales suelen tratar la selección de umbrales como un problema de ajuste a posteriori, optimizando métricas como F1 o AUC-ROC en etiquetas de validación que a menudo no están disponibles, llegan con retraso o son escasas en los Centros de Operaciones de Seguridad (SOC) reales.

Los operadores requieren comportamientos de alerta definidos antes del despliegue utilizando insumos operativos: el costo relativo de los falsos negativos frente a los falsos positivos, y un presupuesto de alerta finito (por ejemplo, derivado de los Objetivos de Nivel de Servicio). Además, los detectores en streaming deben procesar flujos de manera continua con memoria acotada, sin embargo, la mayoría de los métodos existentes de detección de anomalías en streaming dejan la traducción de puntuaciones en alertas accionables como un problema separado y heurístico. Este artículo aborda la necesidad de una pipeline en streaming que esté calibrada operativamente, derivando umbrales directamente de costos y presupuestos especificados por el operador, en lugar de una búsqueda dependiente de etiquetas.

2. Metodología: La Pipeline CALIBURN

CALIBURN es una pipeline de alerta en streaming de cinco componentes diseñada para separar la puntuación estadística, la toma de decisiones operativas y la escalada de alertas. No se presenta como una solución universal, sino como un estudio de sensibilidad al régimen que evalúa el rendimiento a través de diversas prevalencias de ataques.

Componentes Principales

1. Detección Bayesiana Online de Puntos de Cambio Truncada (BOCPD):

   • Función: Procesa flujos de red secuencialmente para producir una puntuación de anomalía probabilística $s_t = P(r_t = 0 | x_{1:t})$, que representa la probabilidad posterior de que el flujo actual inicie un nuevo régimen (reinicio de la longitud de ejecución).
   • Restricción: Utiliza una aproximación de longitud de ejecución truncada (longitud máxima $L$) para garantizar un costo de actualización acotado y memoria constante, haciéndola adecuada para streaming continuo.
   • Modelo: Emplea un modelo de observación Gaussiano con actualizaciones de estadísticas suficientes en línea.

2. Capa de Calibración Isotónica:

   • Función: Mapea la puntuación cruda de BOCPD $s_t$ (una probabilidad de cambio de régimen) a una probabilidad empírica condicional de ataque $\hat{p}_t = \hat{P}(y_t = 1 | s_t)$.
   • Método: Ajusta un mapa de calibración monótono utilizando regresión isotónica (algoritmo Pool-Adjacent-Violators) en una partición de validación.
   • Fundamento: La puntuación cruda de BOCPD no es una probabilidad directa de ataque; la calibración cierra la brecha entre "cambio de régimen" y "ataque" utilizando las etiquetas disponibles.

3. Umbral de Decisión Sensible al Costo:

   • Función: Deriva un umbral de decisión $\tau^*$ basado en los costos de clasificación errónea especificados por el operador.
   • Fórmula: $\tau^* = \frac{C_{FP}}{C_{FP} + C_{FN}}$, donde $C_{FP}$ y $C_{FN}$ son los costos de los falsos positivos y falsos negativos, respectivamente.
   • Distinción: Este umbral se deriva de las razones de costos, no de la optimización del conjunto de validación.

4. Envoltura de Control de Riesgo Conformal (CRC):

   • Función: Convierte un presupuesto de alerta especificado por el operador $\alpha$ (por ejemplo, tasa máxima de falsos positivos) en un umbral válido $\hat{\tau}_\alpha$ bajo la suposición de intercambiabilidad entre los negativos de validación y prueba.
   • Garantía: Proporciona un límite de expectativa marginal sobre la tasa de falsos positivos: $E[FPR_{test}(\hat{\tau}_\alpha)] \leq \alpha$.
   • Mecanismo: Selecciona el umbral ínfimo $\tau$ tal que la FPR empírica en los negativos de validación, más un término de holgura $1/(n_0+1)$, permanezca por debajo de $\alpha$.

5. Alertas de Tasa de Quema Multi-Ventana:

   • Función: Una capa de escalada adaptada de las prácticas de Ingeniería de Confiabilidad del Sitio (SRE).
   • Lógica: Convierte los cruces de umbral en alertas solo cuando la "tasa de quema" (consumo del presupuesto de alerta) supera un umbral en ventanas de tiempo emparejadas cortas y largas. Esto filtra el ruido transitorio mientras escala las anomalías sostenidas.

3. Contribuciones Clave

El artículo enmarca sus contribuciones como un mapeo del alcance operativo y las limitaciones de la pipeline, en lugar de afirmar un dominio uniforme:

1. Mapeo de Sensibilidad al Régimen: El estudio evalúa la pipeline a través de tres regímenes distintos de prevalencia de ataques:

   • Raro (LITNET-2020, ~5.2%): CALIBURN destaca.
   • Moderado (CICIDS2017, ~22.06%): CALIBURN permanece como el método en streaming más fuerte, pero es superado por métodos de densidad por lotes.
   • Alto (UNSW-NB15, ~64%): Todos los métodos en streaming, incluido CALIBURN, se degradan a un rendimiento cercano al aleatorio debido a la inversión de la tasa base.

2. Identificación de Mecanismos de Colapso de CRC: Los autores identifican y cuantifican dos mecanismos donde el Control de Riesgo Conformal puede fallar con presupuestos de alerta pequeños $\alpha$:

   • Sobrepaso Teórico: El límite $2B/(n_0+1)$ puede hacer que el procedimiento exceda el objetivo $\alpha$.
   • Fallo de Densidad Empírica: Cuando la distribución de puntuaciones de negativos de validación está fuertemente concentrada por debajo de los umbrales candidatos, el procedimiento puede seleccionar un umbral que produzca cero alertas (degeneración) para satisfacer el límite vacuamente.

3. Análisis de Calibración Explícito: El artículo demuestra que la calibración isotónica reduce significativamente las puntuaciones Brier (reducción del 30–63% en los conjuntos de datos) en comparación con las posteriores crudas de BOCPD, validando la necesidad de mapear puntuaciones de cambio de régimen a probabilidades condicionales de ataque.

4. Ablación de Artefactos de Características (UNSW-NB15): Los autores prueban la hipótesis de que el colapso de los métodos en streaming en UNSW-NB15 es causado por artefactos sintéticos de la característica TTL. Al eliminar estas características, el rendimiento no se degradó, sino que mejoró ligeramente. Esto confirma que el colapso es intrínseco a la detección en streaming bajo alta prevalencia (inversión de la tasa base), no un artefacto de filtrado de características removible.

5. Directrices Operativas: El artículo delinea las condiciones específicas bajo las cuales CALIBURN es apropiado:

   • Prevalencia de ataques < ~25%.
   • Presupuesto de alerta $\alpha$ está cómodamente por encima del límite de sobrepaso teórico $2B/(n_0+1)$.
   • La distribución de calibración es aproximadamente intercambiable con el flujo de despliegue.

4. Resultados Experimentales

Conjuntos de Datos y Líneas Base

• Conjuntos de Datos: LITNET-2020 (5.2% de ataques), CICIDS2017 (22.06% de ataques, versión corregida), UNSW-NB15 (64% de ataques).
• Líneas Base: Cinco métodos en streaming (Half-Space Trees, KitNET, LODA, Robust Random Cut Forest, iForest_ASD) y tres referencias por lotes (LOF, ECOD, COPOD).

Rendimiento por Régimen

• Régimen de Ataque Raro (LITNET-2020):

  • CALIBURN logró un AUC-PR de 0.943.
  • Superó a la mejor línea base en streaming (LODA) en 2.21× y a la mejor referencia por lotes (ECOD) en 4.12×.
  • Logró alta precisión (0.976) con recall moderado (0.451), reflejando el compromiso sensible al costo.
  • La calibración isotónica redujo la puntuación Brier en un 30%.

• Régimen de Prevalencia Moderada (CICIDS2017):

  • CALIBURN logró un AUC-PR de 0.545, permaneciendo como el método en streaming más fuerte.
  • Sin embargo, fue superado por el método por lotes LOF (AUC-PR 0.863).
  • Los autores atribuyen esto a la contaminación de la distribución de referencia en streaming por el mayor volumen de ataques, lo cual los métodos por lotes evitan al utilizar el conjunto de entrenamiento completo.

• Régimen de Alta Prevalencia (UNSW-NB15):

  • CALIBURN logró un AUC-PR de 0.653, que es indistinguible del suelo de prevalencia (0.676).
  • Todos los métodos en streaming colapsaron a un ranking cercano al aleatorio (AUC-ROC ~0.5).
  • Los métodos por lotes (LOF, ECOD) funcionaron mejor, pero en un escenario donde la línea base "normal" ya no es benigna.

Hallazgos de Ablación

• En el régimen de ataque raro, la pipeline completa (V1) supera significativamente a la variante "de paja" (V4: puntuaciones crudas + umbral de costo), la cual sufrió una alta Tasa de Falsos Positivos (9.6%).
• En regímenes de alta prevalencia, la pipeline completa (V1) a menudo degenera a cero alertas debido a las restricciones de CRC, mientras que la variante de puntuación cruda (V4) produce resultados más utilizables (aunque con menor precisión).

5. Significado y Afirmaciones

El artículo afirma modestamente que CALIBURN no es un reemplazo universal para todos los métodos de detección de intrusiones. Su significado radica en:

1. Alineación Operativa: Proporciona un marco donde los umbrales de alerta se derivan de costos y presupuestos especificados por el operador en lugar de un ajuste de etiquetas a posteriori, haciendo que el sistema sea explicable y defendible antes del despliegue.
2. Conciencia del Régimen: Identifica explícitamente el régimen de "ataque raro" como el punto óptimo para la detección en streaming, sensible al costo y calibrada. Advierte a los practicantes que los métodos en streaming están estructuralmente limitados cuando la prevalencia de ataques invierte la tasa base (es decir, cuando los ataques se convierten en la mayoría).
3. Directrices Prácticas: Ofrece comprobaciones de despliegue concretas, como verificar el presupuesto de alerta $\alpha$ contra el límite de sobrepaso de CRC y monitorear el modo de "fallo de densidad empírica" donde CRC produce cero alertas.

Los autores concluyen que CALIBURN es más adecuado para Centros de Operaciones de Seguridad donde los ataques son infrecuentes, la capacidad del analista es finita y la política de alerta debe definirse por restricciones operativas en lugar de un ajuste específico del conjunto de datos. Se sugiere trabajo futuro para recalibración en línea para manejar la deriva de concepto y la estimación adaptativa de la razón de costos.