Between Zeros and Ones: Behavioral Characterization Beyond Binary Labeling Across Public ICS Datasets

Resumen Técnico: Entre ceros y unos: Caracterización del comportamiento más allá de la etiqueta binaria en conjuntos de datos públicos de ICS

Planteamiento del problema
Los actuales Sistemas de Detección de Intrusiones (IDS) para Sistemas de Control Industrial (ICS) dependen fuertemente de referentes públicos como SWaT, WADI y HAI. Estos conjuntos de datos se evalúan típicamente utilizando etiquetas binarias ("normal" vs. "ataque") y métricas agregadas como precisión, exhaustividad (recall) y puntuación F1. Esta práctica asume implícitamente que la clase "ataque" es homogénea. Sin embargo, los ataques ciberfísicos se manifiestan a través de diversos comportamientos temporales, tales como derivas graduales de sensores, picos abruptos, telemetría congelada, bucles de control oscilatorios y conmutación forzada de actuadores. El etiquetado binario colapsa estas urgencias cualitativamente diferentes en una sola señal, lo que puede enmascarar la diversidad conductual y no proporcionar la especificidad requerida para respuestas de operador diferenciadas (por ejemplo, paradas de seguridad inmediatas frente a recalibraciones a largo plazo). Además, las evaluaciones existentes suelen pasar por alto el sesgo de los conjuntos de datos, donde ciertos referentes pueden sobrerepresentar ciertas morfologías de ataque y subrepresentar otras.

Metodología
Los autores proponen un marco puramente observacional y exploratorio para caracterizar las trazas de ataque de ICS utilizando cinco primitivas físicas interpretables, sin inferir la intención del atacante o los tipos de ataque semánticos. La metodología avanza a través de cuatro etapas:

1. Preprocesamiento y Ventaneo: Las trazas multivariantes de ICS (sensores continuos y actuadores discretos) se normalizan mediante la normalización z-score basada en datos de operación normal para asegurar una contribución equitativa entre las variables. Los datos se segmentan en ventanas temporales superpuestas (60 muestras, 50% de superposición). Las ventanas se etiquetan como "ataque" si al menos el 50% de sus muestras constituyentes están etiquetadas como ataque en la verdad de campo (ground truth).
2. Extracción de Primitivas de Comportamiento: Para cada ventana, se calculan cinco primitivas ligeras y computacionalmente económicas basadas en estadísticas elementales de series temporales:
   • Deriva (Drift): Desviación monotónica sostenida (magnitud de la pendiente lineal $\times$ calidad del ajuste de regresión).
   • Pico (Spike): Cambio transitorio abrupto (máximo cambio absoluto de la diferencia temporal de primer orden).
   • Oscilación (Oscillation): Reversiones direccionales repetidas (frecuencia normalizada de cambios de signo en la primera derivada).
   • Repetición (Repetition): Patrones temporales recurrentes (autocorrelación máxima sobre un intervalo de retardo acotado).
   • Conmutación (Switching): Transiciones de estado discretas excesivas (conteo de cambios de estado para señales de actuadores).
3. Construcción del Vector de Características: Para capturar efectos de ataque localizados sin verse sesgados por el ruido aislado, las puntuaciones de las primitivas a través de todas las variables del proceso se agregan utilizando el operador del percentil 95, resultando en un vector de características de cinco dimensiones por ventana.
4. Asignación de Propiedad Dominante: Para visualización y análisis grueso, a cada ventana se le asigna una única propiedad de comportamiento "dominante" basada en la activación de la primitiva normalizada más alta, siempre que esta supere un umbral ($\tau = 0.30$).

Contribuciones Clave

• Marco de Caracterización del Comportamiento: Un método portátil y agnóstico al dominio para mapear trazas de procesos multivariantes crudas en cinco primitivas temporales interpretables, exponiendo la diversidad conductual que a menudo queda oculta tras las etiquetas binarias.
• Análisis de Sesgo de Conjuntos de Datos: Una demostración empírica de que SWaT, WADI y HAI ocupan regiones distintas en el espacio de comportamiento, indicando que la evaluación en un solo conjunto de datos enfatiza perfiles de comportamiento específicos mientras que potencialmente subrepresenta otros.
• Implicaciones de la Evaluación: Un análisis comparativo que muestra cómo las métricas binarias agregadas pueden oscurecer las variaciones de rendimiento a través de diferentes proxies de comportamiento. Los autores introducen un enfoque de evaluación estratificado por comportamiento para complementar la evaluación binaria estándar.

Resultos
El marco se aplicó a SWaT, WADI y HAI, abordando cuatro preguntas de investigación:

• RQ1 (Cambios de Comportamiento): Las ventanas de ataque exhiben cambios de comportamiento medibles en relación con la operación normal, pero la naturaleza del cambio depende del conjunto de datos. Por ejemplo, los ataques en HAI muestran incrementos significativos en deriva y pico, mientras que los ataques en SWaT se caracterizan por un aumento en la oscilación y una disminución en la repetición.
• RQ2 (Diferencias entre Conjuntos de Datos): Los conjuntos de datos pueblan el espacio de comportamiento de manera distinta. HAI está dominado por pico y deriva; WADI se caracteriza por la repetición; y SWaT está definido por la oscilación y el comportamiento de "telemetría congelada" (reducción de la repetición).
• RQ3 (Diversidad Intra-conjunto de Datos): Incluso dentro de un mismo conjunto de datos, los eventos de ataque no son homogéneos. Las ventanas de ataque a menudo exhiben comportamientos co-ocurrentes (por ejemplo, pico y deriva simultáneos en HAI), que las etiquetas binarias colapsan en una sola clase.
• RQ4 (Impacto en la Evaluación): Utilizando un modelo base de Bosque Aleatorio (Random Forest), los autores encontraron que, si bien la clasificación binaria produce puntuaciones F1 macro elevadas (por ejemplo, 85.44% en SWaT), el rendimiento cae significativamente cuando la tarea se reformula como una clasificación multiclase basada en proxies de comportamiento (cayendo al 37.84% en SWaT). Esto sugiere que, aunque los modelos pueden detectar "anomalías", tienen dificultades para distinguir uniformemente entre diferentes tipos de manifestaciones conductuales.

Significancia y Reivindicaciones
El artículo argumenta que la detección binaria es una primera etapa necesaria pero insuficiente para una evaluación robusta de la seguridad de los ICS. Los autores no afirman que la evaluación binaria oculte los fallos de detección per se, sino que oscurece cómo el rendimiento varía a través de diferentes manifestaciones conductuales. Al complementar el benchmarking binario convencional con una evaluación estratificada por comportamiento, el marco tiene como objetivo:

1. Exponer los "puntos ciegos" que las puntuaciones agregadas dejan ocultos.
2. Revelar el sesgo entre conjuntos de datos y la diversidad intra-conjunto.
3. Apoyar mejor la respuesta ante incidentes mediante la provisión de especificidad conductual.

Los autores posicionan este trabajo como un "primer paso portátil" hacia la comprensión de la diversidad conductual, enfatizando que el marco describe la morfología temporal observable en lugar de inferir taxonomías de ataque semánticas o la intención del atacante. Reconocen limitaciones, incluyendo la incapacidad para capturar ataques puramente cibernéticos que no afectan a las variables físicas y el potencial de la asignación de etiqueta única para oscurecer comportamientos mixtos. Se sugiere como trabajo futuro expandir el vocabulario conductual, avanzar hacia representaciones de etiquetas múltiples e integrar estas caracterizaciones en los flujos de trabajo de triaje operativo y respuesta ante incidentes.