Modeling Normal Is All You Need: Joint Latent Clustering for Anomaly Detection in Multimodal Cyber-Physical Systems

Resumen Técnico: Modelar lo Normal es Todo lo que Necesitas para la Detección de Anomalías en CPS

1. Planteamiento del Problema

El artículo aborda el desafío de la detección de anomalías en Sistemas Ciberfísicos (CPS), como plantas de tratamiento de agua y lazos de control industrial. La dificultad central reside en la naturaleza de las fallas en los CPS: son raras, no representativas y no pueden enumerarse ni predefinirse de manera exhaustiva. En consecuencia, la detección debe basarse en el modelado del comportamiento "normal".

Sin embargo, los autores argumentan que los enfoques estándar fallan porque caracterizan erróneamente la normalidad de los CPS. En lugar de ser una única distribución estadística ("un solo bloque"), la normalidad de los CPS es la unión de muchos regímenes operativos desbalanceados, curvos y con bordes delgados. Además, el artículo identifica dos barreras críticas para el progreso:

1. Deficiencias de Evaluación: La métrica dominante, el F1 con ajuste de puntos (point-adjusted F1), infla las puntuaciones de forma tan severa que modelos profundos pueden ser superados por puntuaciones aleatorias. Adicionalmente, los benchmarks públicos suelen contener anomalías "fáciles" detectables mediante reglas univariadas triviales, lo que enmascara la incapacidad de los modelos para detectar fallas complejas de estructura conjunta.
2. Deficiencias de Modelado: Los modelos de densidad global subajustan las estructuras de los regímenes; los autoencoders profundos simples generan falsos positivos en modos raros pero válidos; y los residuos de reconstrucción son ciegos ante fallas "difíciles" (por ejemplo, rupturas de correlación) porque los decodificadores flexibles pueden reconstruir fielmente estas anomalías.

2. Metodología: El Marco MIIM y el Agrupamiento Latente

Las Suposiciones MIIM
Los autores formalizan la estructura de los datos normales de los CPS a través de diez suposiciones (A1–A10), abreviadas como MIIM (Multimodalidad Masiva, Implícita e Imbalanceada):

• Multimodalidad (A1, A2): Los datos normales son una mezcla de regímenes operativos discretos (modos) que crecen exponencialmente con la complejidad del sistema.
• Acotación y Dispersión (A3, A4): Los regímenes están limitados por límites físicos, con bordes legítimos de baja densidad y "bolsillos" delgados entre los modos.
• Desbalance (A6): La ocupación de los modos sigue una distribución de cola pesada (Zipf); los modos raros son comunes en la operación pero a menudo se confunden con fallas.
• Estructura Latente (A5, A7, A8): Los datos tienen una baja dimensionalidad intrínseca, y los regímenes verdaderos son implícitos (no etiquetados) y emergen de señales acopladas.
• Dinámica (A9, A10): Aunque existe dependencia de la trayectoria, los benchmarks actuales son principalmente detectables mediante instantáneas (snapshots).

La Arquitectura del Detector
El detector propuesto, VaDE-hard+resid(auto), está construido para modelar fielmente esta estructura MIIM:

• Representación (VaDE): Utiliza el Variational Deep Embedding (VaDE) para aprender conjuntamente una representación latente y un prior de Modelo de Mezcla Gaussiana (GMM). Esto permite al modelo descubrir modos implícitos (A7) sin necesidad de etiquetas.
• Estrategia de Puntuación (Eliminación de la Reconstrucción): Un cambio metodológico clave es la eliminación del residuo de reconstrucción de la puntuación principal. Los autores demuestran que los decodificadores flexibles reconstruyen fielmente las fallas de ruptura de correlación, lo que hace que el residuo sea inútil o perjudicial.
• Pila de Puntuación Latente: La puntuación de anomalía se calcula enteramente en el espacio latente utilizando:
  1. Cabezal de Densidad de Mezcla de K-Alto: Una estimación de densidad de kernel paramétrica (80 componentes) para modelar los bordes no gaussianos dentro de los modos (A4).
  2. NLL del Componente más Cercano: Para manejar el desbalance de cola pesada (A6), la puntuación utiliza la verosimilitud del componente más cercano en lugar de la suma ponderada de la mezcla, evitando que los modos raros pero válidos sean penalizados.
  3. Cabezales de Puerta Automática Opcionales: Dos cabezales opcionales que se activan basándose únicamente en las estadísticas de entrenamiento-normal:
     • Residuo Blanqueado: Se activa solo si generaliza a datos normales no vistos (útil para HAI).
     • Rescate de Acuerdo de Cuenca (Basin-Agreement Rescue): Se activa solo si los modos de entrenamiento se superponen significativamente (útil para SKAB), midiendo la estabilidad bajo perturbación latente para distinguir entre fallas de transición de modo.

3. Protocolo Experimental y Resultados

Protocolo de Evaluación Justo
Los autores introducen un protocolo deliberadamente justo para evitar las trampas de los benchmarks estándar:

• Métricas Crudas: Sin ajuste de puntos; reportando AUROC, F1 y FPR punto a punto de forma bruta.
• Estratificación de Dificultad: Los datos se dividen en "Fáciles" (detectables por una regla trivial de rango univariado) y "Difíciles" (fallas de correlación/dinámica). El subconjunto "Difícil" es la prueba discriminativa principal.
• Emparejamiento de Prevalencia: Las puntuaciones F1 se ajustan mediante el submuestreo de los datos normales para igualar las proporciones de anomalías entre subconjuntos.
• Re-cálculo de Baselines: Los modelos profundos de vanguardia (SOTA) (USAD, TranAD, GDN) se ejecutan nuevamente y se califican utilizando los mismos parámetros de métricas crudas.

Resultados Clave
Evaluado en tres conjuntos de datos reales de CPS (WADI, HAI, SKAB), el detector propuesto supera a todos los baselines y métodos SOTA en el subconjunto Difícil:

• HAI (Altamente Multimodal): Logró un 0.831 AUROC en el subconjunto difícil, superando significativamente al SOTA (USAD: 0.487, TranAD: 0.467).
• WADI (Multimodal): Logró un 0.726 AUROC en el subconjunto difícil, superando al SOTA (USAD: 0.554, TranAD: 0.547, GDN: 0.582).
• SKAB (Casi Unimodal): Logró un 0.610 AUROC en el subconjunto difícil, superando por poco a USAD (0.591).

El margen de rendimiento se correlaciona directamente con la estructura MIIM: la ventaja es mayor en los conjuntos de datos multimodales (HAI, WADI) y menor en el conjunto casi unimodal (SKAB), validando la tesis de que el modelado de la multimodalidad es el diferenciador clave.

4. Significado y Reivindicaciones

El artículo reivindica tres contribuciones primarias:

1. Suposiciones MIIM: Un conjunto explícito de diez suposiciones que describen la estructura física y estadística de los datos normales de los CPS, vinculando cada una con una elección de modelado específica.
2. Cambio Metodológico: Un diseño de detector que abandona la reconstrucción (que falla en fallas difíciles) en favor de la puntuación en un espacio latente aprendido conjuntamente con un agrupamiento de modos explícito.
3. Protocolo Justo: Un marco de evaluación riguroso que expone el fallo de los modelos SOTA actuales ante fallas de estructura conjunta difíciles cuando se elimina el ajuste de puntos.

Significado:
Los autores concluyen que el fallo de los detectores estándar en los datos de CPS es un fallo de modelado —específicamente, el tratamiento del comportamiento normal multimodal como un único bloque o un objetivo de reconstrucción. Los resultados proporcionan evidencia de que aprender conjuntamente la representación latente y sus modos, y luego puntuar dentro de ese espacio latente, es la solución necesaria para detectar anomalías complejas en sistemas multimodales de CPS. El artículo señala modestamente que, aunque las suposiciones de trayectoria (A9–A10) son parte del marco, los benchmarks actuales no contenían fallas dependientes de la historia, dejando ese aspecto sin ejercitar en los resultados reportados.