💻 computer science

What the Detector Can See: Evaluating CPS Anomaly Detectors Independently of the Decision Rule

Este artículo propone un marco de evaluación libre de reglas de decisión que aísla la capacidad de un detector para representar procesos físicos de su calibración de umbral, revelando que las métricas tradicionales como ROC-AUC pueden enmascarar disparidades de rendimiento significativas y diversos modos de falla a través de diferentes bancos de pruebas de sistemas ciberfísicos y detectores de anomalías.

Autores originales: Peiran Shi, Jian Xiang, Xiang Zhang, Chenglong Fu

Publicado 2026-08-05

📖 8 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Peiran Shi, Jian Xiang, Xiang Zhang, Chenglong Fu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un guardia de seguridad en una fábrica masiva y de alta tecnología donde los robots construyen coches y mezclan productos químicos. Tu trabajo es detectar cualquier cosa extraña que ocurra en la línea de montaje. Si el brazo de un robot comienza a moverse demasiado rápido o una válvula se abre cuando no debería, necesitas saberlo de inmediato. En el mundo de la ciencia, esto se llama un Sistema Ciber-Físico (CPS). Es donde el código informático se encuentra con el mundo físico real. Pero aquí está la parte difícil: a veces la fábrica simplemente tiene un "mal día". Las máquinas vibran, las temperaturas oscilan y los sensores se vuelven un poco erráticos. ¿Cómo distingues entre un fallo inofensivo y un hacker sigiloso intentando hacer explotar algo?

Durante mucho tiempo, los científicos han intentado resolver esto construyendo "detectores de anomalías". Piensa en ellos como cámaras súper inteligentes que vigilan la fábrica. Aprenden cómo es lo "normal" y luego gritan "¡ALERTA!" si algo parece diferente. Pero hay un problema con la forma en que probamos estas cámaras. Normalmente, solo miramos el resultado final: ¿Se activó la alarma? ¿Se les pasó algo? Es como calificar a un estudiante solo por si levantó la mano o no, sin comprobar si realmente entendió la pregunta. Este artículo argumenta que necesitamos mirar dentro de la cámara antes de que decida gritar. Necesitamos ver qué "vio" la cámara en primer lugar, antes de que se confunda por las reglas que utiliza para decidir cuándo gritar.

El Detective de Dos Etapas

Los autores de este artículo, un equipo de la Universidad de Carolina del Norte en Charlotte, decidieron dejar de calificar a los detectores basándose solo en sus "gritos" finales (alarmas). En su lugar, trataron cada detector como un proceso de dos pasos, como un detective resolviendo un crimen.

Etapa 1: El Colector de Evidencias.
Imagina a un detective mirando la escena de un crimen. No grita "¡Criminal!" inmediatamente. Primero, reúne pistas. Mide el barro en los zapatos, la temperatura de la habitación y la hora en el reloj. En el lenguaje del artículo, esto es la representación residual. El detector toma los datos de la fábrica y calcula la "brecha" entre lo que sucedió y lo que debería haber sucedido. Si el brazo del robot se movió 5 pulgadas pero la computadora esperaba 4, el "residual" (la brecha) es de 1 pulgada. Esta etapa trata de reunir la evidencia bruta.

Etapa 2: El Tomador de Decisiones.
Una vez que el detective tiene las pistas, tiene que decidir: ¿Es un crimen? Tal vez tiene una regla como: "Si el barro es de más de 2 pulgadas, llama a la policía". Esto es la regla de alarma. Es un umbral. Si la brecha es lo suficientemente grande, gritas; si es pequeña, la ignoras.

El gran problema que señala el artículo es que la mayoría de los científicos solo miran el resultado final de la Etapa 2. Dicen: "Oh, el Detector A tuvo una tasa de éxito del 90% y el Detector B tuvo un 80%". Pero eso es como decir que dos detectives son igualmente buenos solo porque ambos atraparon el mismo número de criminales, sin preguntar cómo los encontraron. Tal vez el Detector A tuvo pistas asombrosas pero una regla terrible para llamar a la policía. Tal vez el Detector B tuvo pistas terribles pero tuvo suerte con un umbral bajo para gritar.

La Nueva Forma de Mirar: El Medidor de "Energía"

Para solucionar esto, los autores inventaron una nueva forma de medir los detectores. Crearon una herramienta llamada Energía Residual Normalizada.

Piensa en esto como un "medidor de rareza". En lugar de solo preguntar "¿Gritaste?", preguntan "¿Qué tan rara se vio la evidencia antes de que decidieras gritar?". Miden la "energía" de la brecha entre el mundo real y el mundo esperado. Si la fábrica está actuando normalmente, la energía es baja. Si un hacker está manipulando las válvulas, la energía se dispara.

Lo genial de este medidor es que no le importa la "regla del grito". Solo mide la evidencia bruta. Los autores descubrieron que este medidor de energía tiene una conexión especial con un concepto matemático llamado divergencia de Kullback–Leibler (KL). En lenguaje sencillo, esta es una forma de medir qué tan diferentes son dos cosas. Es como medir cuánto suena diferente un día "normal" en la fábrica de un día "hackeado". Al usar este medidor de energía, los autores pudieron ver la "verdad" de la evidencia sin el ruido de las reglas de decisión.

Lo Que Descubrieron: El Gran Intercambio de Detectives

El equipo probó cinco tipos diferentes de detectores (como GDN, FuSAGNet, TranAD y otros) en tres bancos de pruebas de fábricas famosos (SWaT, WADI y HAI). Estos son como diferentes "niveles" de un videojuego, cada uno con su propio diseño y tipos de ataques.

Esto es lo que descubrieron, y es bastante sorprendente:

La Mentira del "Puntaje": Dos detectores pueden tener casi el mismo puntaje final (como un F1 score o un ROC-AUC), pero cuando miras la evidencia bruta, son totalmente diferentes. Uno puede tener una evidencia excelente pero una regla de alarma terrible, mientras que el otro tiene una evidencia débil pero una regla con suerte. El artículo mostró que en el banco de pruebas SWaT, los detectores con clasificaciones generales similares podían tener tasas de éxito de alarma que diferían en más de diez veces (un orden de magnitud) al usar una regla estándar.
El Mito de "Un Tamaño Único para Todos": Podrías pensar que un detector que es excelente en el Nivel 1 (SWaT) será excelente en el Nivel 2 (WADI). Los autores descubrieron que esto no es cierto. Un detector llamado TranAD fue el mejor performer en el banco de pruebas HAI, pero quedó en último lugar en SWaT. Mientras tanto, NSIBF fue el rey de WADI pero el perdedor en HAI. Resulta que diferentes fábricas necesitan diferentes tipos de ojos.
El Problema de la "Dilución": Algunos detectores observan toda la fábrica a la vez, agrupando todos los datos. Los autores descubrieron que, en el banco de pruebas WADI, esto era una mala idea. Si un hacker manipula solo una pequeña válvula en una planta enorme, y el detector observa toda la planta, esa pequeña señal se "diluye" (se rebaja) con todos los datos normales y aburridos del resto de la fábrica. La señal se pierde en el ruido. Pero los detectores que miraban partes más pequeñas y específicas de la fábrica (como solo los sensores) podían ver el ataque claramente.
La Trampa de la "Deriva": A veces, un detector pierde un ataque no porque sea malo, sino porque la fábrica cambió. Si la fábrica funciona de manera ligeramente distinta durante la prueba de lo que lo hizo durante el entrenamiento (como cuando una máquina se está calentando), la línea base "normal" se desplaza. Los autores descubrieron que algunos detectores estaban fallando porque su referencia "normal" se estaba alejando, haciendo que los ataques parecieran ruido normal.

Por Qué Esto Importa

El artículo no solo dice "el Detector X es mejor". Actúa como una herramienta de diagnóstico para médicos. Si un paciente (el detector) está enfermo, no solo dices "está enfermo". Necesitas saber por qué. ¿Es que el problema es que los ojos (Etapa 1) no pueden ver la enfermedad? ¿Es que el problema es que el cerebro (Etapa 2) es demasiado lento para reaccionar? ¿O es que el cuerpo del paciente ha cambiado tanto que los viejos expedientes médicos ya no funcionan?

Al separar la "recolección de evidencia" de la "toma de decisiones", los autores demostraron que un fallo en la alarma puede provenir de muchos lugares diferentes:

Evidencia Débil: El detector simplemente no pudo ver el ataque.
Umbral Malo: El detector vio el ataque pero puso la barra de la alarma demasiado alta.
Deriva: La fábrica cambió y la memoria del detector sobre lo "normal" quedó desactualizada.
Dilución: El ataque era demasiado pequeño y se perdió en el panorama general.

La Conclusión

Este artículo sugiere que debemos dejar de juzgar los detectores de ciberseguridad solo por sus campanas de alarma finales. En su lugar, debemos mirar la "energía residual": la evidencia cruda y sin filtrar que recolectan. Los autores demostraron que cuando haces esto, las clasificaciones de los detectores cambian por completo, y finalmente puedes entender por qué un detector falló. Es un paso de solo contar las "alarmas" a comprender la "visión" de la máquina.

El estudio no inventó un nuevo detector para ganar un premio; inventó una nueva forma de calificar los detectores que ya tenemos. Y la calificación que dieron es clara: si quieres saber si un detector es realmente bueno, tienes que mirar lo que ve antes de decidir si gritar.

Resumen Técnico: Evaluación de Detectores de Anomalías en CPS de forma Independiente de la Regla de Decisión

1. Planteamiento del Problema

Los sistemas ciberfísicos (CPS) dependen de detectores de anomalías como una última línea de defensa contra la manipulación adversaria de la telemetría de sensores y actuadores. Sin embargo, la evaluación estándar de estos detectores es defectuosa porque amalgama dos componentes distintos:

Etapa 1 (Representación): El mapeo de las observaciones a una señal de residuo (por ejemplo, errores de predicción, errores de reconstrucción o violaciones de invariantes) que representa la brecha entre el comportamiento observado y el comportamiento normal esperado.
Etapa 2 (Regla de Decisión): El mapeo de los residuos a alarmas binarias mediante umbrales, suavizado o pruebas secuenciales (por ejemplo, CUSUM).

Los benchmarks actuales suelen reportar precisión, exhaustividad (recall) y puntuación F1 en un único punto de operación. Estas métricas mezclan la calidad de la representación del residuo con la calibración de la regla de decisión. En consecuencia, una puntuación F1 baja no puede distinguir si un ataque omitido resultó de:

Un residuo débil (el ataque es invisible para el modelo).
Deriva entre entrenamiento y prueba (la distribución normal se desplazó entre el entrenamiento y las pruebas).
Dilución dimensional (los ataques localizados se enmascaran al agrupar la evidencia de todos los canales).
Una mala calibración del umbral (la evidencia existe, pero la regla de alarma no logra extraerla).

Este problema se ve exacerbado al comparar detectores heterogéneos (por ejemplo, predictores de grafos frente a verificadores de invariantes) cuyos residuos habitan en espacios diferentes y están emparejados con reglas de decisión ajustadas de forma independiente.

2. Metodología

Los autores proponen un marco de evaluación libre de la regla de decisión que trata al detector de anomalías de un CPS como un pipeline de dos etapas y evalúa directamente la Etapa 1.

La Descomposición de Dos Etapas

Etapa 1 ( $\phi$ ): Mapea una ventana de observaciones a un vector de residuo $r_t$ .
Etapa 2 ( $\pi$ ): Mapea los residuos a alarmas $a_t$ .
El marco aísla $\phi$ para su evaluación antes de que se aplique cualquier regla de alarma.

El Marco de Energía de Información del Residuo

La métrica central es la Energía de Residuo Normalizada ( $e_t$ ), definida como la distancia de Mahalanobis al cuadrado de un residuo respecto a la referencia normal entrenada, escalada por un medio:
$e_t = \frac{1}{2} (r_t - \mu_0)^\top S_0^{-1} (r_t - \mu_0)$
donde $\mu_0$ y $S_0$ son la media y la covarianza de la distribución de residuos estimadas a partir de datos de entrenamiento libres de ataques.

Fundamento Teórico:
Bajo una visión gaussiana de emparejamiento de momentos, la esperanza de esta energía tiene una conexión exacta con la divergencia de Kullback–Leibler (KL) entre la distribución de prueba y la referencia normal de entrenamiento. Específicamente:
$E[e_t | P] - \frac{p}{2} = D_{KL}(P_G || P_0) + \frac{1}{2} \log \frac{\det S_P}{\det S_0}$
Esta identidad permite que la escala de energía mida simultáneamente:

Separación del Ataque: Qué tan bien se separa la distribución del ataque de la normal.
Deriva de Entrenamiento-Prueba: Cuánto se ha desplazado la distribución normal.
Estructura del Espacio de Residuos: La compacidad de la representación.

Métricas de Evaluación

El marco deriva varias métricas diagnósticas a partir del flujo de energía:

Métricas de Rango: ROC-AUC y pAUC@1% (centrándose en tasas de falsas alarmas bajas) para medir la separación a nivel de punto.
Energía de la Ventana de Ataque: Estimaciones de KL integradas ( $D_{FULL}$ ) y la probabilidad ( $P_{FULL}$ ) de que una ventana de ataque domine a una ventana normal de duración equivalente.
Diagnósticos de Deriva: Deriva de entrenamiento-prueba ( $D_{drift}$ ) y evidencia corregida por deriva ( $D_{eff}$ ) para distinguir las señales de ataque de los desplazamientos de la distribución normal.
Compacidad: La relación entre la dimensión efectiva ( $p_{eff}$ ) y la dimensión nominal ( $p$ ), que indica qué parte del espacio de residuos es utilizada.
Sonda de Etapa-2 Controlada: Se utiliza un umbral fijo en el percentil 99 de la energía normal de entrenamiento ( $F1@p99$ ) solo como una sonda para ver cuánta evidencia puede extraer una regla compartida, no como una métrica de ranking primaria.

3. Configuración Experimental

El marco se aplicó uniformemente a cinco detectores a través de tres benchmarks de CPS sin ajuste por detector:

Detectores: GDN, FuSAGNet, TranAD (predictores de grafos/transformadores), NSIBF (basado en observadores) y GeCo (invariantes algebraicas).
Benchmarks: SWaT (tratamiento de agua), WADI (distribución de agua más grande) y HAI (potencia/caldera).
Protocolo: Los detectores fueron entrenados con datos libres de ataques y evaluados en trazas de ataques etiquetadas. La evaluación utilizó un protocolo fijo para estimar la referencia normal (covarianza de contracción de Ledoit–Wolf) y computar las métricas de energía.

4. Resultados Clave y Hallazgos

El estudio responde a cuatro preguntas de investigación diagnósticas (RQ) relativas a la naturaleza de los fallos de detección:

RQ1: ¿Existe evidencia de ataque antes de la regla de alarma?

Hallazgo: Valores de ROC-AUC similares pueden ocultar diferencias de órdenes de magnitud en el rendimiento de la alarma. Por ejemplo, en SWaT, TranAD tuvo un ROC-AUC de 0.750 pero un $F1@p99$ de solo 0.025, mientras que otros detectores con ROC-AUC similares lograron un F1 mucho mayor. Esto indica que la representación del residuo contenía información de clasificación, pero la separación era débil en la región de bajas falsas alarmas.

RQ2: ¿Es estable la referencia del residuo normal?

Hallazgo: La deriva de entrenamiento-prueba es una fuente importante de fallo. Los detectores con clasificaciones de ataque similares exhibieron valores de deriva muy distintos. Por ejemplo, en SWaT, GDN mostró una deriva masiva ( $1.9 \times 10^5$ ), mientras que NSIBF mostró una deriva mínima ( $6.2 \times 10^2$ ). Una alta deriva reduce el margen disponible para umbrales fijos, lo que explica las alarmas omitidas incluso cuando el modelo es "correcto".

RQ3: ¿Se expresa la evidencia en el espacio de residuo o se diluye?

Hallazgo: La elección del espacio de residuo dicta qué ataques son visibles. En WADI, los ataques localizados fueron detectados con éxito por NSIBF (que puntúa un subespacio de innovación de sensores) pero omitidos por los detectores de observación completa. La agrupación de la evidencia de todos los canales diluyó la señal localizada. Esto explica por qué los rankings cambian entre testbeds: NSIBF clasificó primero en WADI pero último en HAI, mientras que TranAD clasificó primero en HAI y último en SWaT.

RQ4: ¿Extrae la regla de Etapa-2 la evidencia disponible?

Hallazgo: Una sonda de Etapa-2 controlada reveló que fallos de alarma similares pueden provenir de causas distintas. Algunos fallos se debieron a una evidencia de residuo débil (el ataque apenas mueve el residuo), otros a evidencia dominada por la deriva (energía del ataque < deriva), y otros a fallos de extracción de umbral (la evidencia existe pero el umbral fijo la pierde).

5. Significancia y Contribuciones

El artículo reclama cuatro contribuciones principales:

Objeto de Evaluación Independiente de la Regla de Decisión: Formaliza la evaluación de la representación del residuo de la Etapa 1 de forma separada de la regla de alarma, permitiendo a los investigadores preguntar si la evidencia del ataque está presente antes de cualquier umbralización o suavizado.
Escala de Energía de Información del Residuo: Introduce una métrica de energía de residuo normalizada con una interpretación exacta de la divergencia KL, proporcionando una escala común para comparar detectores heterogéneos (grafos, transformadores, observadores, invariantes) a través de diferentes espacios de residuo.
Diagnósticos de Atribución de Fallos: Proporciona un conjunto de métricas para distinguir entre modos de fallo específicos: evidencia débil, inestabilidad de la referencia, dilución dimensional y fallo de calibración de la Etapa-2. Esto mueve la evaluación más allá de un único número en un leaderboard hacia una herramienta de diagnóstico.
Estudio Uniforme Trans-Detector: Demuestra que los rankings de los detectores no se transfieren de manera fiable entre testbeds y que fallos similares a nivel de alarma a menudo tienen causas subyacentes distintas (por ejemplo, rediseño de la representación vs. estabilización de la referencia).

Conclusión:
Los autores argumentan que el fallo de detección en CPS es multifacético. Al separar la representación del residuo de la regla de decisión, el marco propuesto revela que el "fallo de detección" no es un concepto monolítico. Puede surgir de la incapacidad del detector para ver el ataque, de la inestabilidad de la línea base normal, de la dilución de señales en espacios de alta dimensión o de la extracción subóptima de evidencia por parte de la política de alarma. Este enfoque permite mejoras más dirigidas, tales como el rediseño de representaciones para ataques localizados o la estabilización de referencias contra la deriva, en lugar de simplemente ajustar umbrales.