Benchmark AUC Is Not Deployable Reliability: A Cross-Dataset Audit of Off-the-Shelf Features for Surveillance Video Anomaly Detection

Resumen Técnico: El AUC de los Benchmarks No Es Fiabilidad Desplegable

Planteamiento del Problema
El campo de la Detección de Anomalías en Video (VAD) para vigilancia depende en gran medida de las puntuaciones de ROC-AUC a nivel de fotograma reportadas en los benchmarks estándar (p. ej., UCSD Ped1/2, CUHK Avenue, ShanghaiTech). Sin embargo, estas puntuaciones se derivan de un entorno de "mismo conjunto de datos" donde los modelos son entrenados y probados en la misma cámara, escena y condiciones. El artículo argumenta que este supuesto no se sostiene en el despliegue del mundo real, donde un modelo calibrado en una escena debe detectar anomalías en una cámara o entorno completamente diferente. La pregunta central es: ¿Qué parte del rendimiento reportado sobrevive cuando se elimina el supuesto de una escena compartida?

Metodología
Los autores llevan a cabo una auditoría de conjuntos de datos cruzados utilizando un marco de trabajo deliberadamente simple, no supervisado y reproducible para aislar la capacidad de generalización de las características (features) preentrenadas.

• Arquitectura del Modelo: El estudio utiliza embeddings congelados y preentrenados de cuatro backbones distintos: CLIP ViT-B/32, DINOv2 ViT-S/14, ResNet-50 y EfficientNet-B0. No se realiza ningún ajuste fino (fine-tuning).
• Puntuación de Anomalía: Se construye un "modelo de normalidad" utilizando únicamente los fotogramas normales (libres de anomalías) de un conjunto de datos de origen. Las puntuaciones de anomalía para los fotogramas de prueba se generan mediante una distancia de k-vecinos más cercanos (kNN) (específicamente, $1 - \text{similitud de coseno media}$ a los $k=5$ embeddings de entrenamiento normales más cercanos).
• Protocolo de Auditoría: Los autores evalúan cada combinación de los cuatro backbones y los cuatro conjuntos de datos (UCSD Ped1, UCSD Ped2, CUHK Avenue, ShanghaiTech). Esto resulta en 64 evaluaciones: 16 de "mismo conjunto de datos" (diagonal) y 48 de "conjuntos de datos cruzados" (fuera de la diagonal).
• Métricas: La métrica principal es el ROC-AUC a nivel de fotograma. Además, los autores reportan la Tasa de Error Igual (EER) y la tasa operativa de falsas alarmas (alarmas por hora) a una tasa de recuperación (recall) fija de 0.9 (asumiendo 10 fps).
• Experimento de Control: Para asegurar que el fallo no es específico del puntuador kNN, los autores reevaluaron los embeddings utilizando un detector de distancia de Mahalanobis tipo PaDiM (un modelo gaussiano global paramétrico) en tres de los conjuntos de datos.

Resultados Clave
La auditoría revela un colapso catastrófico en el rendimiento al pasar de entornos calibrados (mismo conjunto de datos) a entornos de despliegue (conjuntos de datos cruzados):

1. Colapso hacia el Azar:

   • AUC del mismo conjunto de datos: Promedia 0.704 en todos los backbones.
   • AUC de conjuntos de datos cruzados: Promedia 0.499, lo cual es estadísticamente indistinguible del azar (0.5).
   • En varios pares de conjuntos de datos cruzados, el rendimiento cae por debajo del azar (p. ej., 0.340), lo que indica que el modelo está clasificando erróneamente fotogramas normales de una nueva escena como anomalías.

2. El Backbone "Más Fuerte" es el que Más Falla:

   • DINOv2, que logra el mayor AUC del mismo conjunto de datos (hasta 0.901 en Ped2), sufre la mayor caída de rendimiento (brecha de 0.235) y el promedio más bajo en conjuntos de datos cruzados (0.490).
   • Los autores concluyen que las representaciones que capturan detalles finos de la escena (apariencia específica de la cámara/escena) son precisamente las que fallan al generalizar, ya que aprenden la "cámara" en lugar del "concepto de anomalía".

3. Viabilidad Operativa:

   • Incluso en un punto operativo favorable (90% de recuperación), la tasa media de falsas alarmas es prohibitiva.
   • Conjuntos de datos cruzados: 31,931 falsas alarmas por hora (9 por segundo).
   • Mismo conjunto de datos: 26,406 falsas alarmas por hora (7 por segundo).
   • Los autores argumentan que tales volúmenes hacen imposible el triaje humano, convirtiendo el flujo de video en ruido independientemente de la puntuación AUC.

4. Robustez del Hallazgo:

   • Reemplazar el puntuador kNN con el detector de Mahalanobis reproduce el colapso casi exactamente (brecha de conjuntos de datos cruzados de 0.208 vs. 0.202 para kNN). Esto confirma que el fallo reside en la representación de características congelada (el codificador), no en el mecanismo de puntuación de anomalías.
   • La transferencia es direccional y asimétrica: un modelo entrenado en una escena con mucha actividad (p. ej., ShanghaiTech) y probado en una escena tranquila (p. ej., UCSD) se comporta de forma distinta que a la inversa, y no existe una métrica única que resuma la transferibilidad.

Significado y Reivindicaciones
El artículo no propone un nuevo detector ni un método para solucionar la brecha. En su lugar, sirve como una auditoría crítica del estado actual del campo:

• Benchmark vs. Realidad: Las altas puntuaciones de AUC citadas en la literatura describen un "entorno de laboratorio calibrado" y sobrestiman significativamente la fiabilidad desplegable. Un detector calibrado en una escena no es mejor que un lanzamiento de moneda en otra.
• Métricas Engañosas: La correlación entre el AUC del mismo conjunto de datos y la tasa base de anomalías en el conjunto de datos de prueba sugiere que las puntuaciones de los benchmarks confunden la "detectabilidad" con la "construcción del conjunto de datos".
• Límites de la Representación: En el régimen de características congeladas y preentrenadas, existe un compromiso entre la calidad de la representación dentro del dominio y la transferencia entre escenas. Los mejores backbones no cierran la brecha de generalización; a menudo la amplían.
• Llamado a Métricas Operativas: Los autores afirman que la viabilidad está determinada por el punto operativo (tasa de falsas alarmas), no por el AUC. Argumentan que los informes futuros deben incluir números de conjuntos de datos cruzados y tasas operativas de falsas alarmas antes de que se puedan hacer afirmaciones de desplegabilidad.

El artículo concluye que los benchmarks actuales de VAD no reflejan los desafíos de la vigilancia en el mundo real y que el campo debe cambiar su enfoque de maximizar el AUC del mismo conjunto de datos hacia lograr un modelado de normalidad invariante a la escena o adaptado al dominio.