Weakly-Supervised Spatiotemporal Anomaly Detection

Resumen Técnico: Detección de Anomalías Espaciotemporales Débilmente Supervisada

Enunciado del Problema
La proliferación de cámaras de vigilancia ha creado un cuello de botella donde los operadores humanos no pueden monitorear efectivamente grandes volúmenes de imágenes para identificar eventos anormales raros. Si bien la detección automática de anomalías es una solución práctica, los enfoques existentes enfrentan limitaciones. Los métodos no supervisados, que aprenden únicamente a partir de datos normales, a menudo son específicos del conjunto de datos porque el comportamiento "normal" depende del contexto. Por el contrario, los métodos totalmente supervisados requieren anotaciones costosas a nivel de cuadro o espaciotemporales, cuya producción consume mucho tiempo. Este artículo aborda el desafío de detectar anomalías utilizando únicamente etiquetas débiles a nivel de video (que indican si un video contiene o no una anomalía), al tiempo que amplía el alcance desde la detección puramente temporal hasta la detección espaciotemporal para localizar las regiones específicas donde ocurren las anomalías.

Metodología
El enfoque propuesto adapta el marco de Aprendizaje de Múltiples Instancias (MIL), aplicado originalmente a la detección temporal por Sultani et al., al dominio espaciotemporal. La arquitectura y el proceso centrales son los siguientes:

• Extracción de Características: Los fragmentos de video se procesan utilizando la red I3D. Específicamente, se extraen características de la salida del sexto módulo de inicio (capa 4e). A diferencia de trabajos anteriores que procesan clips completos o utilizan flujo óptico, este método se centra en características de apariencia a partir de la entrada de video sin procesar.
• Cuboides Espaciotemporales: En lugar de tratar un clip de video completo como una única instancia, la representación de características (un tensor 4D) se divide en regiones espaciales. Un clip de video se divide en 49 cuboides espaciotemporales de igual tamaño (cuadrícula espacial de 2x2). Cada cuboide representa una "instancia" dentro de un "bulto".
• Definición del Bulto:
  • Bulto Positivo: Un clip de video anómalo. La suposición es que al menos una instancia espaciotemporal (cuboide) dentro de este clip contiene la anomalía.
  • Bulto Negativo: Un clip de video normal. La suposición es que ninguna de las instancias dentro de este clip contiene una anomalía.
• Clasificación y Pérdida: Cada cuboide espaciotemporal se pasa a través de una red clasificadora que consta de una capa de agrupación promedio 3D, cinco capas totalmente conectadas (con normalización por lotes, ReLU y dropout) y una activación Sigmoid final para generar una puntuación de anomalía entre 0 y 1.
• Objetivo de Entrenamiento: El modelo se entrena utilizando una pérdida de Clasificación por Múltiples Instancias (MIL). La función objetivo impone que la puntuación de anomalía máxima entre las instancias en un bulto positivo debe ser mayor que la puntuación de anomalía máxima en un bulto negativo. Esto permite que la red aprenda a identificar la región espaciotemporal específica responsable de la anomalía sin supervisión explícita a nivel de región durante el entrenamiento.

Contribuciones Clave

1. Extensión Espaciotemporal: El artículo extiende el paradigma de detección de anomalías temporal débilmente supervisada para incluir la localización espacial. Al dividir los mapas de características en cuboides espaciotemporales, el método intenta precisar dónde en el cuadro ocurre una anomalía, no solo cuándo.
2. Marco Débilmente Supervisado: El enfoque demuestra que la detección espaciotemporal es factible utilizando únicamente etiquetas a nivel de video, evitando la necesidad de costosas anotaciones de cuadros delimitadores o tubos durante la fase de entrenamiento.
3. Adaptación de Arquitectura: El trabajo modifica la tubería MIL estándar utilizando características I3D del sexto bloque de inicio y aplicando división espacial para crear representaciones a nivel de instancia a partir de clips de video.

Resultados
El método se evaluó en el conjunto de datos UCF Crime2Local (un subconjunto de UCF-Crime con anotaciones espaciotemporales) y en el conjunto de datos completo UCF-Crime.

• UCF Crime2Local: El modelo logró un Área Bajo la Curva (AUC) del 68%. Este resultado superó la línea base débilmente supervisada "Segmento de Video" de Landi et al. (56.12%), que también carecía de anotaciones espaciotemporales. Sin embargo, permaneció por debajo del enfoque totalmente supervisado "Oracle Tube" de Landi et al. (74.73%), que utilizó cuadros delimitadores de verdad fundamental durante el entrenamiento.
• UCF-Crime Completo: En el conjunto de datos más grande, el modelo logró un AUC del 63%, en comparación con aproximadamente el 82% del método más avanzado de [3].
• Análisis Cualitativo: Las visualizaciones de las puntuaciones de anomalía predichas frente a la verdad fundamental mostraron que el modelo identifica correctamente la presencia temporal de anomalías (puntuaciones bajas para cuadros normales, puntuaciones altas para cuadros anómalos). Sin embargo, el modelo a menudo predice múltiples "manchas" como anómalas en lugar de aislar una sola región.

Significado y Afirmaciones
El artículo afirma que incorporar características espaciotemporales en la detección de anomalías débilmente supervisada es una dirección prometedora que puede ofrecer ventajas sobre la detección puramente temporal. Los autores reconocen que, aunque sus resultados actuales aún no igualan a los métodos totalmente supervisados más avanzados u otras líneas base fuertes, el enfoque demuestra exitosamente la viabilidad de localizar anomalías sin anotaciones densas.

Los autores concluyen modestamente que el método requiere un refinamiento adicional para alcanzar un rendimiento competitivo. Identifican áreas específicas de mejora, que incluyen:

• Añadir regularización para evitar que el modelo prediga múltiples regiones anómalas por video.
• Incorporar información de movimiento, potencialmente mediante un enfoque de dos corrientes utilizando flujo óptico, para complementar las características basadas en apariencia utilizadas actualmente.