Resumen Técnico: Aprendiendo Dónde y Cuándo: Localización Espaciotemporal Basada en Parches en la Detección de Anomalías en Video con Supervisión Débil

1. Planteamiento del Problema

La Detección de Anomalías en Video con Supervisión Débil (WSVAD) se ha centrado tradicionalmente en la localización temporal, identificando cuándo ocurre una anomalía dentro de una secuencia de video utilizando únicamente etiquetas a nivel de video. Sin embargo, este enfoque descuida ampliamente la localización espacial, fallando al determinar dónde dentro de un fotograma se manifiesta la anomalía.

Los autores argumentan que la localización espacial es crítica para:

• Interpretabilidad: Permitir que los operadores humanos verifiquen las alertas y comprendan la causa de una anomalía.
• Toma de Decisiones: Habilitar acciones granulares como el seguimiento de objetos sospechosos o la priorización de recursos.
• Robustez: Proporcionar pistas contextuales para distinguir anomalías reales del ruido de fondo, reduciendo así los falsos positivos causados por sesgos del fondo.

El desafío central es aprender señales de localización espacial precisas sin supervisión explícita de cuadros delimitadores (bounding boxes), ya que obtener tales anotaciones es costoso y subjetivo. Los métodos existentes suelen depender de representaciones globales o puntuaciones a nivel de clip, lo que limita su capacidad para capturar patrones anormales localizados.

2. Metodología

El artículo propone un marco espaciotemporal basado en parches que modela conjuntamente la ocurrencia de anomalías tanto en el espacio como en el tiempo bajo un paradigma de Aprendizaje de Instancias Múltiples (MIL).

2.1. Descripción General de la Arquitectura

El video de entrada se divide en segmentos temporales (16 fotogramas cada uno) y se procesa a través de un extractor de características preentrenado (UniFormer) para generar representaciones espaciotemporales a nivel de parche. El tamaño de la cuadrícula se establece en $7 \times 7$ parches por segmento.

La arquitectura consta de dos ramas principales:

1. Agregación Temporal: Las características se remodelan en secuencias temporales por parche y se procesan mediante un Transformer Temporal para modelar las dependencias de cada parche espacial.
2. Agregación Espacial: Las características agregadas temporalmente se reordenan y se pasan a través de un Transformer Espacial para capturar las relaciones entre los parches dentro de cada segmento.

Estas ramas alimentan dos cabezales de predicción:

• Rama de Grano Grueso (Coarse-Grained): Produce puntuaciones de anomalía a nivel de segmento agrupando las características espaciales.
• Rama de Grano Fino (Fine-Grained): Genera probabilidades de anomalía a nivel de parche (cuadrícula de $7 \times 7$) para cada segmento.

2.2. Pérdida MIL con Conciencia de Proximidad (Proximity-Aware Top-k MIL Loss)

Una innovación clave es la estrategia de selección Proximity-Aware Top-k, que reemplaza la selección convencional top-k basada únicamente en las puntuaciones individuales más altas. Los autores observan que los eventos anómalos suelen ocurrir en intervalos temporalmente contiguos.

La función de pérdida opera de la siguiente manera:

• Selección Temporal: En lugar de elegir los $K$ fotogramas con mayor puntuación de forma global, el modelo utiliza una ventana deslizante para encontrar un bloque contiguo de $K$ segmentos con la mayor puntuación de anomalía acumulada.
• Selección Espacial: Dentro de estos segmentos seleccionados, el modelo identifica la región espacial más discriminativa deslizando una ventana convolucional ($z \times z$) sobre la cuadrícula de parches y seleccionando el bloque con la mayor suma de respuestas.
• Cálculo de la Pérdida:
  • Videos Anómalos: Los bloques temporales contiguos seleccionados y sus correspondientes parches espaciales de alta respuesta se tratan como instancias positivas para la pérdida de Entropía Cruzada Binaria (BCE).
  • Videos Normales: Todos los parches se tratan como instancias negativas.
  • Regularización: Se aplica la norma $L1$ a los conjuntos anómalos para fomentar la dispersión (sparsity), mientras que se aplica la norma $L2$ a los conjuntos normales para asegurar que las puntuaciones permanezcan cerca de cero.

3. Contribuciones Clave

El artículo describe tres contribuciones principales:

1. Arquitectura Novedosa: Una arquitectura espaciotemporal basada en parches con supervisión débil que produce puntuaciones de anomalía para parches individuales, permitiendo la localización espacial de grano fino sin supervisión de cuadros delimitadores durante el entrenamiento.
2. Pérdida MIL con Conciencia de Proximidad: Una nueva función de pérdida top-k sensible a los vecinos donde las instancias seleccionadas se forman mediante agrupamiento basado en la proximidad temporal y espacial, en lugar de basarse puramente en las puntuaciones más altas.
3. Nuevas Anotaciones: La publicación de anotaciones de cuadros delimitadores a nivel de fotograma para los conjuntos de prueba de dos bases de datos ampliamente utilizadas, XD-Violence y UBnormal, facilitando la evaluación estandarizada de la localización espacial en WSVAD.

4. Resultados Experimentales

El método fue evaluado en cuatro bancos de pruebas: UCF-Crime, ShanghaiTech, XD-Violence y UBnormal.

4.1. Métricas

Los autores utilizan dos métricas complementarias:

• Intersección sobre Unión Temporal (TIoU): Mide el solapamiento entre las regiones predichas y las de la verdad de campo (ground-truth).
• Tasa de Detección Basada en Rastros/Regiones (TBDR/RBDR): Una métrica más exhaustiva que tiene en cuenta los falsos positivos y evalúa la consistencia espaciotemporal (rastros) en lugar de solo el solapamiento por fotograma.

4.2. Rendimiento

• TIoU: El método propuesto ("OURS") supera a todos los modelos base de vanguardia (incluyendo Deep-MIL, VADCLIP, ST-Prompt y LSTM-MIL) en los cuatro conjuntos de datos. Por ejemplo, en UCF-Crime, alcanza un 40.51%, superando al mejor anterior (LSTM-MIL con 32.91%) por casi un 7.6%.
• TBDR/RBDR: El método logra las puntuaciones más altas en ambas métricas en todos los conjuntos de datos. En UCF-Crime, alcanza un 77.20% de TBDR y un 69.83% de RBDR. En UBnormal, alcanza un 57.23% de TBDR y un 33.29% de RBDR, demostrando una fuerte generalización ante anomalías sutiles.
• Rendimiento Zero-Shot: En un entorno zero-shot (entrenamiento sin clases de anomalías específicas), el modelo propuesto mostró la menor caída de rendimiento (caída de 3.08% en TBDR) en comparación con los modelos base, lo que indica una generalización superior.
• Eficiencia: El modelo requiere aproximadamente 44.23 ms por cada entrada de 60 fotogramas, ligeramente superior a los modelos base debido a los módulos de refinamiento, pero sigue siendo adecuado para la inferencia en tiempo real.

4.3. Estudios de Ablación

• Eliminación de Componentes: Eliminar el transformer espacial causó la mayor caída de rendimiento (19.15% en TBDR), resaltando la necesidad de la atención espacial. Eliminar el transformer temporal también redujo significamente el rendimiento.
• Función de Pérdida: Reemplazar el MIL estándar con Proximity MIL mejoró el AUC en varios marcos existentes (Deep-MIL, URDMU, VADCLIP), confirmando la generalizabilidad de la función de pérdida.
• Hiperparámetros: Una cuadrícula de $7 \times 7$ con un tamaño de ventana espacial de $z=2$ produjo los resultados óptimos.

5. Significado y Afirmaciones

El artículo afirma abordar una limitación fundamental en WSVAD al pasar de la localización puramente temporal a la detección espaciotemporal conjunta. Al reformular el MIL al nivel de parche espacial, los autores permiten la puntuación a nivel de región sin supervisión de cuadros delimitadores.

La importancia del trabajo radica en:

• Mejor Interpretabilidad: Proporcionar mapas espaciales explícitos de las anomalías en lugar de solo marcas de tiempo temporales.
• Reducción de Sesgo: El modelado explícito de la evidencia espacial ayuda a mitigar los sesgos de fondo encontrados en métodos anteriores que dependían de representaciones globales.
• Recurso para la Comunidad: Al publicar las anotaciones de cuadros delimitadores para XD-Violence y UBnormal, los autores pretenden estandarizar la evaluación de la localización espacial, una tarea que anteriormente se veía obstaculizada por la falta de verdad de campo en estos conjuntos de datos.

Los autores concluyen que su marco logra mejoras sustanciales en la precisión de la localización manteniendo una eficiencia computacional práctica, allanando el camino para un despliegue más fiable en aplicaciones de vigilancia y de seguridad crítica.