Weakly Supervised Video Anomaly Detection Using CNN-LSTM with Confidence-Aware Automated Pseudo Label Generation

Las cámaras de vigilancia vigilan nuestras ciudades, tiendas y calles, capturando un flujo continuo de actividad humana. Durante décadas, el objetivo ha sido construir computadoras que puedan observar estas grabaciones junto con nosotros, detectando problemas en el momento en que ocurren. El desafío, sin embargo, es que enseñar a una computadora a reconocer una pelea, un robo o un incendio es increíblemente difícil. Requiere mostrarle a la máquina miles de ejemplos de estos eventos, con cada momento de peligro marcado por un experto humano. Este etiquetado manual es lento, costoso y, a menudo, imposible de realizar para las vastas cantidades de datos de video generados cada día. Sin estas etiquetas detalladas, los programas informáticos estándar tienen dificultades para aprender qué es normal y qué no lo es, confundiéndose a menudo por la enorme variedad de la vida cotidiana.

Para resolver esto, investigadores de la Universidad de Shiraz han desarrollado una nueva forma de enseñar a las computadoras a detectar anomalías sin necesidad de que un humano etiquete cada segundo del video. En lugar de depender de notas manuales costosas, su sistema construye su propio entendimiento de lo que está sucediendo al observar el video a través de tres lentes diferentes. Primero, busca movimiento, identificando cualquier parte de la pantalla donde los píxeles estén cambiando. Segundo, intenta reconocer objetos específicos, como una persona o un vehículo, dentro de esas áreas en movimiento. Finalmente, traza un contorno preciso alrededor de esos objetos para ver exactamente cuánto espacio ocupan. Al combinar estas tres observaciones, el sistema genera sus propios "supuestos" sobre qué partes de un video son normales y cuáles son extrañas. Estos supuestos, conocidos como etiquetas pseudo (pseudo labels), no son perfectos, pero los investigadores diseñaron un método especial para ponderar qué tan seguro está el sistema de cada suposición, ignorando las inciertas y centrándose en las señales claras.

El núcleo de este nuevo enfoque es un modelo computacional ligero que aprende de estos supuestos automatizados. Los investigadores utilizaron un sistema de visión preentrenado, que actúa como un par de ojos que ya ha aprendido a reconocer formas y objetos a partir de millones de imágenes, y congelaron su configuración para que no cambiara durante el entrenamiento. Esto ahorró una cantidad masiva de potencia de cómputo, reduciendo el número de partes ajustables del sistema en casi un noventa y cuatro por ciento. El modelo utilizó entonces un componente de memoria para recordar la secuencia de eventos, conectando los puntos entre fotogramas para comprender cómo evoluciona una escena a lo largo del tiempo. Para asegurar que el sistema no saltara erráticamente entre etiquetar una escena como normal y luego como anormal, añadieron una regla que fomentaba predicciones suaves y consistentes de un momento al siguiente.

Al ser probado en una gran colección de videos de vigilancia que contenían trece tipos diferentes de delitos, el sistema funcionó con un alto grado de fiabilidad. Identificó correctamente eventos anormales en aproximadamente el ochenta por ciento de los casos de prueba y logró una puntuación equilibrada del setenta y ocho por ciento al distinguir entre actividad normal y anormal. Los investigadores realizaron el experimento cinco veces con diferentes puntos de partida aleatorios para asegurar que los resultados fueran consistentes, y el rendimiento se mantuvo estable en todas las pruebas. Crucialmente, el sistema logró esto sin que ningún humano tuviera que marcar manualmente los momentos peligrosos en los videos de entrenamiento. El proceso automatizado de detección de movimiento, identificación de objetos y delineación demostró ser un sustituto viable para la anotación humana, haciendo posible escalar el monitoreo de video a conjuntos de datos mucho más grandes que nunca.

El estudio también reveló que cada parte del flujo de trabajo automatizado era esencial. Cuando los investigadores eliminaron la detección de movimiento, el reconocimiento de objetos o el delineado preciso, la capacidad del sistema para detectar problemas disminuyó significamente. Esto confirmó que la combinación de estas tres pistas visuales proporcionaba una imagen más rica y confiable que cualquier método individual por sí solo. Si bien el sistema aún no es perfecto y todavía puede tener dificultades en escenas muy concurridas o bajo mala iluminación, representa un paso significativo hacia la práctica de la vigilancia automatizada. Al eliminar el cuello de botella del etiquetado manual y reducir drásticamente el costo de computación, este enfoque ofrece un camino realista hacia el despliegue de sistemas de monitoreo inteligente en el mundo real, donde pueden vigilar los espacios públicos con un nivel de atención que los humanos simplemente no pueden mantener.