💻 computer science

Scene-aware Transformer encoder with Multi Instance Learning-guided Attention Mechanism for Anomaly Detection in Video Surveillance

Este artículo propone el marco STAM, el cual integra el aprendizaje contrastivo para incrustaciones conscientes de la escena con un codificador transformer guiado por la atención de Aprendizaje de Multi-Instancia, para abordar eficazmente las limitaciones contextuales y temporales en la detección de anomalías en video y lograr una precisión superior en conjuntos de datos de referencia.

Autores originales: Rifa Nizam Khan, Mohd. Amjad

Publicado 2026-08-10

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Rifa Nizam Khan, Mohd. Amjad

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres el jefe de seguridad de una plaza enorme y bulliciosa. Tienes cientos de cámaras transmitiendo video en vivo, pero no puedes mirar todas las pantallas a la vez. Tu trabajo es detectar algo extraño: una pelea, un robo o una persona corriendo en la dirección equivocada. Lo complicado es que lo "extraño" depende enteramente de dónde te encuentres. En una biblioteca, que alguien corra es una señal de alerta enorme. En un estadio de fútbol, es simplemente parte del juego. Durante mucho tiempo, los programas informáticos que intentaban hacer este trabajo eran como guardias que solo miraban el movimiento. Si alguien corría, la alarma sonaba, incluso si estaba en un estadio. No entendían el contexto de la escena. También tenían dificultades para recordar lo que había sucedido unos segundos antes para conectar los puntos. Este artículo aborda ese problema enseñando a las computadoras no solo a ver el movimiento, sino a comprender la "vibra" del lugar que están vigilando.

Los investigadores, Rifa Nizam Khan y Mohd. Amjad de la Universidad Jamia Millia Islamia, han construido un nuevo sistema llamado STAM. Piensa en él como un detective súper inteligente que tiene dos formas distintas de pensar. Primero, utiliza un módulo especial de "sentido de la escena" para determinar exactamente dónde está, como saber la diferencia entre un parque tranquilo y una estación de tren concurrida. Segundo, utiliza una poderosa herramienta de memoria (un Transformer) para observar clips cortos de video y determinar cuáles son sospechosos. La magia ocurre cuando estas dos partes se comunican. El sistema no solo observa un clip de forma aislada; se pregunta: "¿Tiene sentido esta acción aquí?". Si la respuesta es no, hace sonar la alarma.

Así es como funciona este nuevo detective, desglosado en pasos sencillos:

El enfoque de los dos cerebros
La mayoría de los sistemas antiguos intentaban hacer todo con un solo cerebro, y a menudo se confundían. STAM divide el trabajo.

El Detective de la Escena: Antes de observar la acción, el sistema toma una instantánea del entorno. Utiliza una técnica llamada "aprendizaje contrastivo" para construir un mapa mental de la escena. Imagínalo como un bibliotecario que sabe que un libro cayendo de un estante es normal en una biblioteca pero extraño en un gimnasio. El sistema aprende a reconocer la "forma" del lugar, creando una tarjeta de identidad única para cada ubicación.
El Observador de la Acción: Esta parte utiliza una "Red Convolucional 3D Inflada" (o I3D). Si imaginas una cámara de video normal como una foto 2D que cambia con el tiempo, esta herramienta es como un escáner 3D que ve el video como un bloque sólido de espacio y tiempo. Captura el movimiento y la apariencia de las personas, convirtiéndolos en un informe detallado.

El juego de la "Bolsa de Fragmentos"
El sistema no observa un video completo de una hora a la vez. En su lugar, corta el video en trozos diminutos llamados "fragmentos" (snippets). Trata todo el video como una "bolsa" de estos fragmentos. Aquí es donde entra en juego el "Aprendizaje Multi-Instancia" (MIL). Piensa en ello como un profesor calificando a una clase. Si un solo estudiante en la clase (un fragmento) es señalado por irregularidades, toda la clase (el video) es marcada como sospechosa. El sistema observa todos los fragmentos y pregunta: "¿Cuál de estos es el alborotador?".

El Mecanismo de Atención Mágica
Esta es la parte más genial. El sistema tiene un "Token de Escena" (un token CLS) que contiene la tarjeta de identidad de la ubicación. Cuando el sistema revisa la "bolsa" de fragmentos, utiliza esta identificación de ubicación para guiar su atención. Es como un guardia de seguridad que sabe que, "en este pasillo específico, la gente suele caminar despacio. Si veo a alguien corriendo a toda velocidad, ese es en el que debo concentrarme". El sistema utiliza un mecanismo de atención para ponderar la importancia de cada fragmento. Si un fragmento parece extraño para esa escena específica, el sistema le otorga una puntuación alta. Si parece extraño pero encaja con la escena (como correr en un estadio), lo ignora.

Los Resultados: Una Puntuación Casi Perfecta
Los investigadores probaron su nuevo sistema STAM en un famoso conjunto de datos de videos de vigilancia llamado UCF Crime, que contiene más de 1,900 videos de eventos del mundo real como arrestos, incendios provocados y robos en tiendas. También lo probaron en un conjunto de datos diferente, UCF101, para ver si podía manejar entornos nuevos y no vistos.

Los resultados fueron impresionantes. El sistema STAM logró una precisión del 99.85% y una puntuación de Área Bajo la Curva (AUC) del 99.98%. Para ponerlo en perspectiva, lo compararon con otros sistemas inteligentes como "I3D-MIL" y "GAN-MIL", que obtuvieron puntuaciones mucho más bajas (alrededor del 90% al 96%). El artículo sugiere que la razón por la que STAM gana es que finalmente comprende el contexto. No solo ve a una persona corriendo; ve a una persona corriendo en un lugar donde correr es peligroso.

Por qué esto es importante
Los autores descubrieron que, al enseñar explícitamente a la computadora sobre el diseño de la escena y utilizar un mecanismo de atención "consciente de la escena", pudieron reducir drásticamente las falsas alarmas. En el pasado, un sistema podría haber gritado "¡Emergencia!" porque alguien corría en un parque, a pesar de que era solo un corredor. STAM, sin embargo, conoce la diferencia. El estudio muestra que este enfoque no es solo un pequeño ajuste, sino un paso significativo hacia adelante para hacer que la vigilancia por video sea realmente lo suficientemente inteligente como para manejar la realidad desordenada y compleja del mundo real. Aunque el sistema requiere un poco más de potencia de cómputo para funcionar (tomando aproximadamente 8 minutos por época de entrenamiento en su hardware específico), la compensación es un sistema que es mucho más confiable y menos propenso a dar falsas alarmas.

En resumen, este artículo propone que para atrapar a los malos, no solo necesitas ojos que vean el movimiento; necesitas un cerebro que entienda la historia del lugar. Y con STAM, las computadoras finalmente están empezando a entender la historia.

Resumen Técnico: Codificador Transformer sensible a la escena con un mecanismo de atención guiado por Aprendizaje de Múltiples Instancias para la detección de anomalías en videovigilancia

Planteamiento del problema
La detección de anomalías en video (VAD, por sus siglas en inglés) es crítica para los sistemas modernos de vigilancia debido al enorme volumen de datos de video que no pueden ser monitoreados manualmente. Sin embargo, los enfoques existentes enfrentan limitaciones significativas. Los modelos tradicionales que dependen de características espaciotemporales carecen a menudo de conciencia contextual del entorno circundante, lo que conduce a la clasificación errónea de actividades normales como anomalías (falsos positivos) o al fallo en la detección de eventos anormales sutiles. Además, muchos modelos tienen dificultades con la generalizabilidad, funcionando bien en pruebas comparativas pero fallando en entornos reales no vistos donde la misma acción puede ser normal en un contexto pero anómala en otro. Los métodos actuales también dependen frecuentemente de arquitecturas de "caja negra", lo que plantea preocupaciones sobre la interpretabilidad y la confianza en las aplicaciones de seguridad.

Metodología
Los autores proponen un marco integrado llamado STAM (Codificador Transformer sensible a la escena con un mecanismo de atención guiado por Aprendizaje de Múltiples Instancias). La arquitectura emplea un diseño de doble rama para optimizar conjuntamente la dinámica espaciotemporal y las incrustaciones de contexto de la escena:

Incrustaciones de Escena mediante Grafos Contrastivos (CGSE):
- Para capturar contextos específicos del entorno, el modelo utiliza aprendizaje contrastivo combinado con una Red de Convolución de Grafos (GCN).
- Las escenas se modelan como grafos donde los objetos son nodos y las relaciones son aristas. Esto preserva la estructura de la disposición de la escena en lugar de colapsarla en un vector plano.
- El modelo genera vectores de incrustación de la escena tratando los fotogramas como bolsas de nodos, propagando mensajes a través del grafo y agregando representaciones intermedias.
- Estas incrustaciones se entrenan mediante supervisión débil a partir de descripciones de imágenes, empleando una pérdida contrastiva para atraer estructuras de escena similares y alejar las disímiles.
Extracción de Características Espaciotemporales (I3D):
- Los fragmentos de video son procesados utilizando una Red Convolucional 3D Inflada (I3D).
- El modelo I3D extiende los núcleos de convolución 2D hacia 3D para capturar tanto la dinámica espacial como la temporal. Procesa dos flujos: fotogramas RGB crudos para características de apariencia y campos de flujo óptico para características de movimiento.
- Estos flujos se concatenan para formar un vector de características espaciotemporales combinado para cada fragmento.
Codificador Transformer con Atención guiada por MIL:
- La innovación central es un Codificador Transformer donde el vector de incrustación de la escena se codifica explícitamente como un token CLS especial (token de contexto global).
- El modelo utiliza una configuración de Aprendizaje de Múltiples Instancias (MIL) donde un video se trata como una "bolsa" de fragmentos. Si un video es anómalo, al menos un fragmento dentro de la bolsa debe ser anómalo.
- Se emplea un Mecanismo de Atención guiado por MIL personalizado. A diferencia de la atención estándar, este mecanismo utiliza la incrustación de la escena (token CLS) como un agregador global para modular los pesos de atención de los tokens espaciotemporales individuales.
- Esto permite al modelo priorizar los fragmentos anómalos basándose en el contexto de la escena global, redefiniendo efectivamente la ponderación de la anomalía en lugar de depender de la agregación convencional (pooling de máximo o promedio).
- Se dispara una alarma si la puntuación de atención agregada supera un umbral específico (0.5).

Contribuciones Clave
El artículo describe tres contribuciones principales:

Incrustaciones de Escena Contrastivas: Introducción de vectores de incrustación de escena derivados de aprendizaje contrastivo y GCNs para capturar el contexto ambiental discriminativo, mejorando la precisión de la detección en escenarios complejos.
Extracción de Características I3D: Empleo de la Red Convolucional 3D Inflada para modelar eficazmente las dinámicas temporales y espaciales, proporcionando el contexto esencial para una detección de anomalías precisa.
Marco STAM: Un novedoso codificador transformer integrado con un Mecanismo de Atención guiado por MIL que trata las incrustaciones de la escena como un token CLS global. Este diseño dirige explícitamente la atención a nivel de fragmento, priorizando los segmentos anómalos mientras se considera el contexto de la escena para una detección robusta.

Resultados Experimentales
El modelo propuesto STAM fue evaluado en el conjunto de datos UCF-Crime (1900 videos no recortados) y validado en el conjunto de datos UCF101 para el rendimiento de transferencia entre conjuntos de datos.

Métricas de Desempeño: En el conjunto de datos UCF-Crime, STAM logró una Exactitud de 99.85% y un Área Bajo la Curva (AUC) de 99.98%.
Análisis Comparativo: STAM superó a los modelos de base incluyendo I3D-MIL, SpatioTemporal-Transformer (ST-Trans), GAN-MIL, BiLSTM y ConvLSTM. Por ejemplo, superó al modelo ConvLSTM (99.06% de exactitud) y al modelo de Red Dual en MIL (DD-MIL).
Validación de Transferencia de Conjunto de Datos: Al ser probado en UCF101, STAM mantuvo un alto desempeño (99.85% de exactitud y 99.96% de AUC), demostrando robustez en entornos no vistos en comparación con los modelos de base que tuvieron dificultades con la generalización.
Estudio de Ablación: El análisis estadístico (pruebas t pareadas) confirmó que la inclusión de las incrustaciones de la escena y el mecanismo de atención específico de MIL mejoraron significativamente el desempeño sobre las variantes que carecían de estos componentes (por ejemplo, el Transformer sin conciencia de la escena logró 96.15% de AUC frente al 99.98% del modelo completo).
Eficiencia: Aunque el modelo tiene una mayor complejidad computacional ( $O(T^2d_f + n_e d_s)$ ) y una velocidad de inferencia ligeramente más lenta (52 fps) en comparación con modelos más simples, sigue cumpliendo con los requisitos de tiempo real y ofrece una exactitud superior.

Significancia y Reivindicaciones
Los autores afirman que la significancia de este trabajo radica en desplazar la investigación de VAD de la detección de anomalías puramente temporales hacia modelos holísticos impulsados por el contexto.

Interpretabilidad Contextual: Al codificar explícitamente la estructura de la escena, el modelo aborda la "dependencia del contexto" de las anomalías, reduciendo las falsas alarmas causadas por la interpretación errónea de acciones normales en entornos específicos.
Aprendizaje Débilmente Supervisado: El marco maneja eficazmente la supervisión débil (solo etiquetas a nivel de video) mediante el uso de la atención MIL para localizar anomalías sin requerir anotaciones a nivel de fotograma.
Robustez: La integración del aprendizaje contrastivo con GCNs proporciona una nueva perspectiva sobre las estructuras relacionales, mejorando la generalización en entornos no vistos.
Impacto Operativo: Los autores aseguran que la reducción de las falsas alarmas y la capacidad de distinguir entre comportamientos benignos y sospechosos basados en el contexto ambiental hace que el sistema sea altamente relevante para dominios críticos como la seguridad pública, el monitoreo de tráfico y la gestión de multitudes.

El artículo concluye que esta arquitectura de doble rama establece un estándar de vanguardia para la detección de anomalías y allana el camino para futuros sistemas de vigilancia multimodal.

Resumen Técnico: Codificador Transformer sensible a la escena con un mecanismo de atención guiado por Aprendizaje de Múltiples Instancias para la detección de anomalías en videovigilancia

Más como este