Resumen Técnico: FuseMamba-VD

Declaración del Problema

La rápida proliferación de cámaras de vigilancia ha creado un volumen abrumador de datos de video, lo que hace que el monitoreo humano continuo para la detección de violencia sea poco práctico e poco confiable. Aunque los enfoques actuales de aprendizaje profundo, como las Redes Neuronales Convolucionales (CNN) 3D y las arquitecturas basadas en Transformers, han mostrado éxito en la extracción de características espacio-temporales, enfrentan limitaciones significativas. Las CNN 3D tienen dificultades para capturar dependencias de largo alcance, mientras que los Transformers incurren en una complejidad computacional cuadrática con respecto a la longitud de la secuencia, lo que limita su escalabilidad para videos de vigilancia largos y de alta resolución. Además, muchos conjuntos de datos existentes utilizados para el entrenamiento son o bien escenificados (por ejemplo, escenas de películas) o están débilmente etiquetados, lo que no logra representar las complejidades de los escenarios de vigilancia del mundo real.

Metodología

Los autores proponen FuseMamba-VD, una arquitectura eficiente diseñada para la detección supervisada de violencia que aprovecha los Modelos de Espacio de Estados (SSM). La innovación central reside en un diseño de doble rama combinado con un mecanismo de Fusión de Token de Clase con Compuerta (GCTF).

1. Descripción General de la Arquitectura

El modelo se construye sobre la base de VideoMamba, utilizando módulos de espacio de estados bidireccionales. Consta de cuatro componentes principales:

• Módulo de Recorte (Cropping Module): Para centrar los recursos computacionales en las interacciones humanas relevantes, el sistema extrae regiones que comprenden a todas las personas detectadas en cada fotograma, basándose en la observación de que la violencia suele involucrar a múltiples individuos.
• Pipeline de Doble Rama (Dual-Branch Pipeline): Dos pipelines paralelos procesan la entrada de video ($X \in \mathbb{R}^{3 \times T \times H \times W}$) tras la tokenización en parches espacio-temporales:
  • Rama-1 (Escaneo Prioridad Espacial): Los tokens se reorganizan para priorizar la disposición espacial dentro de los fotogramas antes de concatenarlos a través del tiempo. Esta rama está diseñada para capturar pistas espaciales locales de grano fino.
  • Rama-2 (Escaneo Prioridad Temporal): Los tokens mantienen su orden temporal natural y se apilan a lo largo de la dimensión espacial. Esta rama se enfoca en los patrones de movimiento dinámico y las dependencias temporales globales.
  • Ambas ramas utilizan pesos pre-entrenados de VideoMamba y emplean un escaneo bidireccional.

2. Fusión de Token de Clase con Compuerta (GCTF)

Se introduce un novedoso mecanismo de fusión continua para integrar la información entre las dos ramas. A diferencia de los enfoques de fusión tardía, el GCTF opera en cada capa de la red:

• Cada rama produce un Token de Clase ($CLS$) en cada capa.
• Un mecanismo de compuerta (gating) aprendible fusiona adaptativamente el token $CLS$ de la rama espacial ($CLS^1$) en el token $CLS$ de la rama temporal ($CLS^2$).
• La fusión se define como: $CLS^2_{fused} = \sigma' \odot CLS^2 + (1 - \sigma') \odot CLS^1$, donde $\sigma'$ es un parámetro aprendible con activación sigmoide.
• Esto permite un refinamiento progresivo de las representaciones espaciales y temporales sin comprometerse prematuramente con ninguna de las dos modalidades en la red.

3. Fusión Final

En la capa final, los tokens $CLS$ de ambas ramas se concatenan y se pasan a través de una capa de proyección totalmente conectada para producir la probabilidad de clasificación final.

Contribuciones Clave

El artículo describe tres contribuciones principales:

1. Arquitectura de Doble Rama basada en Espacio de Estados: El primer diseño de doble rama basado en modelos de espacio de estados para la detección supervisada de violencia en video. Desacopla explícitamente el razonamiento espacial y temporal mientras permite la interacción semántica continua mediante tokens de clase, contrastando con modelos previos que dependen de la fusión tardía o de mecanismos de atención pesados.
2. Fusión de Token de Clase con Compuerta (GCTF): Un mecanismo de fusión continua por capas que integra adaptativamente los tokens de clase específicos de cada rama. Esto permite un alineamiento gradual de las características y evita el compromiso temprano con una sola rama.
3. Benchmark de Vigilancia Integrado y Eficiencia: Los autores curaron un nuevo benchmark combinando cuatro conjuntos de datos de código abierto fuertemente etiquetados (RWF-2000, RLVS, SURV y VioPeru) con controles estrictos para prevenir la fuga de datos entre el entrenamiento y las pruebas. Demuestran que FuseMamba-VD logra un rendimiento de vanguardia (state-of-the-art) reduciendo sustancialmente los parámetros y FLOPs en comparación con trabajos anteriores.

Resultados Experimentales

El modelo fue evaluado en el benchmark combinado recién construido y en el recientemente introducido conjunto de datos DVD.

• Benchmark Combinado: FuseMamba-VD logró una precisión Top-1 del 95.85%, superando a los baselines incluyendo SlowFast, VideoSwin, UniFormer-V2, CUE-Net y varias variantes de VideoMamba. Alcanzó puntuaciones F1 de 95.89% (violento) y 95.81% (no violento).
• Conjunto de Datos DVD: En este conjunto de datos más desafiante con variabilidad del mundo real y desequilibrio de clases, el modelo alcanzó un 74.13% de precisión Top-1, superando a todos los baselines (que puntuaron $\le$ 71%).
• Eficiencia: A pesar de superar a CUE-Net (el competidor más cercano en precisión), FuseMamba-VD utiliza significativamente menos recursos:
  • Parámetros: 154.3M frente a 354M (CUE-Net).
  • FLOPs: 1912 GFLOPs frente a 5906 GFLOPs.
  • Velocidad de Inferencia: En una GPU NVIDIA H100, FuseMamba-VD alcanza 343.53 FPS, una aceleración de $\approx$4.7$\times$ respecto a CUE-Net (72.64 FPS).
• Estudios de Ablación: Los experimentos confirmaron que el diseño de doble rama es superior a las variantes de una sola rama. Además, las conexiones laterales continuas en cada bloque superaron a las configuraciones donde las conexiones se aplicaban solo en capas específicas (principio, medio o final).

Significado y Reivindicaciones

El artículo afirma que FuseMamba-VD ofrece un equilibrio óptimo entre precisión y eficiencia computacional, demostrando la promesa de los Modelos de Espacio de Estados (SSM) para la detección de violencia en video escalable y eficiente en recursos. Al separar eficazmente el razonamiento espacial y temporal mientras mantiene la interacción continua mediante un mecanismo de compuerta, el modelo mejora la sensibilidad a las sutiles diferencias de movimiento indicativas de violencia. Los autores posicionan este trabajo como un paso hacia aplicaciones de vigilancia prácticas del mundo real donde tanto la alta precisión como el bajo costo computacional son críticos. El código y los modelos pre-entrenados se ponen a disposición de la comunidad.