Resumen Técnico: NSP-ML para el Reconocimiento de Comportamientos Anómalos

Declaración del Problema

El reconocimiento de comportamientos anómalos en entornos universitarios es crítico para la vigilancia inteligente y la gestión de la seguridad. Si bien los métodos existentes han logrado progresos, dependen predominantemente de la información visual. Esta dependencia crea una limitación significativa: las representaciones visuales por sí solas a menudo no logran distinguir entre comportamientos que parecen similares pero que conllevan significados diferentes basados en restricciones contextuales (por ejemplo, tiempo, ubicación y patrones de actividad esperados). En entornos universitarios, una acción como "correr" puede ser normal en un patio de recreo, pero anormal en un pasillo de un laboratorio. Los enfoques multimodales actuales suelen tratar las entradas textuales como etiquetas estáticas o descripciones genéricas, fallando al no codificar explícitamente las normas situacionales o el conocimiento previo asociado con condiciones espaciotemporales específicas. En consecuencia, estos modelos tienen dificultades con los comportamientos anómalos dependientes del contexto, donde la definición de "anormalidad" depende de la desviación de los patrones esperados más que de la apariencia visual por sí sola.

Metodología

El artículo propone NSP-ML (Aprendizaje Multimodal Guiado por la Normalidad y Consciente de los Priores Espaciotemporales), un marco diseñado para fusionar representaciones visuales con dos tipos específicos de conocimiento textual contextual: registros guiados por la normalidad y registros conscientes de los priores espaciotemporales.

1. Construcción de Contexto Textual

En lugar de utilizar etiquetas de clase estáticas, el marco construye una hipótesis de comportamiento condicionada al contexto ($H_{i,c}$) para cada clip de video $i$ y clase candidata $c$. Esta hipótesis se forma mediante la concatenación de:

• Prototipo de Comportamiento ($B_c$): Una breve descripción semántica del comportamiento.
• Registro de Normalidad ($N_i$): Texto que describe los comportamientos esperados bajo las condiciones universitarias específicas.
• Registro de Prior Espaciotemporal ($P_i$): Texto que resume los niveles de riesgo, patrones de actividad y sensibilidad relacionados con la ubicación y el tiempo específicos.

2. Incrustación de Priores Espaciotemporales

Más allá de los registros textuales, el modelo codifica señales estructuradas directamente en la rama de texto:

• Incrustación Temporal: Las marcas de tiempo se convierten en incrustaciones periódicas utilizando funciones seno/coseno.
• Incrustación Geográfica: Las ubicaciones se codifican basándose en coordenadas, densidad de zonas y niveles de sensibilidad de gestión.
• Estas incrustaciones estructuradas se proyectan en el espacio de características de texto para alinearse con las descripciones de los priores textuales.

3. Atención de Múltiples Cabezales Consciente de los Priores

El marco introduce un mecanismo de Atención de Múltiples Cabezales Consciente de los Priores. A diferencia de la atención estándar, este módulo inyecta el vector de contexto proyectado ($\bar{C}_i$) en los vectores de consulta (query). Esto permite que el modelo realice un razonamiento a nivel de token guiado por los priores espaciotemporales, mejorando la interacción entre la evidencia visual y las hipótesis contextuales.

4. Fusión Contextual con Compuerta (Gated)

Un mecanismo de compuerta ligero equilibra adaptativamente las contribuciones del prototipo de comportamiento, el registro de normalidad y el registro de prior. Esto permite al modelo determinar dinámicamente cuánto peso asignar a las expectativas de normalidad frente a las restricciones de los priores para cada decisión de clasificación específica.

5. Objetivos de Optimización

El marco se entrena utilizando una función de pérdida compuesta ($L$) que consta de tres componentes:

• Pérdida de Clasificación Contextual ($L_{cls}$): Pérdida de entropía cruzada estándar para emparejar las representaciones visuales con las hipótesis condicionadas al contexto.
• Pérdida Contrastiva Simétrica ($L_{con}$): Un objetivo de alineación visión-lenguaje para asegurar que las características visuales coincidan con sus correspondientes hipótesis textuales contextuales.
• Pérdida de Contexto Contrafáctico ($L_{cf}$): Una pérdida novedosa que introduce hipótesis desajustadas (por ejemplo, intercambiando el registro de normalidad de una escena con otra) para enseñar explícitamente al modelo a distinguir la lógica correcta de la escena de la lógica incorrecta, fortaleciendo así la discriminación contextual.

Contribuciones Clave

1. Marco Multimodal Novedoso: El estudio introduce NSP-ML, que fusiona datos visuales con registros guiados por la normalidad y registores conscientes de los priores espaciotemporales. Esta representación integrada permite una interpretación más sensible al contexto de comportamientos anómalos sutiles, aprovechando la sinergia entre la evidencia visual y las expectativas situacionales.
2. Modelado Explícito de Priores Contextuales: A diferencia de enfoques anteriores que tratan el texto como etiquetas estáticas, este trabajo modela los comportamientos anómalos en relación con su desviación de los patrones contextualmente esperados. La introducción de incrustaciones espaciotemporales estructuradas y mecanismos de atención conscientes de los priores fortalece la interacción transmodal.
3. Desempeño Robusto y Generalizabilidad: El marco demuestra efectividad en múltiples conjuntos de datos. Logra resultados de vanguardia en el conjunto de datos específico de campus CABRH8 y mantiene un fuerte desempeño en benchmarks de reconocimiento de acciones generales (UCF-101 y HMDB-51), confirmando su robustez más allá de escenarios universitarios específicos.

Resultados Experimentales

Los experimentos se realizaron principalmente en el conjunto de datos CABRH8 (5,950 clips, 8 categorías de comportamientos anómalos en campus), con validación adicional en UCF-101 y HMDB-51.

• Desempeño en CABRH8: La variante propuesta NSP-ML-L (que utiliza un backbone ViT-L/14) logró una precisión Top-1 del 81.52% y una precisión Top-5 del 99.45%. Esto supera a los métodos puramente visuales existentes (por ejemplo, TimeSformer, Swin-B) y a los enfoques de texto estático guiado (por ejemplo, CECL-L, que logró un 80.26% en Top-1).
• Eficiencia: A pesar de la mayor precisión, NSP-ML-L mantiene un perfil de eficiencia favorable, requiriendo 295 GFLOPs y funcionando a 32 FPS, lo cual es significativamente más eficiente que competidores de alto costo como HCMT (992 GFLOPs).
• Generalización: En UCF-101, NSP-ML-L alcanzó un 98.68% de precisión, y en HMDB-51, alcanzó un 73.32%, superando a varios baselines del estado del arte y demostrando una fuerte transferibilidad a tareas de reconocimiento de acciones generales.
• Estudios de Ablación: Los experimentos confirmaron que:
  • La combinación de registros de normalidad y priores espaciotemporales produce mejores resultados que usar solo uno de ellos o usar únicamente prototipos de comportamiento.
  • Las incrustaciones espaciotemporales estructuradas (tiempo y ubicación) proporcionan ganancias complementarias sobre los priores textuales por sí solos.
  • La pérdida de contexto contrafáctico ($L_{cf}$) es crucial para mejorar la capacidad del modelo para distinguir la lógica correcta de la escena de la lógica incorrecta.

Significado

El artículo afirma que la incorporación de la guía de normalidad y los priores espaciotemporales proporciona una vía efectiva para mejorar el reconocimiento de comportamientos anómalos sensibles al contexto en entornos universitarios inteligentes. Al cambiar del emparejamiento puramente visual al razonamiento sobre hipótesis de comportamiento condicionadas al contexto, el marco NSP-ML aborda la ambigüedad inherente en escenas dinámicas, concurridas y dependientes del contexto. Los resultados sugieren que este enfoque permite a los modelos distinguir mejor entre acciones visualmente similares que difieren en su anormalidad basándose en las restricciones situacionales, ofreciendo una solución más robusta para los sistemas de vigilancia inteligente.