Action Hints: Semantic Typicality and Context Uniqueness for Generalizable Skeleton-based Video Anomaly Detection

1. Planteamiento del Problema

La Detección de Anomalías en Video Zero-Shot (ZS-VAD) tiene como objetivo localizar temporalmente eventos anómalos en videos de vigilancia sin utilizar datos de entrenamiento del dominio objetivo. Esto es crítico para escenarios que involucran privacidad de datos o nuevos despliegues de vigilancia donde los datos objetivo no están disponibles.

• Limitaciones Actuales:
  • Métodos basados en cuadros/objetos: Sufren desplazamientos de dominio en el fondo y la apariencia humana al trasladarse a nuevas escenas.
  • Métodos basados en esqueletos existentes: Aunque eliminan las disparidades de fondo/apariencia, dependen de representaciones de esqueleto de bajo nivel (por ejemplo, predicción de coordenadas, reconstrucción) aprendidas mediante auto-supervisión. Carecen de comprensión semántica, lo que les impide distinguir anomalías novedosas que se asemejan a patrones normales.
  • Límites limitados al dominio: Los métodos existentes dependen ciegamente de los límites de normalidad definidos por los datos de entrenamiento de la fuente, lo que lleva a la clasificación errónea de eventos normales no vistos como anomalías en nuevas escenas.

2. Metodología

Los autores proponen un marco novedoso que aprovecha la Typicalidad Semántica de la Acción y la Unicidad del Contexto para lograr una ZS-VAD generalizable. El enfoque consta de dos módulos principales:

A. Modelado de Typicalidad Guiado por Lenguaje (Fase de Entrenamiento)

Este módulo tiene como objetivo aprender una comprensión semántica de alto nivel de las acciones en lugar de coordenadas de bajo nivel.

1. Alineación Esqueleto-Texto: El modelo utiliza un conjunto de datos externo de reconocimiento de acciones (Kinect-400) en lugar de datos específicos de VAD. Alinea fragmentos de esqueleto con etiquetas de texto utilizando un codificador de esqueleto ($E_s$) y un codificador de texto ($E_t$), proyectando los esqueletos en un espacio semántico alineado con el lenguaje.
2. Selección de Conocimiento de Typicalidad (Distilación de LLM):
   • Se solicita a un Modelo de Lenguaje Grande (LLM) que identifique las 20 acciones normales más típicas (por ejemplo, caminar, leer) y las 20 acciones anómalas más típicas (por ejemplo, pelear, saltar en paracaídas) de las 400 clases de acción.
   • Los fragmentos de esqueleto de alta calidad correspondientes a estas clases seleccionadas "típicas" se filtran basándose en la similitud esqueleto-texto.
3. Aprendizaje de Distribución de Typicalidad:
   • Se entrena un Flujo Normalizante (NF) sobre las características normales y anómalas típicas seleccionadas.
   • El NF modela la distribución de probabilidad de estos comportamientos. Durante la inferencia, la puntuación de anomalía ($S^t$) se deriva del logaritmo negativo de la verosimilitud de un fragmento de prueba bajo la distribución "normal" aprendida. Esto permite que el modelo se generalice a nuevas escenas basándose en priores semánticos en lugar de estadísticas específicas del conjunto de datos.

B. Análisis de Unicidad del Contexto en Tiempo de Prueba (Fase de Inferencia)

Para manejar escenarios donde las acciones no son estrictamente "típicas" (por ejemplo, una acción normal que es anómala en un contexto específico), el modelo analiza el contexto espacio-temporal.

1. Construcción de Grafos de Contexto: Para cada fragmento de esqueleto, se construyen dos grafos:
   • Grafo Trans-persona ($G_c$): Conecta a la persona actual con individuos cercanos en el espacio.
   • Grafo de Auto-inspección ($G_s$): Conecta a la persona actual con sus propios estados pasados/futuros en el tiempo (excluyendo vecinos inmediatos para evitar redundancia).
2. Puntuación de Unicidad: El modelo calcula la distancia de características entre el fragmento de consulta y sus vecinos en ambos grafos. Dado que las anomalías son raras y únicas, una alta distancia indica una anomalía. La puntuación de unicidad ($S^u$) es el máximo de las distancias trans-persona y de auto-inspección.
3. Puntuación Holística: La puntuación de anomalía final es una combinación normalizada de la Puntuación de Typicalidad ($S^t$) y la Puntuación de Unicidad ($S^u$):
   $$S_i = \frac{S^t_i - \mu_t}{\sigma_t} + \frac{S^u_i - \mu_u}{\sigma_u}$$
   Esto integra priores semánticos (lo que debería ser normal/anómalo) con evidencia contextual (lo que realmente es único en esta escena).

3. Contribuciones Clave

1. Marco Novel: Un marco ZS-VAD basado en esqueletos que va más allá del aprendizaje de representaciones de bajo nivel hacia la typicalidad semántica y la unicidad del contexto.
2. Módulo de Typicalidad Guiado por Lenguaje: Introduce un método para distilar el conocimiento de LLM sobre comportamientos normales/anómalos típicos en un codificador de esqueleto, creando un espacio semántico generalizable sin entrenamiento en el dominio objetivo.
3. Análisis de Unicidad en Tiempo de Prueba: Propone un mecanismo de límite dinámico y adaptable a la escena que analiza las diferencias espacio-temporales entre individuos y pasos de tiempo para detectar anomalías específicas del contexto.
4. Rendimiento Estado del Arte: Logra resultados superiores en cuatro conjuntos de datos a gran escala (ShanghaiTech, UBnormal, NWPU, UCF-Crime) que cubren más de 100 escenas de vigilancia no vistas, superando tanto a métodos de disparo completo como a otros métodos zero-shot.

4. Resultados Experimentales

El método fue evaluado en cuatro conjuntos de datos sin datos de entrenamiento de los dominios objetivo:

• Rendimiento: El método propuesto logró resultados Estado del Arte (SOTA) en todos los conjuntos de datos.
  • ShanghaiTech: 84.1% AUC (vs. 85.9% STG-NF de disparo completo, pero 0-shot).
  • UBnormal: 74.5% AUC (una mejora significativa de +5.7% sobre la línea base zero-shot STG-NF).
  • NWPU: 62.1% AUC (+4.2% sobre la línea base).
  • UCF-Crime: 62.7% AUC (+10.8% sobre la línea base).
• Comparación con Disparo Completo: Remarkablemente, el rendimiento zero-shot de este método es comparable a, y en algunos casos supera, el rendimiento de los métodos de disparo completo entrenados en los datos objetivo.
• Eficiencia: El modelo es ligero (~5.0M parámetros), significativamente más pequeño que los enfoques basados en Modelos de Lenguaje-Visión Grandes (LVLM) (por ejemplo, LAVAD con 13B+ parámetros). La velocidad de inferencia está dominada por la extracción de esqueletos, no por la lógica de puntuación de anomalías.

5. Significado e Impacto

• Vigilancia que Preserva la Privacidad: La capacidad de desplegar detección de anomalías en nuevos entornos sin recopilar ni entrenar con datos de video locales aborda preocupaciones críticas de privacidad.
• Generalización: Al cambiar de "aprender normalidad desde datos" a "aprender normalidad desde conceptos semánticos y contexto", el modelo supera la brecha de dominio que afecta a los sistemas VAD tradicionales.
• Despliegue Práctico: El marco es computacionalmente eficiente y no requiere razonamiento multietapa complejo ni LLM masivos durante la inferencia, lo que lo hace adecuado para el despliegue en el borde en el mundo real.
• Cambio de Paradigma: El artículo demuestra que los datos de esqueleto, cuando se combinan con priores semánticos y análisis contextual, son una modalidad altamente efectiva para la detección de anomalías zero-shot, superando a los enfoques basados en cuadros y objetos en configuraciones de escenarios cruzados.