🤖 AI

Strictly Causal Streaming Video Anomaly Detection with a Theoretically-Grounded State-Space Core

Este artículo introduce un detector de anomalías en video en streaming, estrictamente causal y de complejidad O(1), basado en un modelo de espacio de estados con una puerta de decaimiento dependiente de la entrada teóricamente fundamentada, el cual logra una latencia ultrabaja en hardware de borde mientras demuestra que su capacidad de respuesta está gobernada por los límites de los eventos en lugar del decaimiento base, aunque actualmente se queda rezagado frente a las líneas de base no causales en precisión en conjuntos de datos más pequeños.

Autores originales: Yogesh Kumar

Publicado 2026-08-26

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yogesh Kumar

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el zumbido silencioso de la lente de una cámara de seguridad, llega un flujo constante de imágenes, segundo a segundo. Durante décadas, las computadoras han luchado por observar este flujo en tiempo real, buscando el momento único en que algo sale mal: una caída, una pelea, un robo. El desafío no es solo ver el evento, sino verlo en el instante en que ocurre, sin esperar a revisar una grabación o almacenar en búfer un fragmento de video para analizarlo después. Este es el ámbito de la detección de anomalías en video, un campo donde las máquinas deben aprender el ritmo del comportamiento normal e identificar instantáneamente el compás que se rompe. Tradicionalmente, los sistemas han dependido de observar grupos de fotogramas a la vez, como leer un párrafo para comprender una oración, lo que crea un retraso entre el evento y la alerta. Pero para cámaras montadas en robots o dispositivos móviles con energía limitada, ese retraso es demasiado largo, y la memoria requerida para retener esos fragmentos de video es demasiado pesada. El objetivo es un sistema que procese cada fotograma en el momento en que llega, utilizando una cantidad mínima y fija de memoria, y reaccione de inmediato.

Investigadores del Instituto Indio de Tecnología de Jodhpur han construido un nuevo tipo de detector diseñado para cumplir con este estricto requisito. En lugar de almacenar clips de video, su sistema trata el flujo entrante como un flujo continuo, actualizando su comprensión interna con cada nueva imagen que recibe. En el corazón de este sistema hay una estructura matemática que recuerda el pasado pero olvida el pasado distante rápidamente, a menos que algo importante suceda. El equipo entrenó este sistema utilizando únicamente videos de actividad normal, enseñándole a predecir cómo debería verse el siguiente fotograma basándose en lo que vino antes. Cuando el fotograma real llega y no coincide con la predicción, el sistema lanza una alarma. Lo que hace que esto funcione sea único es que no solo funciona en la teoría; los investigadores demostraron matemáticamente cómo los ajustes de memoria del sistema controlan su velocidad de reacción, y lo probaron en hardware real encontrado en dispositivos de consumo, no solo en supercomputadoras potentes.

El núcleo de su invención es un mecanismo que actúa como un guardián para la memoria. Bajo circunstancias normales, el sistema retiene la información durante un tiempo, suavizando los cambios pequeños. Sin embargo, los investigadores diseñaron una puerta específica que puede cerrarse de golpe instantáneamente si la imagen entrante choca con lo que el sistema espera. Cuando esto sucede, el sistema efectivamente reinicia su memoria en una fracción de segundo, permitiéndole reaccionar a una anomalía casi de inmediato. Para entender qué tan rápido debería ser esto, el equipo derivó una regla que vincula los ajustes de memoria del sistema con su tiempo de reacción. Encontraron que si el sistema dependiera solo de sus ajustes de memoria estándar, tardaría casi sesenta fotogramas en reaccionar plenamente ante un cambio repentino. Sin embargo, cuando observaron el sistema en acción, reaccionó en mucho menos tiempo, a veces tan rápido como uno o dos fotogramas. Esta discrepancia reveló que el mecanismo de la puerta estaba haciendo el trabajo pesado, anulando la lenta configuración de la memoria en el momento en que aparecía una irregularidad.

Los investigadores probaron su sistema en dos conjuntos de datos estándar utilizados para entrenar cámaras de seguridad: uno que presenta un camino de un campus universitario y otro que muestra una avenida concurrida. Ejecutaron el software en un chip Apple M3 Pro, un procesador que se encuentra en laptops modernas, para medir qué tan rápido podría ejecutarse realmente en el mundo real. Los resultados fueron sorprendentes por su velocidad. El sistema procesó cada fotograma en menos de un milisegundo, logrando una velocidad de más de 1,300 fotogramas por segundo. Esto es mucho más rápido que la velocidad de una transmisión de video estándar, lo que significa que el sistema tiene un enorme margen de seguridad y podría ejecutarse fácilmente en hardware mucho más débil. Sin embargo, la precisión del sistema no fue perfecta. En su estado inicial, sin ajustar, identificó correctamente las anomalías aproximadamente el 68% de las veces en el conjunto de datos del campus y el 70% en el de la avenida. Si bien esto es inferior a los puntajes del 90% o superiores que suelen verse en otros estudios, esos otros estudios típicamente utilizan métodos que observan clips de video después de los hechos o requieren tarjetas gráficas potentes que no pueden ejecutarse en dispositivos periféricos (edge devices). El autor fue cuidadoso al reportar estos números honestamente, señalando que su método es un primer paso hacia una solución estrictamente en tiempo real en lugar de un producto final perfeccionado.

Un análisis más profundo de los resultados reveló un matiz sorprendente sobre cómo aprende el sistema. Los investigadores probaron si la "puerta" especial que permite reinicios instantáneos de la memoria era siempre útil. En el conjunto de datos más pequeño con menos videos de entrenamiento, eliminar la puerta de hecho mejoró la precisión del sistema, sugiriendo que la puerta estaba causando que el sistema sobreaprendiera los pocos ejemplos que tenía. Pero en el conjunto de datos más grande con muchos más videos, la puerta se volvió esencial, y eliminarla causó que la precisión cayera drásticamente. Esto sugiere que la puerta es una herramienta poderosa, pero requiere suficientes datos para aprender cómo usarla correctamente sin confundirse. El equipo también probó diferentes tamaños para la memoria interna del sistema y encontró que, en el conjunto de datos más pequeño, una memoria más pequeña funcionaba mejor, mientras que en el más grande, una memoria más grande ayudaba ligeramente. Estos hallazgos indican que el diseño del sistema no es una solución de talla única; sus componentes interactúan con la cantidad de datos disponibles de maneras compleas.

El estudio concluye que, si bien el sistema aún no es el detector más preciso disponible, logra cerrar una brecha crítica entre la teoría y la práctica. Demuestra que un sistema estrictamente causal —uno que nunca mira hacia adelante y nunca almacena clips en búfer— puede ejecutarse en hardware de consumo con una velocidad increíble. Los investigadores reconocen que su trabajo está incompleto; aún no han probado el sistema en un tercer conjunto de datos más grande, y aún no han optimizado los ajustes del sistema para cerrar la brecha de precisión con los métodos antiguos. También señalan que su evaluación actual de exactamente dónde ocurre una anomalía en un video es una aproximación, y una prueba más precisa requeriría herramientas diferentes. No obstante, el trabajo proporciona un plano claro sobre cómo construir sistemas de comprensión de video que sean rápidos, eficientes y verdaderamente en tiempo real, alejando el campo del procesamiento pesado y retrasado hacia un futuro donde las cámaras puedan pensar y reaccionar en el instante en que algo inusual ocurre.

Resumen Técnico: Detección de Anomalías en Vídeo en Streaming Estrictamente Causal con un Núcleo de Espacio de Estados con Fundamento Teórico

Planteamiento del Problema
Los sistemas de detección de anomalías en vídeo (VAD) se despliegan cada vez más en dispositivos de borde (cámaras, robots, móviles) donde el cómputo, la memoria y la potencia están limitados. Los enfoques actuales de Modelos de Espacio de Estados (SSM), como VADMamba, abordan la eficiencia pero no logran satisfacer tres restricciones críticas simultáneamente:

Causalidad Estricta: A menudo almacenan en búfer clips o ventanas internamente, lo que viola el requisito de que una predicción en el tiempo $t$ dependa solo de los fotogramas $1, \dots, t$ con un cómputo por paso acotado.
Latencia Teórica: No ofrecen una cuenta analítica de cómo la memoria temporal de un modelo se relaciona con la latencia de detección.
Realidad del Hardware: Evalúan la eficiencia mediante el rendimiento (throughput) en GPU en lugar de medir el desempeño directamente en el hardware de borde objetivo.

Metodología
El autor propone un detector de VAD en streaming estrictamente causal con un estado de tamaño fijo que se actualiza en tiempo $O(1)$ por fotograma, sin requerir lookahead ni almacenamiento en búfer de clips.

Arquitectura:
- Backbone Congelado: Los fotogramas se mapean a embeddings mediante un backbone visual congelado (ResNet-18 o DINOv2). El modelo temporal opera únicamente en este espacio de embeddings.
- Núcleo SSM Diagonal Causal: El núcleo consiste en una pila de capas de espacio de estados diagonales causales. La actualización del estado sigue una recurrencia lineal: $s_t = a_t \odot s_{t-1} + u_t$ .
- Puerta de Frontera de Evento (Event-Boundary Gate): Una innovación clave es la puerta de decaimiento dependiente de la entrada y del estado $g_t = \sigma(\text{MLP}([LN(x_t), s_{t-1}]))$ . El decaimiento efectivo es $a_t = \bar{a} \odot g_t$ . Esta puerta permite un "olvido rápido" (reducir el decaimiento efectivo $a_t$ ) cuando la entrada actual es inconsistente con el estado actual, permitiendo una reacción rápida a las anomalías sin sacrificar la estabilidad global.
- Entrenamiento: El modelo se entrena de forma autosupervisada utilizando únicamente datos normales mediante un objetivo de predicción del siguiente embedding causal ( $\min \|\hat{e}_{t+1} - e_{t+1}\|^2$ ).
Análisis Teórico (Relación Decaimiento–Retraso):
El artículo deriva una relación de forma cerrada entre la tasa de decaimiento de la recurrencia ( $a$ ) y el retraso de detección.
- Proposición 1: Para una anomalía de cambio de paso, el retraso de asentamiento $\delta(\epsilon)$ requerido para que el estado se mueva dentro de una fracción $\epsilon$ del nuevo estado estacionario es $\delta(\epsilon) = \lceil \ln \epsilon / \ln a \rceil$ .
- Implicación: Los canales con un decaimiento más lento (un $a$ mayor) tardan estrictamente más en reaccionar. El autor utiliza esto para predecir un límite de retraso teórico basado en el decaimiento base aprendido $\bar{a}$ .

Contribuciones Clave

Formulación Estrictamente Causal: Una arquitectura concreta donde cada operación es una actualización de $O(1)$ por fotograma, lo que garantiza garantías de latencia estrictas.
Análisis de Latencia Teórica: Una derivación que vincula el espectro de decaimiento del SSM con el retraso de detección y la duración mínima detectable de la anomalía, validada empíricamente.
Evaluación de Borde en el Mundo Real: Mediciones de latencia y rendimiento de extremo a extremo realizadas directamente en silicio de borde de consumo (Apple M3 Pro), en lugar de métricas de GPU simuladas.
Reporte Transparente: Reporte completo de resultados de ablación, incluyendo hallazgos que complican la hipótesis inicial de diseño (específicamente respecto a la utilidad del mecanismo de puerta en diferentes tamaños de dataset).

Resultos Experimentales

Datasets: Evaluado en UCSD Ped2 y CUHK Avenue. (ShanghaiTech fue la intención pero se excluyó debido a la disponibilidad de datos).
Precisión: Con una configuración inicial no ajustada, el método logra un 67.9% AUC en Ped2 y un 70.2% AUC en Avenue. El autor señala que estos resultados están por debajo de los baselines SSM no causales previos (que suelen estar en los 90), atribuyendo la brecha a la falta de ajuste de hiperparámetros, señales de movimiento y optimización del backbone, más que a la formulación de streaming en sí.
Latencia y Rendimiento: Medidos directamente en un Apple M3 Pro, el sistema logra 0.74 ms/fotograma (1,343 FPS) en Ped2 y 0.77 ms/fotograma (1,290 FPS) en Avenue.
Validación Teórica: El límite de retraso de asentamiento teórico (derivado solo del decaimiento base) predice 57–59 fotogramas. Sin embargo, el retraso de detección empírico es significativamente menor (1.6 fotogramas en Ped2, 18.4 en Avenue). Esto confirma que la puerta de frontera de evento, y no el decaimiento base, gobierna la velocidad de reacción.
Hallazgos de Ablación (Dependencia del Tamaño de los Datos):
- Ped2 (Dataset pequeño): Desactivar la puerta mejoró la precisión (76.6% vs 67.9%), y los tamaños de estado más pequeños funcionaron mejor. Esto sugiere que los parámetros de la puerta sufren sobreajuste en datasets pequeños.
- Avenue (Dataset más grande): Desactivar la puerta perjudicó la precisión drásticamente (60.0% vs 70.2%), y los tamaños de estado más grandes ayudaron.
- Conclusión: La utilidad del mecanismo de puerta depende del tamaño de los datos, no es uniformemente útil.

Significancia y Reivindicaciones
El artículo afirma cerrar la brecha entre la eficiencia teórica, la causalidad estricta y el despliegue en el borde del mundo real. Su significancia radica en:

Proporcionar una herramienta de diseño (la teoría de decaimiento-retraso) en lugar de solo una curiosidad empírica.
Demostrar que el streaming estrictamente causal, $O(1)$ es factible en hardware de borde con rendimiento en tiempo real.
Ofrecer una evaluación modesta y honesta que reporta brechas de precisión y comportamientos dependientes del dataset (el sobreajuste de la puerta en datos pequeños) en lugar de suavizar los resultados para encajar en una narrativa.

Limitaciones Reconocidas por los Autores

Brecha de Precisión: Los resultados actuales están por detrás de los baselines no causales ajustados; cerrar esto requiere ajuste de backbone e hiperparámetros.
Especificidad de Hardware: La latencia se mide solo en Apple M3 Pro (backend MPS); la exportación a CoreML/Neural Engine y los benchmarks de otros bordes no-Apple están pendientes.
Límite Teórico: El teorema de retraso de asentamiento asume un decaimiento fijo; el modelo desplegado utiliza un decaimiento variable en el tiempo mediante la puerta, lo que hace que el límite teórico sea un límite superior holgado.
Métricas de Evaluación: Los criterios basados en regiones y trayectorias (RBDC/TBDC) están actualmente aproximados; se requiere una implementación oficial para futuras métricas de localización.
Reproducibilidad de Baselines: Una comparación bajo el mismo protocolo con VADMamba es imposible sin una reimplementación sustancial, ya que el baseline depende de kernels de flujo óptico exclusivos de CUDA.

Más como este