💻 computer science

GridVAD: Open-Set Video Anomaly Detection via Spatial Reasoning over Stratified Frame Grids

GridVAD es un pipeline de detección de anomalías en video sin entrenamiento que aprovecha los Modelos Visión-Lenguaje como generadores de propuestas abiertas, las cuales se filtran mediante Consistencia Autoconsistente (SCC) y se anclan espacialmente con Grounding DINO y SAM2 para producir máscaras de anomalía a nivel de píxel con un alto rendimiento y eficiencia.

Autores originales: Mohamed Eltahir, Ahmed O. Ibrahim, Obada Siralkhatim, Tabarak Abdallah, Sondos Mohamed

Publicado 2026-03-27

📖 4 min de lectura☕ Lectura para el café

CC0 1.0

Autores originales: Mohamed Eltahir, Ahmed O. Ibrahim, Obada Siralkhatim, Tabarak Abdallah, Sondos Mohamed

Artículo original dedicado al dominio público bajo CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás vigilando una plaza pública a través de una cámara de seguridad. Tu trabajo es detectar cualquier cosa extraña: alguien robando, un coche circulando donde no debe, o una pelea.

El problema es que las cámaras tradicionales son como guardias que solo reconocen lo que ya han visto antes. Si ves algo nuevo, se confunden. Por otro lado, los nuevos "cerebros de IA" (llamados Modelos Visuales-Lingüísticos o VLM) son como turistas muy cultos que han leído todos los libros del mundo. Pueden describir cualquier cosa con palabras, pero tienen un defecto grave: alucinan.

Si le preguntas al turista: "¿Ves algo raro aquí?", a veces te dirá: "¡Sí! ¡Un dragón volando!" cuando solo hay una sombra. O te dirá que todo está bien cuando hay un robo. Son demasiado seguros de sí mismos y a veces inventan cosas.

GridVAD es la solución inteligente para usar a este "turista culto" sin que nos mienta. Aquí te explico cómo funciona con una analogía sencilla:

1. El Problema: No le pidas al turista que sea policía

En el pasado, los investigadores le decían al turista: "Mira esta foto y dime si hay un crimen (Sí/No)". Como el turista no es policía, a menudo se equivoca o inventa crímenes que no existen.

GridVAD cambia la regla: "No le pidas que decida si es un crimen. Solo pídele que describa lo que ve".

En lugar de decir "¡Robo!", el turista dice: "Veo a una persona corriendo muy rápido en la zona de peatones".
Esto es mucho más seguro. El turista es bueno describiendo, pero malo decidiendo.

2. La Estrategia: El "Consejo de Sabios" (Consolidación de Auto-Consistencia)

Para evitar que el turista alucine, GridVAD no le hace una sola pregunta. En su vez, le hace la misma pregunta 5 veces (o más), pero mostrando la escena de formas ligeramente diferentes (como si le dieras 5 fotos del mismo evento tomadas desde ángitos distintos).

La Magia: Si el turista ve un "robador" en las 5 fotos, es muy probable que sea real.
El Filtro: Si en una foto dice "vi un dragón" y en las otras 4 no dice nada, el sistema piensa: "¡Eso fue una alucinación! ¡Ignóralo!".
Esto se llama Consolidación de Auto-Consistencia. Es como tener un comité de 5 expertos; si todos están de acuerdo en algo, es verdad. Si solo uno lo ve, probablemente esté soñando.

3. La Acción: El "Detective con Lupa" y el "Pintor"

Una vez que el sistema confirma que algo es real (gracias al comité de 5), pasa a la acción:

El Detective (Grounding DINO): Toma la descripción del turista ("persona corriendo") y busca en el video exactamente dónde está esa persona. Le pone un recuadro de "¡Aquí está!".
El Pintor (SAM2): Una vez que el detective encuentra a la persona, el pintor toma ese recuadro y pinta sobre toda la persona en cada fotograma del video, siguiendo su movimiento. Así, no solo sabemos qué pasó, sino dónde y cuándo exactamente, píxel a píxel.

4. La Innovación: El "Mosaico" (Grid Stratificado)

Normalmente, para vigilar un video de 10 minutos, tendrías que preguntar al turista 100 veces (una por cada segundo), lo cual es lento y caro.

GridVAD es más inteligente:

Divide el video en pequeños bloques de tiempo.
Toma una foto de cada bloque y las pega todas juntas en una sola imagen gigante (un mosaico).
Le muestra este mosaico al turista una sola vez.
El turista ve todo el contexto temporal de un solo vistazo.
Resultado: GridVAD necesita hacer muchas menos preguntas al cerebro de IA, lo que lo hace 2.7 veces más rápido y eficiente que los métodos anteriores, sin perder precisión.

¿Por qué es importante esto?

No necesita entrenamiento: No tienes que enseñarle al sistema qué es un "robo" o una "pelea" con miles de ejemplos. El sistema ya sabe lo que es un robo porque el "turista" (la IA) ya leyó sobre ello. Funciona en cualquier lugar del mundo, desde una calle en Sudán hasta una fábrica en Arabia Saudita.
Precisión: En pruebas reales, este sistema detectó anomalías a nivel de píxel (saber exactamente qué parte de la imagen es el problema) mejor que sistemas que habían sido entrenados específicamente para esos lugares.

En resumen:
GridVAD es como tener un turista experto que describe lo que ve, un comité que filtra sus alucinaciones, un detective que localiza el objeto y un pintor que marca el área exacta. Todo esto sin gastar una fortuna en entrenar al sistema y sin que el turista se invente dragones donde no los hay.

1. Planteamiento del Problema

La Detección de Anomalías en Video (VAD) es un problema inherentemente desequilibrado y de "conjunto abierto" (open-set), donde las anomalías son raras, diversas y dependen del contexto. Los modelos tradicionales suelen requerir entrenamiento específico o listas cerradas de categorías, lo que limita su generalización.

El artículo identifica un problema crítico en el uso reciente de Modelos Visuales-Lingüísticos (VLM) para VAD:

Fragilidad actual: Utilizar VLMs directamente como detectores de anomalías (pidiéndoles que asignen una puntuación binaria de "anormal" a un fotograma) genera señales ruidosas y no calibradas. Los VLMs, entrenados en datos de internet, no están adaptados a la distribución sesgada de videos de vigilancia y tienden a generar falsas alarmas (alucinaciones) o a perder detecciones.
La solución propuesta: El papel correcto de un VLM en este contexto no es la detección directa, sino la propuesta. Deben generar descripciones naturales de eventos candidatos sin necesidad de tomar decisiones binarias calibradas. La localización espacial y temporal precisa debe delegarse a modelos especializados.

2. Metodología: GridVAD

El authors proponen GridVAD, una pipeline de detección de anomalías sin entrenamiento (training-free) que implementa el principio "Proponer - Anclar - Propagar" (Propose-Ground-Propagate).

A. Representación de Malla Estratificada (Stratified Grid Sampling)

En lugar de procesar fotograma a fotograma, un clip de video se divide en una malla espacial estratificada:

El clip se divide en $K$ bins temporales iguales.
Se generan $M$ muestras independientes, donde cada muestra toma un fotograma aleatorio de cada bin temporal y los ensambla en una sola imagen (un "mosaico" o grid).
Esto convierte el problema de detección temporal en una tarea de comprensión de imagen de un solo paso, permitiendo que el VLM vea el contexto temporal completo en una sola llamada.

B. Propuesta de Anomalías de Conjunto Abierto

Cada malla de fotogramas se pasa a un VLM (en el experimento, Qwen3-VL).
El VLM genera descripciones de texto libre de posibles anomalías, junto con sus coordenadas temporales, sin usar una lista predefinida de categorías.

C. Consolidación por Auto-Consistencia (SCC - Self-Consistency Consolidation)

Esta es la etapa clave para filtrar alucinaciones:

Se realizan $M$ muestreos independientes.
Un LLM de solo texto actúa como consolidador semántico, agrupando propuestas que se refieren al mismo objeto o evento a través de las diferentes muestras.
Se retienen solo las propuestas que aparecen en múltiples muestreos (superando un umbral de soporte $\tau$ ). Las alucinaciones estocásticas (que aparecen una sola vez) se descartan.
Esto permite un control preciso entre precisión y recuperación (recall).

D. Anclaje Espacial y Propagación Temporal

Una vez filtradas las propuestas válidas:

Grounding DINO: Se utiliza un detector de vocabulario abierto (Zero-shot) para localizar el objeto descrito en el fotograma más informativo, generando un cuadro delimitador (bounding box).
SAM2 (Segment Anything Model 2): Se utiliza para propagar esta máscara desde el cuadro delimitador a través de todo el intervalo temporal de la anomalía, generando máscaras de segmentación pixel a pixel consistentes en el tiempo.

Eficiencia: El presupuesto de llamadas al VLM es fijo ( $M+1$ llamadas por clip), independientemente de la longitud del video, lo que lo hace mucho más eficiente que las consultas por fotograma.

3. Contribuciones Clave

Principio de Diseño "VLM como Proponente": Demuestran que separar la generación de hipótesis (VLM) de la localización precisa (Grounding DINO/SAM2) permite una localización de anomalías a nivel de píxel fiable sin entrenamiento específico.
Consolidación por Auto-Consistencia (SCC): Introducen un mecanismo ligero y sin parámetros aprendidos para filtrar alucinaciones mediante el consenso estadístico de múltiples muestreos, controlando el trade-off precisión-recall.
Representación de Malla Estratificada: Transforman la detección temporal en una tarea espacial de un solo paso, logrando una eficiencia de llamadas al modelo 2.7 veces superior a las consultas uniformes por fotograma.

4. Resultados Experimentales

Los experimentos se realizaron en los conjuntos de datos estándar UCSD Ped2 y ShanghaiTech Campus.

Rendimiento en UCSD Ped2: GridVAD logró el Pixel-AUROC más alto (77.59) entre todos los métodos comparados, superando incluso a TAO (un método que requiere ajuste fino parcial, con 75.11).
Eficiencia: Es 2.7 veces más eficiente en términos de llamadas al VLM en comparación con la consulta por fotograma, y produce máscaras de segmentación densas que los métodos de muestreo uniforme no pueden generar.
Trade-off Precisión-Recall:
- El método sobresale en métricas a nivel de píxel (calidad de la máscara).
- Las métricas a nivel de objeto (RBDC, TBDC) son más bajas que en métodos exhaustivos como TAO. El análisis de ablación muestra que esto se debe a que SCC filtra propuestas que no se repiten, sacrificando algo de recall (encontrar todas las anomalías) para ganar una precisión y calidad de máscara muy superiores.
Zero-Shot: Todo el sistema funciona sin ajuste fino en los datos de destino, demostrando una fuerte capacidad de generalización.

5. Significado y Conclusión

GridVAD representa un cambio de paradigma en la VAD basada en modelos fundacionales. En lugar de intentar forzar a los VLMs a actuar como clasificadores de anomalías (para lo cual no están calibrados), el sistema los utiliza como motores de razonamiento semántico para generar hipótesis, delegando la verificación y localización a modelos especializados.

Impacto: Ofrece una solución robusta, interpretable y sin entrenamiento para la detección de anomalías en entornos de seguridad crítica, donde las categorías de anomalías son desconocidas o cambian dinámicamente.
Limitación principal: La recuperación (recall) depende totalmente de la capacidad del VLM para proponer la anomalía en al menos una de las muestras; si el VLM no la "ve", el sistema no la detecta. El futuro trabajo se centra en mejorar la tasa de propuesta de los VLMs.

En resumen, GridVAD demuestra que una arquitectura bien diseñada que aprovecha las fortalezas de los VLMs (razonamiento abierto) y compensa sus debilidades (alucinaciones, falta de calibración) mediante mecanismos de consistencia y modelos de visión especializados, puede superar a métodos entrenados específicamente en tareas de segmentación de anomalías.