💻 computer science

GridVAD: Open-Set Video Anomaly Detection via Spatial Reasoning over Stratified Frame Grids

O GridVAD é um pipeline de detecção de anomalias em vídeo sem treinamento que utiliza modelos de linguagem e visão (VLMs) como proponentes de anomalias em grade estratificada, filtrando alucinações com Consolidação de Autoconsistência e ancorando as propostas em máscaras densas por meio de Grounding DINO e SAM2, alcançando desempenho superior em benchmarks como UCSD Ped2 sem necessidade de ajuste fino específico de domínio.

Autores originais: Mohamed Eltahir, Ahmed O. Ibrahim, Obada Siralkhatim, Tabarak Abdallah, Sondos Mohamed

Publicado 2026-03-27

📖 5 min de leitura🧠 Leitura aprofundada

CC0 1.0

Autores originais: Mohamed Eltahir, Ahmed O. Ibrahim, Obada Siralkhatim, Tabarak Abdallah, Sondos Mohamed

Artigo original dedicado ao domínio público sob CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é o chefe de segurança de um grande shopping center. Você tem milhares de câmeras de vídeo rodando 24 horas por dia. Sua tarefa é encontrar qualquer coisa estranha que aconteça lá: alguém correndo onde não deve, um carro entrando na calçada, ou uma briga.

O problema é que você não pode contratar um segurança para olhar cada segundo de cada câmera o tempo todo. E se você usar um computador comum, ele só sabe o que você já ensinou a ele. Se um "alienígena" (algo totalmente novo) aparecer, o computador não vai saber o que é.

É aqui que entra o GridVAD, uma nova inteligência artificial que funciona como um detetive superinteligente, mas com um método muito específico.

Aqui está como funciona, explicado de forma simples:

1. O Problema: O "Oráculo" Confuso

Antes, as pessoas tentavam usar modelos de IA gigantes (chamados VLMs, ou Modelos de Visão e Linguagem) como se fossem guardas de segurança diretos. Eles perguntavam: "Isso é normal ou anormal?"

O problema é que esses modelos são como oráculos muito criativos, mas um pouco loucos. Eles são ótimos em descrever o que veem ("Vejo um cachorro, vejo um carro"), mas péssimos em dizer se algo é um crime ou não. Eles podem ficar confusos e gritar "ALERTA!" porque viram uma sombra estranha, ou ignorar um ladrão porque acharam que era apenas uma pessoa correndo. Eles alucinam muito.

2. A Solução: O Detetive, o Cartógrafo e o Pintor

Os autores do GridVAD mudaram a estratégia. Em vez de pedir para o oráculo decidir se é um crime, eles o usam apenas para fazer sugestões. Eles dividem o trabalho em três etapas, como uma equipe de detetives:

Etapa 1: O Detetive (O VLM)

Em vez de olhar o vídeo quadro a quadro (o que seria lento e caro), o GridVAD pega o vídeo e o divide em blocos de tempo, como se fosse um tabuleiro de xadrez.

Imagine que você pega 9 quadros diferentes do vídeo e os cola juntos em uma única imagem gigante (um "colagem").
O Detetive olha essa colagem e diz: "Ei, na parte de cima, parece que tem um carro subindo na calçada!" ou "Na parte de baixo, alguém está correndo de forma estranha".
O Detetive não decide se é crime. Ele apenas descreve o que vê de estranho.

Etapa 2: O Filtro de Verdade (SCC - Consolidação)

Como o Detetive é um pouco louco, ele pode inventar coisas. Para resolver isso, o GridVAD pede para o Detetive olhar a mesma cena 5 vezes diferentes (tirando fotos aleatórias dos mesmos blocos de tempo).

Se o Detetive disser 5 vezes: "Tem um carro na calçada!", então é verdade.
Se ele disser uma vez: "Tem um dragão voando!" e nas outras 4 vezes ficar em silêncio, o sistema descarta como alucinação.
Isso é como pedir para 5 testemunhas diferentes descreverem o mesmo crime. Se todas contarem a mesma história, você sabe que é real.

Etapa 3: O Cartógrafo e o Pintor (Grounding DINO e SAM2)

Agora que temos uma lista de coisas estranhas que são "provavelmente verdadeiras", passamos para a equipe de precisão:

O Cartógrafo (Grounding DINO): Pega a descrição do Detetive ("carro na calçada") e aponta exatamente onde isso está no vídeo, desenhando uma caixa em volta.
O Pintor (SAM2): Pega essa caixa e pinta o objeto em todos os quadros do vídeo, seguindo o movimento. Ele cria uma máscara pixel a pixel, mostrando exatamente a forma do carro ou da pessoa correndo, quadro a quadro.

Por que isso é genial?

Não precisa de treinamento: Você não precisa ensinar o sistema sobre "ladrões" ou "incêndios". O Detetive já sabe o que é um carro, uma pessoa ou um fogo. Ele apenas descreve o que é estranho para o contexto.
Economia de energia: Em vez de perguntar ao Detetive sobre cada segundo do vídeo (o que seria exaustivo), o sistema faz apenas 5 perguntas inteligentes por clipe de vídeo, não importa se o vídeo tem 1 minuto ou 1 hora. É como olhar um mapa em vez de caminhar por cada rua.
Precisão: Ao separar a "ideia" do Detetive da "precisão" do Cartógrafo, o sistema evita falsos alarmes e consegue desenhar perfeitamente onde o problema está.

O Resultado

Nos testes, o GridVAD foi o melhor em detectar onde exatamente a anomalia aconteceu (pixel a pixel), superando até sistemas que foram treinados especificamente para aquele local. Ele é como um detetive que, mesmo sem conhecer o bairro, consegue identificar o suspeito e desenhar seu contorno com perfeição, apenas olhando para uma colagem de fotos e pedindo a opinião de várias testemunhas.

Resumo da ópera: O GridVAD não tenta adivinhar o futuro. Ele usa a inteligência de um modelo gigante para sugerir o que pode estar errado, usa a lógica para filtrar o que é mentira, e usa ferramentas de precisão para mostrar exatamente onde o problema está.

Título: GridVAD: Detecção de Anomalias em Vídeo de Conjunto Aberto via Raciocínio Espacial sobre Grades de Quadros Estratificados

1. O Problema

A Detecção de Anomalias em Vídeo (VAD) é um problema inerentemente desbalanceado e de conjunto aberto, onde as anomalias são raras, diversas e altamente dependentes do contexto.

Limitação dos Modelos Atuais: Abordagens tradicionais baseadas em treinamento exigem dados anotados e falham em generalizar para categorias de anomalias não vistas durante o treinamento.
Fragilidade dos Modelos de Visão-Linguagem (VLMs): Embora os VLMs tenham conhecimento visual amplo e capacidade de raciocínio, usá-los diretamente como detectores de anomalias (atribuindo pontuações de probabilidade a quadros) é problemático. Como foram treinados em dados da internet onde anomalias não são raras nem rotuladas sistematicamente, suas pontuações não são calibradas. Isso resulta em muitos falsos positivos (alucinações) e detecções ruidosas, exigindo pós-processamento extensivo.

2. Metodologia: GridVAD

O GridVAD propõe uma mudança de paradigma: em vez de usar o VLM para detectar (decidir binariamente se algo é anômalo), ele deve atuar como um propositor de anomalias. O sistema segue o princípio "Propor-Ancorar-Propagar" (Propose-Ground-Propagate) e é totalmente livre de treinamento (training-free).

O pipeline consiste em quatro estágios principais:

A. Amostragem de Grade Estratificada (Stratified Grid Sampling)

Em vez de processar cada quadro individualmente, um clipe de vídeo é dividido em $K$ bins temporais (ex: 9 bins).
Para cada amostragem independente $m$ , um quadro é selecionado aleatoriamente de cada bin e todos são "costurados" (tiling) em uma única imagem de grade espacial.
Isso transforma o problema de detecção temporal em uma tarefa de compreensão de imagem única, permitindo que o VLM veja o contexto temporal de todo o clipe em uma única passagem.

B. Proposta de Anomalia de Conjunto Aberto (VLM)

A grade de quadros é enviada a um VLM (ex: Qwen3-VL) com um prompt estruturado.
O VLM gera descrições em linguagem natural de eventos anômalos potenciais, incluindo suas coordenadas temporais estimadas, sem usar uma lista pré-definida de categorias.
O modelo atua como um sensor estocástico, gerando múltiplas propostas independentes ( $M$ amostragens).

C. Consolidação de Auto-Consistência (Self-Consistency Consolidation - SCC)

Este é o mecanismo central para filtrar alucinações. As propostas de todas as $M$ amostragens são agrupadas.
Um LLM (texto) atua como consolidador semântico, agrupando propostas que referem-se ao mesmo objeto/evento.
Filtro Estatístico: Apenas propostas que aparecem em múltiplas amostragens independentes (acima de um limiar de suporte $\tau$ ) são mantidas. Alucinações (eventos únicos e inconsistentes) são descartadas. Isso cria um sinal de detecção confiável sem necessidade de calibração de dados.

D. Ancoragem Espacial e Propagação Temporal

Grounding DINO: Cada proposta sobrevivente (descrição em texto) é enviada a um detector de vocabulário aberto (Grounding DINO) para localizar o objeto em um quadro âncora, gerando uma caixa delimitadora (bounding box).
SAM2 (Segment Anything Model 2): A caixa delimitadora é usada para inicializar o SAM2, que propaga a máscara de segmentação para frente e para trás dentro do intervalo temporal definido pela proposta, gerando máscaras de pixel para cada quadro.

3. Principais Contribuições

Princípio de Design "VLM como Propositor": Demonstra que VLMs são eficazes ao descrever conteúdo visual incomum, mas falham ao tomar decisões binárias de anomalia. A separação entre "proposição" (VLM) e "localização" (modelos especializados) resolve o problema de ruído.
Consolidação de Auto-Consistência (SCC): Um mecanismo leve e sem parâmetros aprendidos que usa amostragem múltipla para filtrar alucinações, permitindo um controle ajustável entre precisão e recall.
Representação de Grade Estratificada: Converte a detecção temporal em uma tarefa espacial única, permitindo um orçamento fixo de chamadas de VLM ( $M+1$ ) independentemente do comprimento do vídeo, sendo 2.7x mais eficiente em chamadas do que consultas quadro a quadro.

4. Resultados Experimentais

Os testes foram realizados nos benchmarks UCSD Ped2 e ShanghaiTech Campus.

Desempenho em UCSD Ped2:
- O GridVAD alcançou a maior Pixel-AUROC (77.59) entre todos os métodos comparados, superando até mesmo o método TAO (que é parcialmente ajustado/fine-tuned, com 75.11).
- Superou outras abordagens zero-shot em métricas de nível de objeto (RBDC) em mais de 5x.
Eficiência:
- O método é 2.7x mais eficiente em termos de chamadas de VLM comparado a consultas uniformes por quadro.
- Produz máscaras de segmentação densas, algo que métodos de pontuação de quadro não fazem.
Análise de Ablação (SCC):
- A remoção do SCC (usando apenas 1 amostragem) aumenta o recall de objetos (encontra mais anomalias), mas degrada drasticamente a qualidade das máscaras (Pixel-AUROC cai 7.3 pontos) devido a alucinações.
- O SCC impõe um trade-off controlável: sacrifica um pouco de recall de objetos para garantir alta precisão e qualidade de segmentação.

5. Significância e Conclusão

O GridVAD representa um avanço significativo na detecção de anomalias em vídeo de conjunto aberto (open-set).

Viabilidade do Zero-Shot: Demonstra que é possível alcançar desempenho de ponta sem treinamento específico no domínio ou ajuste fino (fine-tuning), utilizando apenas modelos fundacionais pré-treinados.
Robustez: A abordagem de "proposta-consolidação" mitiga a principal fraqueza dos VLMs (alucinação), transformando-os em ferramentas confiáveis para segurança e vigilância.
Escalabilidade: A arquitetura é escalável e eficiente, pois o custo computacional não cresce linearmente com a duração do vídeo, mas sim com o número de amostragens ( $M$ ) definidas.

Em suma, o GridVAD redefine como modelos de fundação devem ser aplicados à vigilância: não como juízes finais de anomalia, mas como geradores inteligentes de hipóteses que são validadas e localizadas por módulos especializados.