QVAD: A Question-Centric Agentic Framework for Efficient and Training-Free Video Anomaly Detection

Título: QVAD: Um Framework Agente Centrado em Perguntas para Detecção Eficiente e Sem Treinamento de Anomalias em Vídeo

1. O Problema

A Detecção de Anomalias em Vídeo (VAD) é um desafio fundamental na visão computacional, agravado pela natureza de "conjunto aberto" (open-set) das anomalias, que podem ser imprevisíveis e variadas.

• Limitações dos Métodos Tradicionais: Modelos especializados dependem de supervisão extensiva e falham em generalizar para novos ambientes sem retreinamento caro.
• Limitações das Abordagens Recentes (Sem Treinamento): Métodos recentes que utilizam Modelos de Linguagem e Visão (VLMs) e Grandes Modelos de Linguagem (LLMs) sem treinamento (training-free) geralmente dependem de prompts estáticos (ex: "Há uma anomalia?"). Para compensar a ambiguidade desses prompts fixos, eles exigem modelos fundacionais massivos e pesados, o que impede a implantação em dispositivos de borda (edge devices) devido ao alto custo computacional e de memória.
• Hipótese Central: O gargalo na VAD não é necessariamente a capacidade do modelo, mas a natureza estática da investigação. O papel sugere que a otimização da interação (dinâmica) é mais eficaz do que apenas escalar o tamanho do modelo.

2. Metodologia: O Framework QVAD

O QVAD propõe um framework agente centrado em perguntas que trata a detecção de anomalias como um diálogo dinâmico entre um módulo de percepção visual (VLM) e um agente de raciocínio (LLM), sem atualizar os parâmetros dos modelos.

Componentes Principais:

1. Abstração Espaciotemporal em Duas Etapas:

   • Para processar vídeos longos eficientemente, o sistema usa uma janela deslizante.
   • Etapa 1 (Cobertura Temporal): Amostra uniformemente 32 quadros de uma janela de 128 quadros para garantir a cobertura temporal.
   • Etapa 2 (Seleção de Saliência de Movimento): Filtra esses 32 quadros para selecionar apenas os 8 quadros com maior movimento saliente (baseado na diferença de intensidade entre quadros consecutivos), preservando os quadros inicial e final para contexto de fronteira. Isso reduz a carga computacional do VLM.

2. Raciocínio Agente Iterativo (Loop de Diálogo):

   • Inicialização: O VLM gera uma legenda inicial baseada em um prompt amplo.
   • Avaliação do Agente: O LLM analisa a legenda, o histórico de conversa e o contexto recuperado para prever a probabilidade de anomalia.
   • Refinamento Dinâmico: Se a probabilidade de anomalia estiver abaixo de um limiar (ex: 0.7) ou houver ambiguidade, o LLM gera uma pergunta de esclarecimento específica (ex: "A pessoa sentada está sendo fisicamente restrita?").
   • Resposta Focada: O VLM responde a essa pergunta específica, focando nas regiões visuais relevantes.
   • Iteração: Este ciclo repete-se até que a confiança seja alta ou o limite de voltas (turns) seja atingido (geralmente 2 voltas). Isso permite que modelos menores extraiam evidências visuais com nuances tipicamente reservadas a modelos maiores.

3. Módulo de Memória Vetorial:

   • Implementa um sistema de recuperação aumentada (RAG) para vídeos. O agente armazena observações passadas em um índice vetorial.
   • Durante a inferência, o agente recupera contextos históricos relevantes para correlacionar eventos ao longo do tempo, essencial para anomalias de longo prazo.

4. Pós-Processamento:

   • Agrega as previsões de janelas sobrepostas usando max pooling.
   • Aplica suavização Gaussiana multi-escala para garantir consistência temporal nas pontuações finais de anomalia.

3. Principais Contribuições

• Refinamento Dinâmico de Perguntas: Introduz um mecanismo em tempo de inferência onde um agente LLM atualiza adaptativamente os prompts do VLM, maximizando a recuperação de informações em cenas ambíguas.
• Implantação Eficiente (Edge AI): Demonstra que o loop agente mantém alto desempenho com modelos fundacionais compactos (ex: Qwen-1.7B/4B), democratizando o acesso à VAD de ponta. O framework opera com uma pegada de memória tão baixa quanto 4.20 GB, viabilizando o uso em dispositivos como NVIDIA Jetson Orin Nano.
• Generalização para Cenários Open-Set: O método generaliza com sucesso para anomalias dependentes de contexto em ambientes de cena única (ComplexVAD), superando abordagens estáticas que tendem a superajustar (overfit) a definições padrão de anomalia.

4. Resultados Experimentais

O QVAD foi avaliado em quatro benchmarks principais: UCF-Crime, XD-Violence, UBNormal e ComplexVAD.

• Desempenho (AUC/AP):
  • UCF-Crime: Alcançou 84.28% de AUC, superando o LAVAD (80.28%) e competindo com métodos muito maiores como PANDA e VADTree.
  • UBNormal: Alcançou 79.6% de AUC (SOTA), superando significativamente o PANDA (75.78%) e o LAVAD (64.23%).
  • ComplexVAD: Alcançou 68.02% de AUC, demonstrando capacidade de refinar o entendimento contextual em janelas temporais estendidas.
• Eficiência e Recursos:
  • Utiliza apenas ~8B de parâmetros (configuração padrão 4B/4B), comparado a métodos concorrentes que usam modelos de 22B a 80B+.
  • Memória: Requer apenas 9 GB de GPU na configuração padrão e 4.20 GB na configuração otimizada (1.7B/2B), enquanto métodos como PANDA exigem hardware de servidor (48 GB+).
  • Velocidade: Opera em tempo real (~5.98 FPS) em uma GPU RTX 5090, mantendo capacidades de detecção em tempo real em hardware de borda.

5. Significado e Impacto

O QVAD representa uma mudança de paradigma na Detecção de Anomalias em Vídeo:

1. Desacoplamento de Escala e Desempenho: Prova que a qualidade da interação (perguntas dinâmicas) é mais importante do que o tamanho bruto do modelo para tarefas complexas de raciocínio visual.
2. Viabilidade de Borda: Torna a detecção de anomalias de alta precisão acessível para dispositivos de borda com recursos limitados, removendo a barreira de entrada de hardware de servidor.
3. Abordagem Sem Treinamento: Elimina a necessidade de dados anotados ou ajuste fino (fine-tuning), permitindo que o sistema seja implantado imediatamente em novos ambientes com zero-shot transfer.

Em resumo, o QVAD transforma a detecção de anomalias de um processo de "consulta única estática" para um "diálogo ativo de investigação", permitindo que modelos leves alcancem desempenho de ponta com eficiência computacional radicalmente superior.