Benchmarking Compact VLMs for Clip-Level Surveillance Anomaly Detection Under Weak Supervision

Resumo Técnico: Benchmarking de VLMs Compactos para Detecção de Anomalias em Vigilância

1. Problema e Contexto

A detecção automática de anomalias em vídeo de vigilância (CCTV) enfrenta desafios operacionais críticos:

• Supervisão Fraca: A maioria dos dados disponíveis possui rótulos apenas ao nível do clipe (inteiro), sem delimitação temporal precisa dos eventos, tornando o aprendizado supervisionado tradicional difícil.
• Desequilíbrio de Classes: Incidentes críticos (anomalias) são raros em comparação com atividades rotineiras.
• Restrições de Latência e Hardware: Sistemas de vigilância exigem baixa latência e operação em hardware de borda com recursos limitados, o que impede o uso de modelos massivos ou pipelines complexos de múltiplos estágios.
• Dependência de Contexto: O que é considerado "anormal" varia drasticamente dependendo do cenário (ex: uma corrida pode ser normal em um estádio, mas anormal em um banco).

O artigo investiga se Modelos de Visão-Linguagem (VLMs) compactos (2B a 8B parâmetros), adaptados de forma eficiente, podem superar abordagens tradicionais e pipelines de VLMs "sem treinamento" (zero-shot) para detecção binária de anomalias ao nível do clipe.

2. Metodologia

Os autores estabeleceram um protocolo de avaliação unificado e reprodutível para comparar diferentes abordagens sob as mesmas condições.

• Dataset: Utilização exclusiva do UCF-Crime, um benchmark padrão para detecção de anomalias com 1.900 clipes (1.610 para ajuste fino, 290 para teste), contendo 13 categorias de crimes. O foco é a classificação binária (Normal vs. Anormal) sem anotações temporais.
• Modelos Avaliados:
  • Tier "Tiny" (2-4B parâmetros): InternVL3-2B, Qwen2.5-VL-3B, Gemma-3-4B.
  • Tier "Small" (7-8B parâmetros): InternVL3-8B, Video-LLaVA-7B, Qwen2.5-VL-7B.
• Estratégias de Prompting: Quatro modos aplicados uniformemente:
  1. Instrução Básica.
  2. Definição Zero-Shot.
  3. Few-Shot (com exemplos rotulados).
  4. Chain-of-Thought (CoT - raciocínio passo a passo).
• Ajuste Fino Eficiente de Parâmetros (PEFT):
  • Utilização de LoRA (Low-Rank Adaptation, rank 8) para adaptar os modelos compactos ao domínio de vigilância.
  • Os pesos base foram mantidos congelados; apenas os adaptadores LoRA foram treinados por uma época.
• Métricas de Avaliação:
  • Precisão, Recall, F1-Score, Acurácia e ROC-AUC.
  • Latência: Tempo de inferência por clipe (wall-clock time) medido em hardware específico (NVIDIA RTX 4060 Ti e Tesla A100).
• Baselines: Comparação com pipelines de VLMs sem treinamento (LAVAD, VERA) e métodos supervisionados fracos (PEL4VAD), todos reavaliados no mesmo protocolo.

3. Principais Contribuições

1. Protocolo de Benchmark Unificado: Estabelecimento de um padrão rigoroso para comparação de VLMs compactos em vigilância, eliminando viés de configuração e garantindo comparabilidade justa entre modelos e prompts.
2. Análise de "Overprompting": Demonstração de que prompts complexos (Few-Shot e Chain-of-Thought) degradam o desempenho de modelos compactos não ajustados, aumentando a latência sem melhorar a precisão.
3. Eficácia do LoRA em VLMs Compactos: Evidência empírica de que o ajuste fino via LoRA transforma modelos compactos (2B-4B) em detectores de alta fidelidade, superando modelos maiores não ajustados e pipelines complexos.
4. Robustez ao Prompt: A adaptação via LoRA reduz significativamente a sensibilidade ao tipo de prompt, produzindo comportamento consistente independentemente da estratégia de instrução utilizada.

4. Resultados Chave

• Desempenho de Modelos Não Ajustados (Zero-Shot):
  • Modelos compactos sem ajuste tiveram desempenho inconsistente. Prompts complexos (como Few-Shot) causaram colapso no desempenho (ex: Qwen2.5-VL-3B caiu para F1 de 0.18 no modo Few-Shot).
  • Prompts simples (Basic/Zero-Shot) foram mais estáveis, mas ainda inferiores a métodos especializados.
• Impacto do Ajuste Fino (LoRA):
  • Ganhos Dramáticos: O LoRA elevou o F1-score de modelos compactos para níveis superiores a 0.90.
    • Exemplo: InternVL3-2B melhorou de F1 ~0.01 (Zero-Shot) para 0.92 (LoRA).
    • Exemplo: Qwen2.5-VL-3B melhorou de F1 ~0.18 (Few-Shot) para 0.90 (LoRA).
  • Latência: Em muitos casos, o LoRA reduziu a latência ou manteve-a competitiva, pois o modelo aprendeu a responder de forma mais direta, evitando a geração de raciocínios longos desnecessários.
• Comparação com Baselines:
  • O modelo InternVL3-2B ajustado com LoRA alcançou 0.9127 de Acurácia e 0.9160 de F1, superando o LAVAD (0.7626 F1) e o VERA (0.7268 F1).
  • Modelos compactos ajustados (4B) superaram modelos maiores (7-8B) não ajustados em termos de F1 e latência, oferecendo um melhor trade-off eficiência-precisão.
• Robustez: Após o ajuste, os modelos mantiveram desempenho alto (F1 > 0.90) em todos os tipos de prompts, ao contrário do comportamento errático observado no modo zero-shot.

5. Significado e Conclusão

O estudo conclui que o ajuste fino eficiente de parâmetros (PEFT) é um habilitador crítico para o uso de VLMs compactos em vigilância.

• Viabilidade Operacional: Modelos compactos ajustados oferecem uma precisão superior a métodos tradicionais e pipelines de VLMs complexos, mas com latência muito menor, tornando-os ideais para implantação em hardware de borda.
• Simplicidade: A abordagem elimina a necessidade de pipelines multi-estágio (legenda + raciocínio + pós-processamento), utilizando uma arquitetura direta de entrada de vídeo para saída binária.
• Recomendação: Para tarefas de detecção de anomalias em vigilância, a combinação de VLMs compactos + LoRA + prompts concisos é superior ao uso de modelos grandes sem treinamento ou a métodos de aprendizado supervisionado fraco tradicionais.

O trabalho fornece uma base empírica sólida para a seleção de métodos em cenários reais de vigilância, priorizando a eficiência computacional sem sacrificar a precisão na detecção de eventos críticos.