Benchmark AUC Is Not Deployable Reliability: A Cross-Dataset Audit of Off-the-Shelf Features for Surveillance Video Anomaly Detection

Resumo Técnico: O AUC de Benchmark Não é Confiabilidade Implantável

Declaração do Problema
O campo da Detecção de Anomalias em Vídeo (VAD) para vigilância depende fortemente de pontuações de ROC-AUC em nível de quadro elevadas, reportadas em benchmarks padrão (ex: UCSD Ped1/2, CUHK Avenue, ShanghaiTech). No entanto, essas pontuações são derivadas de um cenário de "mesmo conjunto de dados", onde modelos são treinados e testados na mesma câmera, cena e condições. O artigo argumenta que essa suposição não se sustenta na implantação do mundo real, onde um modelo calibrado em uma cena deve detectar anomalias em uma câmera ou ambiente completamente diferente. A questão central é: Quanto do desempenho reportado sobrevive quando a suposição de uma cena compartilhada é descartada?

Metodologia
Os autores conduzem uma auditoria cross-dataset utilizando um framework deliberadamente simples, não supervisionado e reproduzível para isolar a capacidade de generalização de características prontas (off-the-shelf).

• Arquitetura do Modelo: O estudo utiliza embeddings pré-treinados e congelados de quatro backbones distintos: CLIP ViT-B/32, DINOv2 ViT-S/14, ResNet-50 e EfficientNet-B0. Nenhuma forma de ajuste fino (fine-tuning) é realizada.
• Pontuação de Anomalia: Um "modelo de normalidade" é construído exclusivamente a partir dos quadros normais (livres de anomalias) de um conjunto de dados de origem. As pontuações de anomalia para os quadros de teste são geradas usando uma distância de k-vizinhos mais próximos (kNN) (especificamente, $1 - \text{média da similaridade de cosseno}$ para os $k=5$ vizinhos mais próximos dos embeddings normais de treinamento).
• Protocolo de Auditoria: Os autores avaliam todas as combinações dos quatro backbones e quatro conjuntos de dados (UCSD Ped1, UCSD Ped2, CUHK Avenue, ShanghaiTech). Isso resulta em 64 avaliações: 16 "mesmo conjunto de dados" (diagonal) e 48 pares "cross-dataset" (fora da diagonal).
• Métricas: A métrica primária é o ROC-AUC em nível de quadro. Adicionalmente, os autores reportam a Taxa de Erro Igual (EER) e a taxa operacional de falsos alarmes (alarmes por hora) em uma taxa de recall fixa de 0,9 (assumindo 10 fps).
• Experimento de Controle: Para garantir que a falha não seja específica do pontuador kNN, os autores reavaliaram os embeddings usando um detector do tipo distância de Mahalanobis PaDiM (um modelo Gaussiano global paramétrico) em três dos conjuntos de dados.

Resultos Principais
A auditoria revela um colapso catastrófico no desempenho ao passar do cenário calibrado (mesmo conjunto de dados) para o cenário de implantação (cross-dataset):

1. Colapso para o Acaso:

   • AUC do mesmo conjunto de dados: Média de 0,704 entre todos os backbones.
   • AUC cross-dataset: Média de 0,499, o que é estatisticamente indistinguível do acaso (0,5).
   • Em vários pares cross-dataset, o desempenho cai abaixo do acaso (ex: 0,340), indicando que o modelo está classificando ativamente quadros normais de uma nova cena como anomalias.

2. O Backbone "Mais Forte" Falha Mais:

   • O DINOv2, que alcança o maior AUC no mesmo conjunto de dados (até 0,901 no Ped2), sofre a maior queda de desempenho (gap de 0,235) e a menor média cross-dataset (0,490).
   • Os autores concluem que as representações que capturam detalhes finos da cena (aparência específica da câmera/cena) são precisamente aquelas que falham em generalizar, pois aprendem a "câmera" em vez do "conceito de anomalia".

3. Viabilidade Operacional:

   • Mesmo em um ponto operacional favorável (90% de recall), a mediana da taxa de falsos alarmes é proibitiva.
   • Cross-dataset: 31.931 falsos alarmes por hora (9 por segundo).
   • Mesmo conjunto de dados: 26.406 falsos alarmes por hora (7 por segundo).
   • Os autores argumentam que tais volumes tornam a triagem humana impossível, transformando o fluxo de vídeo em ruído, independentemente do score de AUC.

4. Robustez do Achado:

   • Substituir o pontuador kNN pelo detector de Mahalanobis reproduz o colapso quase exatamente (gap cross-dataset de 0,208 vs. 0,202 para kNN). Isso confirma que a falha reside na representação de características congeladas (o encoder), e não no mecanismo de pontuação de anomalia.
   • A transferência é direcional e assimétrica: um modelo treinado em uma cena movimentada (ex: ShanghaiTech) e testado em uma cena calma (ex: UCSD) performa de forma diferente do inverso, e não há uma métrica única que resuma a transferibilidade.

Significância e Alegações
O artigo não propõe um novo detector ou um método para corrigir a lacuna. Em vez disso, serve como uma auditoria crítica do estado atual do campo:

• Benchmark vs. Realidade: Os altos scores de AUC citados na literatura descrevem um "cenário de laboratório calibrado" e superestimam significativamente a confiabilidade implantável. Um detector calibrado em uma cena não é melhor do que um lançamento de moeda em outra.
• Métricas Enganosas: A correlação entre o AUC do mesmo conjunto de dados e a taxa de base de anomalias no conjunto de teste sugere que os scores de benchmark confundem "detectabilidade" com "construção do conjunto de dados".
• Limites de Representação: No regime de características congeladas e prontas, existe um compromisso (trade-off) entre a qualidade da representação no domínio e a transferência cross-cena. Backbones melhores não diminuem o gap de generalização; eles frequentemente o ampliam.
• Chamada para Métricas Operacionais: Os autores afirmam que a viabilidade é determinada pelo ponto operacional (taxa de falsos alarmes), não pelo AUC. Eles argumentam que os relatórios futuros devem incluir números cross-dataset e taxas operacionais de falsos alarmes antes que reivindicações de implantabilidade possam ser feitas.

O artigo conclui que os benchmarks atuais de VAD não refletem os desafios da vigilância no mundo real e que o campo deve mudar o foco de maximizar o AUC do mesmo conjunto de dados para alcançar uma modelagem de normalidade invariante à cena ou adaptada ao domínio.