Resumo Técnico: Aprendendo Onde e Quando: Localização Espaçotemporal Baseada em Patches para Detecção de Anomalias em Vídeo com Supervisão Fraca

1. Declaração do Problema

A Detecção de Anomalias em Vídeo com Supervisão Fraca (WSVAD) tem se concentrado tradicionalmente na localização temporal, identificando quando uma anomalia ocorre dentro de uma sequência de vídeo usando apenas rótulos de nível de vídeo. No entanto, essa abordagem negligencia amplamente a localização espacial, falhando em determinar onde dentro de um quadro a anomalia se manifesta.

Os autores argumentam que a localização espacial é crítica para:

• Interpretabilidade: Permitir que operadores humanos verifiquem alertas e compreendam a causa de uma anomalia.
• Tomada de Decisão: Habilitar ações de granularidade fina, como rastrear objetos suspeitos ou priorizar recursos.
• Robustez: Fornecer pistas contextuais para distinguir anomalias reais de ruídos de fundo, reduzindo falsos positivos causados por vieses de fundo.

O desafio central é aprender sinais precisos de localização espacial sem supervisão explícita de caixas delimitadoras (bounding boxes), já que obter tais anotações é caro e subjetivo. Os métodos existentes frequentemente dependem de representações globais ou escores de nível de clipe, limitando sua capacidade de capturar padrões anômalos localizados.

2. Metodologia

O artigo propõe um framework espaçotemporal baseado em patches que modela conjuntamente a ocorrência de anomalias tanto no espaço quanto no tempo sob um paradigma de Aprendizado de Múltiplas Instâncias (MIL).

2.1. Visão Geral da Arquitetura

O vídeo de entrada é particionado em segmentos temporais (16 quadros cada) e processado através de um extrator de características pré-treinado (UniFormer) para gerar representações espaçotemporais de nível de patch. O tamanho da grade é definido como $7 \times 7$ patches por segmento.

A arquitetura consiste em dois ramos principais:

1. Agregação Temporal: As características são remodeladas em sequências temporais por patch e processadas por um Transformer Temporal para modelar dependências para cada patch espacial.
2. Agregação Espacial: As características agregadas temporalmente são rearranjadas e passadas por um Transformer Espacial para capturar relações entre os patches dentro de cada segmento.

Esses ramos alimentam dois cabeças de predição:

• Ramo de Granularidade Grossa (Coarse-Grained): Produz escores de anomalia de nível de segmento através do agrupamento (pooling) de características espaciais.
• Ramo de Granularidade Fina (Fine-Grained): Gera probabilidades de anomalia de nível de patch (grade $7 \times 7$) para cada segmento.

2.2. Perda MIL com Consciência de Proximidade (Proximity-Aware Top-k MIL Loss)

Uma inovação fundamental é a estratégia de seleção Proximity-Aware Top-k, que substitui a convencional seleção top-k baseada puramente nos maiores escores individuais. Os autores observam que eventos anômalos ocorrem tipicamente sobre intervalos temporalmente contíguos.

A função de perda opera da seguinte forma:

• Seleção Temporal: Em vez de escolher os $K$ quadros com maiores escores globalmente, o modelo utiliza uma janela deslizante para encontrar um bloco contíguo de $K$ segmentos com o maior escore de anomalia cumulativo.
• Seleção Espacial: Dentro desses segmentos selecionados, o modelo identifica a região espacial mais discriminativa deslizando uma janela de convolução ($z \times z$) sobre a grade de patches e selecionando o bloco com a maior resposta somada.
• Cálculo da Perda:
  • Vídeos Anômalos: Os blocos temporais contíguos selecionados e seus correspondentes patches espaciais de alta resposta são tratados como instâncias positivas para a perda de Entropia Cruzada Binária (BCE).
  • Vídeos Normais: Todos os patches são tratados como instâncias negativas.
  • Regularização: A norma $L1$ é aplicada aos conjuntos anômalos para incentivar a esparsidade, enquanto a norma $L2$ é aplicada aos conjuntos normais para garantir que os escores permaneçam próximos de zero.

3. Principais Contribuições

O artigo delineia três contribuições primárias:

1. Arquitetura Inovadora: Uma arquitetura espaçotemporal baseada em patches com supervisão fraca que produz escores de anomalia para patches individuais, permitindo a localização espacial de granularidade fina sem supervisão de caixas delimitadoras durante o treinamento.
2. Perda MIL com Consciência de Proximidade: Uma nova função de perda top-k consciente de vizinhança onde as instâncias selecionadas são formadas via agrupamento baseado em proximidade temporal e espacial, em vez de puramente pelos maiores escores.
3. Novas Anotações: O lançamento de anotações de caixas delimitadoras de nível de quadro para os conjuntos de teste de dois datasets amplamente utilizados, XD-Violence e UBnormal, facilitando a avaliação padronizada de localização espacial em WSVAD.

4. Resultados Experimentais

O método foi avaliado em quatro benchmarks: UCF-Crime, ShanghaiTech, XD-Violence e UBnormal.

4.1. Métricas

Os autores utilizam duas métricas complementares:

• Interseção sobre União Temporal (TIoU): Mede a sobreposição entre as regiões previstas e as reais (ground-truth).
• Taxa de Detecção Baseada em Trajetória/Região (TBDR/RBDR): Uma métrica mais abrangente que considera falsos positivos e avalia a consistência espaçotemporal (trajetórias) em vez de apenas a sobreposição de quadros.

4.2. Desempenho

• TIoU: O método proposto ("OURS") supera todos os baselines de estado da arte (incluindo Deep-MIL, VADCLIP, ST-Prompt e LSTM-MIL) em todos os quatro datasets. Por exemplo, no UCF-Crime, ele alcança 40,51%, superando o melhor anterior (LSTM-MIL com 32,91%) por quase 7,6%.
• TBDR/RBDR: O método alcança as maiores pontuações em ambas as métricas em todos os datasets. No UCF-Crime, atinge 77,20% de TBDR e 69,83% de RBDR. No UBnormal, atinge 57,23% de TBDR e 33,29% de RBDR, demonstrando forte generalização para anomalias sutis.
• Desempenho Zero-Shot: Em um cenário zero-shot (treinamento sem classes de anomalias específicas), o modelo proposto apresentou a menor queda de desempenho (queda de 3,08% em TBDR) comparado aos baselines, indicando superioridade de generalização.
• Eficiência: O modelo requer aproximadamente 44,23 ms por entrada de 60 quadros, ligeiramente superior aos baselines devido aos módulos de refinamento, mas ainda adequado para inferência em tempo real.

4.3. Estudos de Ablação

• Remoção de Componentes: A remoção do transformer espacial causou a maior queda de desempenho (19,15% de TBDR), destacando a necessidade da atenção espacial. A remoção do transformer temporal também reduziu significamente o desempenho.
• Função de Perda: Substituir o MIL padrão pelo Proximity MIL melhorou o AUC em vários frameworks existentes (Deep-MIL, URDMU, VADCLIP), confirmando a generalizabilidade da função de perda.
• Hiperparâmetros: Uma grade de $7 \times 7$ com um tamanho de janela espacial de $z=2$ produziu resultados ótimos.

5. Significância e Alegações

O artigo afirma abordar uma limitação fundamental em WSVAD ao mudar da localização puramente temporal para a detecção espaçotemporal conjunta. Ao reformular o MIL ao nível de patch espacial, os autores permitem a pontuação de nível de região sem supervisão de caixas delimitadoras.

A significância do trabalho reside em:

• Melhor Interpretabilidade: Fornecer mapas espaciais explícitos de anomalias em vez de apenas carimbos de tempo (timestamps) temporais.
• Redução de Viés: Modelar explicitamente a evidência espacial ajuda a mitigar os vieses de fundo encontrados em métodos anteriores que dependiam de representações globais.
• Recurso para a Comunidade: Ao lançar anotações de caixas delimitadoras para o XD-Violence e UBnormal, os autores visam padronizar a avaliação de localização espacial, uma tarefa anteriormente dificultada pela falta de verdade fundamental (ground truth) nesses datasets.

Os autores concluem que seu framework alcança ganhos substanciais em precisão de localização mantendo a eficiência computacional prática, pavimentando o caminho para implantações mais confiáveis em aplicações de vigilância e segurança crítica.