Weakly-Supervised Spatiotemporal Anomaly Detection

Resumo Técnico: Detecção de Anomalias Espaço-Temporais com Supervisão Fraca

Declaração do Problema
A proliferação de câmeras de vigilância criou um gargalo onde operadores humanos não conseguem monitorar efetivamente grandes volumes de imagens para identificar eventos anormais raros. Embora a detecção automatizada de anomalias seja uma solução prática, as abordagens existentes enfrentam limitações. Métodos não supervisionados, que aprendem apenas a partir de dados normais, são frequentemente específicos do conjunto de dados porque o comportamento "normal" é dependente do contexto. Por outro lado, métodos totalmente supervisionados exigem anotações caras, em nível de quadro ou espaço-temporais, cuja produção consome muito tempo. Este artigo aborda o desafio de detectar anomalias apenas com rótulos fracos, em nível de vídeo (indicando se um vídeo contém ou não uma anomalia), enquanto expande o escopo da detecção puramente temporal para a detecção espaço-temporal a fim de localizar as regiões específicas onde as anomalias ocorrem.

Metodologia
A abordagem proposta adapta o framework de Aprendizado de Múltiplas Instâncias (MIL), originalmente aplicado à detecção temporal por Sultani et al., ao domínio espaço-temporal. A arquitetura central e o processo são os seguintes:

• Extração de Características: Clipes de vídeo são processados usando a rede I3D. Especificamente, características são extraídas da saída do sexto módulo de iniciação (camada 4e). Diferentemente de trabalhos anteriores que processam clipes inteiros ou utilizam fluxo óptico, este método foca em características de aparência a partir da entrada de vídeo bruta.
• Cubóides Espaço-Temporais: Em vez de tratar um clipe de vídeo inteiro como uma única instância, a representação de características (um tensor 4D) é dividida em regiões espaciais. Um clipe de vídeo é dividido em 49 cubóides espaço-temporais de tamanho igual (grade espacial 2x2). Cada cubóide representa uma "instância" dentro de um "saco".
• Definição de Sacos:
  • Saco Positivo: Um clipe de vídeo anômalo. A suposição é que pelo menos uma instância espaço-temporal (cubóide) dentro deste clipe contém a anomalia.
  • Saco Negativo: Um clipe de vídeo normal. A suposição é que nenhuma das instâncias dentro deste clipe contém uma anomalia.
• Classificação e Perda: Cada cubóide espaço-temporal é passado por uma rede classificadora consistindo em uma camada de agrupamento médio 3D, cinco camadas totalmente conectadas (com normalização em lote, ReLU e dropout) e uma ativação Sigmoid final para gerar uma pontuação de anomalia entre 0 e 1.
• Objetivo de Treinamento: O modelo é treinado usando uma perda de Classificação de Múltiplas Instâncias (MIL). A função objetivo impõe que a pontuação máxima de anomalia entre as instâncias em um saco positivo deve ser maior que a pontuação máxima de anomalia em um saco negativo. Isso permite que a rede aprenda a identificar a região espaço-temporal específica responsável pela anomalia sem supervisão explícita em nível de região durante o treinamento.

Principais Contribuições

1. Extensão Espaço-Temporal: O artigo estende o paradigma de detecção de anomalias temporal com supervisão fraca para incluir localização espacial. Ao dividir mapas de características em cubóides espaço-temporais, o método tenta pinpointar onde no quadro uma anomalia ocorre, não apenas quando.
2. Framework com Supervisão Fraca: A abordagem demonstra que a detecção espaço-temporal é viável usando apenas rótulos em nível de vídeo, evitando a necessidade de anotações caras de caixas delimitadoras ou tubos durante a fase de treinamento.
3. Adaptação da Arquitetura: O trabalho modifica o pipeline MIL padrão ao utilizar características I3D do sexto bloco de iniciação e aplicar divisão espacial para criar representações em nível de instância a partir de clipes de vídeo.

Resultados
O método foi avaliado no conjunto de dados UCF Crime2Local (um subconjunto do UCF-Crime com anotações espaço-temporais) e no conjunto de dados completo UCF-Crime.

• UCF Crime2Local: O modelo alcançou uma Área sob a Curva (AUC) de 68%. Este resultado superou a linha de base "Segmento de Vídeo" com supervisão fraca de Landi et al. (56,12%), que também carecia de anotações espaço-temporais. No entanto, permaneceu inferior à abordagem "Oracle Tube" totalmente supervisionada de Landi et al. (74,73%), que utilizou caixas delimitadoras de verdade durante o treinamento.
• UCF-Crime Completo: No conjunto de dados maior, o modelo alcançou uma AUC de 63%, comparado a aproximadamente 82% para o método mais avançado de [3].
• Análise Qualitativa: Visualizações das pontuações de anomalia previstas contra a verdade fundamental mostraram que o modelo identifica corretamente a presença temporal de anomalias (pontuações baixas para quadros normais, pontuações altas para quadros anômalos). No entanto, o modelo frequentemente prevê múltiplos "aglomerados" como anômalos em vez de isolar uma única região.

Significado e Alegações
O artigo alega que incorporar características espaço-temporais na detecção de anomalias com supervisão fraca é uma direção promissora que pode oferecer vantagens sobre a detecção puramente temporal. Os autores reconhecem que, embora seus resultados atuais ainda não correspondam aos métodos totalmente supervisionados mais avançados ou a outras linhas de base fortes, a abordagem demonstra com sucesso a viabilidade de localizar anomalias sem anotações densas.

Os autores concluem modestamente que o método requer refinamento adicional para atingir desempenho competitivo. Eles identificam áreas específicas para melhoria, incluindo:

• Adicionar regularização para impedir que o modelo preveja múltiplas regiões anômalas por vídeo.
• Incorporar informações de movimento, potencialmente através de uma abordagem de dois fluxos usando fluxo óptico, para complementar as características baseadas em aparência atualmente utilizadas.