Scene-aware Transformer encoder with Multi Instance Learning-guided Attention Mechanism for Anomaly Detection in Video Surveillance

Resumo Técnico: Codificador Transformer Sensível ao Cenário com Mecanismo de Atenção Guiado por Aprendizado de Múltiplas Instâncias para Detecção de Anomalias em Vigilância de Vídeo

Definição do Problema
A Detecção de Anomalias em Vídeo (VAD) é crítica para sistemas modernos de vigilância devido ao enorme volume de dados de vídeo que não podem ser monitorados manualmente. No entanto, as abordagens existentes enfrentam limitações significativas. Os modelos tradicionais que dependem de características espaço-temporais frequentemente carecem de consciência contextual do cenário circundante, levando à classificação errônea de atividades normais como anomalias (falsos positivos) ou à falha na detecção de eventos anormais sutis. Além disso, muitos modelos têm dificuldade com a generalização, apresentando bom desempenho em benchmarks, mas falhando em ambientes reais não vistos, onde a mesma ação pode ser normal em um contexto e anômala em outro. Os métodos atuais também frequentemente dependem de arquiteturas de "caixa preta", levantando preocupações quanto à interpretabilidade e confiança em aplicações de segurança.

Metodologia
Os autores propõem um framework integrado chamado STAM (Codificador Transformer Sensível ao Cenário com Mecanismo de Atenção Guiado por Aprendizado de Múltiplas Instâncias). A arquitetura emprega um design de dois ramos para otimizar conjuntamente a dinâmica espaço-temporal e os embeddings de contexto de cena:

1. Embeddings de Cena Baseados em Grafos Contrastivos (CGSE):

   • Para capturar contextos específicos do ambiente, o modelo utiliza aprendizado contrastivo combinado com uma Rede Convolucional de Grafos (GCN).
   • As cenas são modeladas como grafos onde objetos são nós e relacionamentos são arestas. Isso preserva a estrutura layout da cena em vez de colapsá-la em um vetor plano.
   • O modelo gera vetores de embedding de cena tratando os frames como sacos de nós, propagando mensagens através do grafo e agregando representações intermediárias.
   • Esses embeddings são treinados usando supervisão fraca a partir de legendas de imagens, empregando uma perda contrastiva para aproximar estruturas de cena semelhantes e afastar as dissimilar.

2. Extração de Características Espaço-Temporais (I3D):

   • Snippets de vídeo são processados usando uma Rede Convolucional 3D Inflada (I3D).
   • O modelo I3D estende núcleos de convolução 2D para 3D para capturar tanto a aparência espacial quanto a dinâmica temporal. Ele processa dois fluxos: frames RGB brutos para características de aparência e campos de fluxo óptico para características de movimento.
   • Esses fluxos são concatenados para formar um vetor de característica espaço-temporal combinado para cada snippet.

3. Codificador Transformer com Atenção Guiada por MIL:

   • A inovação central é um Codificador Transformer onde o vetor de embedding da cena é explicitamente codificado como um token CLS especial (token de contexto global).
   • O modelo utiliza uma configuração de Aprendizado de Múltiplas Instâncias (MIL) onde um vídeo é tratado como um "saco" de snippets. Se um vídeo é anômalo, pelo menos um snippet dentro do saco deve ser anômalo.
   • Um Mecanismo de Atenção Guiado por MIL personalizado é empregado. Diferente da atenção padrão, este mecanismo usa o embedding da cena (token CLS) como um agregador global para modular os pesos de atenção dos tokens espaço-temporais individuais.
   • Isso permite que o modelo priorize snippets anômalos com base no contexto da cena global, redefinindo efetivamente a ponderação da anomalia em vez de depender de agregação convencional (pooling de máximo ou média).
   • Um alarme é disparado se a pontuação de atenção agregada exceder um limiar específico (0,5).

Principais Contribuições
O artigo descreve três contribuições primárias:

• Embeddings de Cena Contrastivos: Introdução de vetores de embedding de cena derivados de aprendizado contrastivo e GCNs para capturar contexto ambiental discriminativo, aumentando a precisão da detecção em cenários complexos.
• Extração de Características I3D: Emprego da Rede Convolucional 3D Inflada para modelar efetivamente as dinâmicas temporais e espaciais, fornecendo o contexto essencial para uma detecção de anomalias precisa.
• Framework STAM: Um novo codificador transformer integrado com um Mecanismo de Atenção Guiado por MIL que trata os embeddings de cena como um token CLS global. Este design direciona explicitamente a atenção ao nível de snippet, priorizando segmentos anômalos enquanto considera o contexto da cena para uma detecção robusta.

Resultados Experimentais
O modelo STAM proposto foi avaliado no dataset UCF-Crime (1900 vídeos não recortados) e validado no dataset UCF101 para desempenho de cross-dataset.

• Métricas de Desempenho: No dataset UCF-Crime, o STAM alcançou uma Acurácia de 99,85% e uma AUC (Área Sob a Curva) de 99,98%.
• Análise Comparativa: O STAM superou modelos de baseline incluindo I3D-MIL, SpatioTemporal-Transformer (ST-Trans), GAN-MIL, BiLSTM e ConvLSTM. Por exemplo, superou o modelo ConvLSTM (99,06% de acurácia) e o modelo Dual Network in MIL (DD-MIL).
• Validação Cross-Dataset: Ao ser testado no UCF101, o STAM manteve alto desempenho (99,85% de acurácia e 99,96% de AUC), demonstrando robustez em ambientes não vistos em comparação com os baselines que tiveram dificuldade de generalização.
• Estudo de Ablação: A análise estatística (testes t pareados) confirmou que a inclusão de embeddings de cena e o mecanismo de atenção específico de MIL melhoraram significativamente o desempenho sobre variantes que careciam desses componentes (por exemplo, o Transformer sem consciência de cena alcançou 96,15% de AUC vs. 99,98% para o modelo completo).
• Eficiência: Embora o modelo tenha uma maior complexidade computacional ($O(T^2d_f + n_e d_s)$) e uma velocidade de inferência ligeiramente mais lenta (52 fps) em comparação com modelos mais simples, ele ainda atende aos requisitos de tempo real e oferece precisão superior.

Significância e Alegações
Os autores afirmam que a significância deste trabalho reside na mudança da pesquisa de VAD de detecção de anomalias puramente temporais para modelos holísticos e orientados pelo contexto.

• Interpretabilidade Contextual: Ao codificar explicitamente a estrutura da cena, o modelo aborda a "dependência de contexto" das anomalias, reduzindo alarmes falsos causados pela interpretação errônea de ações normais em ambientes específicos.
• Aprendizado Supervisionado Fracamente: O framework lida efetivamente com supervisão fraca (apenas rótulos ao nível de vídeo) usando a atenção MIL para localizar anomalias sem exigir anotações ao nível de frame.
• Robustez: A integração de aprendizado contrastivo com GCNs fornece uma nova perspectiva sobre estruturas relacionais, melhorando a generalização para ambientes não vistos.
• Impacto Operacional: Os autores afirmam que a redução de alarmes falsos e a capacidade de distinguir comportamentos benignos de suspeitos com base no contexto ambiental tornam o sistema altamente relevante para domínios críticos, como segurança pública, monitoramento de tráfego e gestão de multidões.

O artigo conclui que esta arquitetura de dois ramos estabelece um padrão de estado da arte para detecção de anomalias e pavimenta o caminho para futuros sistemas de vigilância multimodais.