Weakly Supervised Video Anomaly Detection Using CNN-LSTM with Confidence-Aware Automated Pseudo Label Generation

Câmeras de vigilância vigiam nossas cidades, lojas e ruas, capturando um fluxo contínuo de atividade humana. Durante décadas, o objetivo tem sido construir computadores que possam assistir a essas filmagens ao nosso lado, detectando problemas no momento em que acontecem. O desafio, no entanto, é que ensinar um computador a reconhecer uma briga, um roubo ou um incêndio é incrivelmente difícil. Isso requer mostrar à máquina milhares de exemplos desses eventos, com cada momento de perigo marcado por um especialista humano. Essa rotulagem manual é lenta, cara e muitas vezes impossível de ser feita para as vastas quantidades de dados de vídeo gerados todos os dias. Sem esses rótulos detalhados, os programas de computador padrão têm dificuldade em aprender o que é normal e o que não é, frequentemente confundindo-se com a enorme variedade da vida cotidiana.

Para resolver isso, pesquisadores da Universidade de Shiraz desenvolveram uma nova maneira de ensinar computadores a detectar anomalias sem a necessidade de um humano rotular cada segundo de vídeo. Em vez de depender de notas manuais caras, o sistema deles constrói sua própria compreensão do que está acontecendo ao observar o vídeo através de três lentes diferentes. Primeiro, ele busca por movimento, identificando qualquer parte da tela onde os pixels estejam mudando. Em seguida, tenta reconhecer objetos específicos, como uma pessoa ou um veículo, dentro dessas áreas em movimento. Finalmente, desenha um contorno preciso ao redor desses objetos para ver exatamente quanto espaço eles ocupam. Ao combinar essas três observações, o sistema gera seus próprios "palpites" sobre quais partes de um vídeo são normais e quais são estranhas. Esses palpites, conhecidos como pseudo-rótulos, não são perfeitos, mas os pesquisadores projetaram um método especial para pesar o quão confiante o sistema está em cada palpite, ignorando os incertos e focando nos sinais claros.

O núcleo desta nova abordagem é um modelo de computador leve que aprende com esses palpites automatizados. Os pesquisadores usaram um sistema de visão pré-treinado, que atua como um par de olhos que já aprendeu a reconhecer formas e objetos a partir de milhões de imagens, e congelaram suas configurações para que não mudassem durante o treinamento. Isso economizou uma quantidade massiva de poder computacional, reduzindo o número de partes ajustáveis no sistema em quase noventa e quatro por cento. O modelo então usou um componente de memória para lembrar a sequência de eventos, conectando os pontos entre os quadros para entender como uma cena evolui ao longo do tempo. Para garantir que o sistema não saltasse erraticamente entre rotular uma cena como normal e depois anormal, eles adicionaram uma regra que incentivava previsões suaves e consistentes de um momento para o outro.

Quando testado em uma grande coleção de vídeos de vigilância contendo treze tipos diferentes de crimes, o sistema apresentou um alto grau de confiabilidade. Ele identificou corretamente eventos anormais em cerca de oitenta por cento dos casos de teste e alcançou uma pontuação equilibrada de setenta e oito por cento na distinção entre atividades normais e anormais. Os pesquisadores realizaram o experimento cinco vezes com diferentes pontos de partida aleatórios para garantir que os resultados fossem consistentes, e o desempenho permaneceu estável em todos os testes. Crucialmente, o sistema alcançou isso sem que nenhum humano tivesse que marcar manualmente os momentos perigosos nos vídeos de treinamento. O processo automatizado de detectar movimento, identificar objetos e delineá-los provou ser um substituto viável para a anotação humana, tornando possível escalar o monitoramento de vídeo para conjuntos de dados muito maiores do que nunca.

O estudo também revelou que cada parte do pipeline automatizado era essencial. Quando os pesquisadores removeram a detecção de movimento, o reconhecimento de objetos ou o delineamento preciso, a capacidade do sistema de detectar problemas caiu significamente. Isso confirmou que a combinação dessas três pistas visuais fornecia uma imagem mais rica e confiável do que qualquer método individual poderia oferecer por si só. Embora o sistema ainda não seja perfeito e possa ter dificuldades em cenas muito cheias ou sob iluminação precária, ele representa um passo significativo para tornar a vigilância automatizada prática. Ao remover o gargalo da rotulagem manual e reduzir drasticamente o custo computacional, esta abordagem oferece um caminho realista para implantar sistemas de monitoramento inteligentes no mundo real, onde podem vigiar espaços públicos com um nível de atenção que os humanos simplesmente não conseguem manter.