Frame-Level Evaluation in Weakly Supervised Video Anomaly Detection Mostly Measures Video-Level Ranking

No mundo da visão computacional, há uma corrida constante para ensinar máquinas a observar transmissões de vídeo e detectar problemas. Imagine uma câmera de segurança escaneando uma rua movimentada, uma estação de trem ou o chão de uma fábrica. O objetivo é que o software perceba quando algo dá errado — um combate começando, uma pessoa caindo ou um veículo dirigindo no sentido errado — e identifique exatamente quando e onde isso acontece. Durante anos, pesquisadores treinaram esses sistemas usando um método chamado supervisão fraca. Em vez de mostrar ao computador cada segundo de um vídeo e rotular o momento exato em que um evento ocorre, eles simplesmente dizem ao computador se o vídeo inteiro contém uma anomalia ou não. É um atalho prático, muito parecido com um professor dizendo a um aluno "este ensaio tem um erro" sem apontar para a frase específica. Para verificar se esses sistemas estão funcionando, os cientistas usam um teste padrão que classifica cada frame de cada vídeo em um banco de dados, do mais suspeito ao mais normal, e verifica o quão bem o sistema separa os momentos ruins dos bons.

Dois pesquisadores da Universidade SungKyunKwan, na Coreia do Sul, Inpyo Song e Jangwon Lee, decidiram analisar mais de perto esse teste padrão. Eles fizeram uma pergunta simples, mas profunda: quando um computador obtém uma pontuação alta nesse teste de classificação, ele realmente sabe quando o problema aconteceu, ou é apenas bom em adivinhar quais vídeos contêm problemas? Sua investigação, publicada em um estudo recente, revela uma verdade alarmante sobre como esses sistemas são avaliados. Eles descobriram que o teste padrão é tão fortemente inclinado a comparar diferentes vídeos entre si que um computador pode alcançar uma pontuação quase perfeita sem jamais identificar um único momento específico de perigo dentro de um vídeo. É como se um aluno pudesse gabaritar um exame de história ao adivinhar corretamente quais livros didáticos contêm erros, sem nunca ter lido uma única página para encontrar o erro de digitação.

Os pesquisadores começaram decompondo a matemática por trás da pontuação de classificação padrão. Eles perceberam que essa pontuação é construída a partir de dois tipos diferentes de comparações. O primeiro tipo compara um momento ruim em um vídeo contra um momento bom no mesmo vídeo; este é o teste de localização real, verificando se o sistema sabe distinguir entre um segundo seguro e um segundo perigoso dentro da mesma gravação. O segundo tipo compara um momento ruim em um vídeo contra um momento bom em um vídeo completamente diferente. Este é o teste de ordenação em nível de vídeo, verificando se o sistema consegue dizer que o Vídeo A é mais perigoso que o Vídeo B. Quando contaram quantos desses comparativos realmente aconteciam dentro do mesmo vídeo, o número foi chocantemente pequeno. Em três grandes conjuntos de dados usados pela área, menos de 0,4 por cento das comparações eram entre frames do mesmo vídeo. A vasta maioria da pontuação vem da comparação de frames entre vídeos diferentes.

Esse desequilíbrio cria o que os autores chamam de "diluição temporal". À medida que o número de vídeos em um conjunto de teste cresce, a chance de o sistema estar sendo testado em sua habilidade de encontrar o momento exato de um evento diminui rapidamente. O sistema está sendo recompensado principalmente por atribuir uma pontuação geral alta a um vídeo que contém uma anomalia e uma pontuação baixa a um vídeo que não contém. Para provar que era esse o caso, os pesquisadores realizaram uma série de experimentos controlados. Eles treinaram modelos de computador simples para fazer nada além de atribuir uma pontuação única e constante a cada frame de um vídeo com base no fato de o vídeo ser rotulado como perigoso ou seguro. Esses modelos não tinham capacidade de distinguir um momento de outro; a pontuação para o primeiro segundo de um vídeo era idêntica à do último segundo. Apesar de terem zero capacidade de localizar um evento no tempo, esses modelos simples ainda alcançaram pontuações muito altas no teste padrão, variando de 81 por cento a 97 por cento, dependendo do conjunto de dados.

Os pesquisadores então pegaram as saídas dos sistemas mais avançados e complexos disponíveis atualmente e realizaram uma "substituição pela média do vídeo". Eles pegaram as pontuações detalhadas, segundo a segundo, que esses sistemas complexos produziam e substituíram cada segundo da pontuação pela média de todo aquele vídeo. Esse processo apagou toda a informação de tempo refinada, deixando apenas a classificação geral do vídeo. Se o teste padrão realmente medisse a habilidade de encontrar o momento exato de uma anomalia, essa mudança deveria ter feito as pontuações despencarem. Em vez disso, as pontuações mal se moveram. Em 69 de 72 execuções controladas, o sistema reteve mais de 90 por cento de sua pontuação original mesmo após todos os detalhes de tempo serem removidos. O mesmo padrão se manteve para os resultados oficiais divulgados pelos autores de outros métodos líderes. Mesmo quando os pesquisadores embaralharam a ordem dos frames dentro de um vídeo, bagunçando a linha do tempo enquanto mantinham o mesmo conjunto de pontuações, o desempenho de classificação permaneceu amplamente intacto.

As descobertas sugerem que o padrão atual para avaliar esses sistemas não está medindo o que os pesquisadores pensam que está medindo. Uma pontuação alta no teste de classificação agrupado não prova que um sistema pode localizar um evento; prova primariamente que o sistema pode classificar vídeos pelo seu risco geral. Os pesquisadores argumentam que essa distinção é profundamente importante para aplicações no mundo real. Se um segurança recebe um alerta de que um vídeo contém uma anomalia, ele precisa saber quando olhar, não apenas qual vídeo assistir. O protocolo de avaliação atual recompensa a habilidade de escolher o vídeo certo, mas falha em verificar a habilidade de encontrar o momento certo. Os autores propõem que a área deve mudar a forma como reporta os resultados. Eles recomendam que os pesquisadores sempre reportem uma pontuação separada que meça o quão bem o sistema ordena os frames dentro de um único vídeo, juntamente com a classificação padrão de nível de vídeo. Eles também sugerem que o design de testes futuros deve garantir que o número de vídeos não dilua a importância de encontrar o momento exato de um evento.

Este trabalho não afirma que os sistemas atuais são inúteis ou que não podem aprender a localizar eventos. Ele simplesmente mostra que o placar no qual eles estão jogando não os obriga a fazê-lo. As altas pontuações vistas nos últimos anos são, em grande parte, um reflexo da habilidade do sistema em classificar vídeos, uma capacidade que é útil, mas distinta da habilidade de apontar o tempo. Ao separar essas duas habilidades no processo de avaliação, a área pode garantir que os sistemas futuros não sejam apenas bons em adivinhar quais vídeos são perigosos, mas sejam verdadeiramente capazes de observar o relógio e encontrar o segundo exato em que algo dá errado. O caminho a seguir exige uma mudança de foco, afastando-se de um número único e agregado que mascara essas diferenças, em direção a um quadro mais claro que valorize a precisão do tempo tanto quanto a identificação do evento em si.