DIFEM: Key-points Interaction based Feature Extraction Module for Violence Recognition in Videos

1. Problema e Motivação

A detecção de violência em vídeos de vigilância é uma tarefa crítica para a segurança pública. Embora métodos baseados em Deep Learning (aprendizado profundo) tenham mostrado resultados promissores, eles geralmente são computacionalmente caros, exigem grandes quantidades de dados para evitar overfitting e possuem um alto custo de parâmetros. Além disso, conjuntos de dados de violência existentes são frequentemente menores do que os usados para outras tarefas de visão computacional, o que prejudica o desempenho de modelos profundos complexos. O objetivo deste trabalho é desenvolver um sistema eficiente, leve e preciso para a detecção automática de comportamentos violentos, reduzindo a dependência de modelos de aprendizado profundo pesados.

2. Metodologia Proposta

O núcleo da proposta é o Módulo de Extração de Características de Interação Dinâmica (DIFEM - Dynamic Interaction Feature Extraction Module). Em vez de usar redes neurais profundas para extrair características espaciais e temporais, o DIFEM utiliza heurísticas simples baseadas em pontos-chave do esqueleto humano (skeleton key-points).

O processo é dividido nas seguintes etapas:

• Extração de Pontos-Chave: Utiliza-se o algoritmo OpenPose para detectar a pose humana em cada quadro do vídeo, gerando coordenadas (x, y) e níveis de confiança para as articulações.
• Seleção de Pontos-Chave: De 25 pontos disponíveis no OpenPose, são selecionados 11 pontos considerados mais relevantes para confrontos físicos: pulsos, cotovelos, quadris, joelhos, tornozelos e pescoço. São atribuídos pesos específicos a essas articulações para refletir sua importância.
• Extração de Características Temporais (Dinâmica Temporal):
  • Calcula-se a velocidade de cada articulação selecionada entre quadros consecutivos ($t$ e $t+1$).
  • A velocidade é ponderada pelos pesos atribuídos às articulações.
  • Para cada vídeo, são calculadas estatísticas agregadas dessas velocidades: média, máximo e variância.
• Extração de Características Espaciais (Dinâmica Espacial):
  • Calcula-se a sobreposição de articulações (Joint Overlap). O sistema verifica se as articulações de uma pessoa (ex: punho ou cotovelo) caem dentro da caixa delimitadora (bounding box) de outra pessoa no mesmo quadro.
  • Conta-se o número de sobreposições por quadro.
  • São calculadas estatísticas agregadas: média e variância do número de sobreposições ao longo do vídeo.
• Classificação: As características temporais e espaciais são concatenadas para formar um vetor de 5 valores. Este vetor é alimentado em classificadores de aprendizado de máquina tradicionais (não profundos):
  • Random Forest (Floresta Aleatória)
  • Árvore de Decisão
  • AdaBoost
  • k-Nearest Neighbor (k-NN)

3. Principais Contribuições

1. Módulo DIFEM: Proposição de um módulo de extração de características eficiente que utiliza medidas estatísticas simples (velocidade e sobreposição) em vez de redes neurais complexas para capturar a essência da violência (movimento rápido e proximidade física).
2. Eficiência Computacional: A abordagem utiliza algoritmos de aprendizado de máquina tradicionais que são significativamente mais leves e rápidos em termos de tempo de inferência e consumo de parâmetros em comparação com métodos State-of-the-Art (SOTA) baseados em Deep Learning.
3. Desempenho Robusto: Demonstração de que, para conjuntos de dados de violência, a extração de características baseada em heurísticas pode superar ou igualar métodos complexos, validando a hipótese de que o movimento das articulações é o fator mais discriminativo.

4. Resultados Experimentais

Os autores avaliaram o método em três conjuntos de dados padrão: RWF-2000, Hockey Fight e Crowd Violence.

• Desempenho Geral: O método proposto, utilizando o classificador Random Forest, alcançou os melhores resultados em todos os três conjuntos de dados, superando várias técnicas SOTA (incluindo I3D, 3D-ResNet, GCNs e outras abordagens de duas correntes).
  • RWF-2000: 96,50% de precisão.
  • Hockey Fight: 98,80% de precisão.
  • Crowd Violence: 96,33% de precisão.
• Comparação com SOTA: O método superou abordagens baseadas em Deep Learning como DGCNN, SPIL e I3D, que geralmente exigem muito mais recursos computacionais.
• Eficiência: O tempo de teste médio por vídeo para o Random Forest foi de apenas 0,0333 ms, demonstrando extrema leveza.
• Estudo de Ablação: A combinação de métricas de velocidade (temporal) e sobreposição (espacial) provou ser superior ao uso de apenas uma delas. O uso isolado da sobreposição falhou em cenários de multidão devido a falsos positivos de oclusão, enquanto a velocidade ajudou a diferenciar os movimentos.

5. Significado e Conclusão

O trabalho demonstra que, para a tarefa específica de reconhecimento de violência, modelos complexos de Deep Learning não são estritamente necessários. A abordagem proposta oferece uma alternativa econômica e eficiente, capaz de operar em tempo real com alta precisão.

Limitações e Trabalhos Futuros:
A principal limitação é a dependência do algoritmo OpenPose para a detecção inicial dos pontos-chave. Se a detecção da pose falhar, o DIFEM não funcionará corretamente. Além disso, o OpenPose em si adiciona parâmetros ao sistema. Os autores planejam futuramente investigar algoritmos de estimativa de pose mais eficientes em termos de parâmetros para tornar o sistema totalmente leve.

Em suma, o DIFEM representa um avanço significativo ao provar que a inteligência na extração de características (focada na física do movimento violento) pode superar a complexidade bruta dos modelos de aprendizado profundo em domínios específicos.