Resumo Técnico: Geração de Sinopse de Eventos Anormais baseada em Consultas Interativas em Vídeo de Vigilância

Definição do Problema

Sistemas de vigilância geram volumes volumosos de dados de vídeo, a maioria dos quais é redundante e não informativa. Embora a sumarização de vídeo (ou geração de sinopse) vise condensar esses dados em uma versão mais curta contendo quadros únicos, os métodos existentes enfrentam desafios significativos em contextos de vigilância. Especificamente, as técnicas atuais lutam para:

1. Processar Consultas Complexas: Lidar com consultas de usuários que envolvem múltiplas condições, como interações simultâneas entre múltiplos objetos ou movimentos direcionais específicos.
2. Preservar a Ordem Cronológica: Manter a sequência temporal de eventos, o que é crítico para a análise investigativa.
3. Avaliar a Qualidade da Sinopse: Métricas existentes, como a Razão de Sobreposição (OR) padrão, frequentemente dependem de contagens de pixels de regiões sobrepostas. Esta abordagem é falha porque as contagens de pixels variam com base na localização da sobreposição e não refletem com precisão o número de humanos distintos envolvidos na sobreposição, levando a avaliações de qualidade enganosas.

O artigo aborda a necessidade de um sistema que possa gerar sinopses de eventos anormais baseadas em conteúdo, processando consultas interativas (incluindo entrada/saída simples e consultas direcionais de múltiplos objetos complexos) enquanto preserva a ordem temporal e fornece uma métrica de qualidade mais precisa.

Metodologia: O Algoritmo IQAES

Os autores propõem o algoritmo de Sumarização de Eventos Anormais baseada em Consulta Interativa (IQAES). A metodologia opera em vídeo de vigilância pré-processado onde a detecção e o rastreamento humano já foram realizados para gerar um vetor de coordenadas posicionais ($P$) e um vetor de evento anormal ($A$).

1. Pré-processamento de Entrada

O sistema utiliza um Framework de Conjuntos Rugosos para Rastreamento de Múltiplos Humanos (RSFMHT) para derivar um vetor de coordenadas posicionais ($P$) para humanos em cada quadro. Este vetor contém quatro coordenadas ($X_{min}, X_{max}, Y_{min}, Y_{max}$) definindo a caixa delimitadora (bounding box) de cada humano. Um Vetor de Evento Anormal ($A$) é então gerado aplicando o Algoritmo 1, que marca quadros como '1' se um humano estiver presente dentro de uma Região de Interesse (ROI) definida e '0' caso contrário.

2. Processamento de Consulta

O algoritmo IQAES categoriza as consultas do usuário em dois tipos e as processa usando sub-algoritmos específicos:

• Consultas Simples: Envolvem parâmetros únicos, especificamente a entrada ou saída de um único humano.
  • IHE (Entrada de Humano de Interesse): Detecta transições de '0' para '1' no vetor de eventos para identificar quadros de entrada.
  • IHX (Saída de Humano de Interesse): Detecta transições de '1' para '0' para identificar quadros de saída.
• Consultas Complexas: Envolvem múltiplas condições e objetos.
  • SLH (Vadiagem Simultânea): Calcula os intervalos de quadros comuns onde múltiplos humanos estão simultaneamente presentes dentro da ROI.
  • SEH/SXH (Entrada/Saída Simultânea): Identifica eventos de entrada ou saída ocorrendo dentro de um intervalo de quadros específico ($x$) para contabilizar atrasos de detecção, permitindo a detecção de movimentos simultâneos de múltiplos humanos.
  • DEH/DXH (Entrada/Saída Direcional): Determina a direção do movimento (Norte, Sul, Leste, Oeste) dos humanos comparando seus pontos médios posicionais contra os cantos da ROI. Isso suporta consultas relativas à direção específica de movimento durante a entrada ou saída.

3. Geração de Sinopse

O algoritmo recupera quadros relevantes do vídeo de entrada com base nos eventos detectados e nas condições da consulta. Ele garante que a ordem cronológica dos quadros seja preservada na sinopse final ($S$), onde $S \ll N$ (a sinopse é significativamente mais curta que o vídeo original).

Principais Contribuições

1. Framework Baseado em Consulta Interativa

O artigo introduz um classificador baseado em regras capaz de lidar com consultas complexas de múltiplas condições que os métodos existentes muitas vezes não conseguem abordar. Ao contrário de trabalhos anteriores que focam em resumos baseados em cena ou análise simples de trajetória, o IQAES foca especificamente em resumos baseados em conteúdo impulsionados por restrições definidas pelo usuário relativas à interação de objetos (simultaneidade) e direção de movimento.

2. Razão de Sobreposição Melhorada (IOR)

Uma nova métrica, a Razão de Sobreposição Melhorada (IOR), é proposta para avaliar a qualidade da sinopse gerada.

• Limitação das Métricas Existentes: A Razão de Sobreposição (OR) padrão mede a razão de pixels sobrepostos para a área total do quadro. Os autores argumentam que isso é impreciso porque as contagens de pixels dependem da localização específica da sobreposição e não escalam linearmente com o número de humanos envolvidos.
• Definição de IOR: O IOR mede a razão entre o número de humanos sobrepostos e o número total de humanos na ROI através de todos os quadros da sinopse.
• Significância: Esta métrica fornece uma representação mais precisa de poluição visual e perda de informação causada por oclusão, independente das variações de densidade de pixels.

3. Conjunto Abrangente de Sub-algoritmos

O artigo detalha um conjunto de oito algoritmos específicos (Algoritmo 1 ao 8) que lidam sistematicamente com a lógica para detecção de eventos, análise de ocorrência simultânea e classificação direcional, fornecendo uma abordagem estruturada para a sumarização interativa de vídeo.

Resultados Experimentais

O algoritmo IQAES foi avaliado utilizando o dataset PETS09, composto por 794 keyframes de pedestres. Os experimentos cobriram vários cenários, incluindo entrada/saída de um ou múltiplos humanos, vadiagem simultânea e movimentos direcionais.

• Desempenho Quantitativo:
  • O algoritmo alcançou alta acurácia (99%–100%) e precisão (87%–100%) em diferentes tipos de consulta.
  • O Recall foi particularmente alto para consultas direcionais (100% para DEH e DXH).
  • A Razão de Condensação de Quadros (FCR) e a Razão de Desordem Temporal (TDR) foram medidas para garantir compacidade e integridade cronológica.
• Avaliação de Qualidade:
  • O IOR proposto yielded valores significativamente menores (indicando melhor qualidade) em comparação com o OR padrão. Por exemplo, em consultas direcionais complexas, o IOR foi de 7,00% comparado aos 43,00% do framework de visualização [10].
  • Avaliação Subjetiva: Cinco participantes avaliaram a sinopse em critérios como agradabilidade, clareza de postura, compacidade e preservação de conteúdo. As pontuações indicaram alta satisfação com os resumos gerados.
• Análise Comparativa:
  • Quando comparado a um framework de visualização existente [10], o IQAES proposto superou a linha de base tanto em Precisão quanto em Recall para consultas simples e complexas.
  • O IQAES demonstrou menores valores de Razão de Sobreposição (OR) e Razão de Sobreposição Melhorada (IOR), confirmando o tratamento superior de oclusão e clareza visual.

Significância e Alegações

O artigo alega que o algoritmo IQAES proposto aborda efetivamente as lacunas na atual sumarização de vídeo de vigilância, especificamente a incapacidade de processar consultas complexas de múltiplos objetos e a falta de métricas de qualidade precisas para eventos de sobreposição.

• Lidando com a Complexidade: O sistema consegue priorizar quadros com eventos anormais com base em consultas complexas de usuários envolvendo direção e simultaneidade, que métodos anteriores tinham dificuldade em manter sem perder a ordem temporal.
• Melhoria da Métrica: A introdução do IOR é apresentada como um avanço significativo sobre as métricas baseadas em pixels, oferecendo uma medida mais confiável da qualidade da sinopse que se alinha com a percepção humana de objetos sobrepostos.
• Utilidade Investigativa: Ao gerar uma sinopse concisa e cronologicamente ordenada que adere a restrições específicas do usuário, o sistema permite que investigadores analisem rapidamente volumes de filmagens de vigilância, focando apenas em eventos anormais relevantes.

Os autores concluem que, embora o sistema performe de forma robusta, pequenos falsos positivos e negativos podem ocorrer devido a oclusões severas nos quadros de entrada. No entanto, os resultados gerais demonstram que o IQAES gera sinopses de maior qualidade do que os métodos baseados em visualização existentes.