People Analytics Framework

Resumo Técnico: Estrutura de Análise de Pessoas (People Analytics Framework - PAF)

Definição do Problema
Sistemas de vigilância automatizados enfrentam desafios significativos para identificar indivíduos quando as características faciais estão obscurecidas, ocluídas ou ausentes do quadro da câmera (por exemplo, quando as costas de uma pessoa estão voltadas para a lente). Os sistemas existentes frequentemente apresentam dificuldades com imagens de baixa resolução, turbulência atmosférica e variações nas condições de iluminação comuns em vigilância de longo alcance ou em ambientes internos. Além disso, a literatura atual indica uma lacuna no tratamento de imagens onde o rosto não é visível, necessitando de uma solução robusta que possa identificar indivíduos baseando-se apenas na aparência. O objetivo principal desta pesquisa é desenvolver uma estrutura abrangente de Análise de Pessoas (PAF) capaz de detectar, rastrear e verificar indivíduos em ambientes fechados (como universidades, hospitais e escolas), independentemente de seus rostos estarem visíveis ou não.

Metodologia
O PAF proposto é um pipeline de aprendizado profundo (deep learning) de ponta a ponta, projetado para processar fluxos de vídeo de múltiplas câmeras. O sistema opera através de quatro fases integradas:

1. Módulo de Detecção e Rastreamento (DTM):

   • Os quadros de vídeo são capturados a 30 fps e redimensionados para 1000x600.
   • O sistema emprega algoritmos de detecção e rastreamento de objetos para extrair indivíduos.
   • Um processo de "limpeza" filtra as imagens extraídas, removendo quadros com uma proporção pessoa-imagem inferior a 2:1 ou quadros que contenham múltiplas pessoas.
   • As imagens extraídas são organizadas em pastas baseadas em IDs de rastreadores (tracker IDs), criando um banco de dados de trajetórias de pessoas.
   • Seleção de Modelo: Os autores compararam combinações de YOLOv5 e YOLOv8 com DeepSort e ByteTrack. O YOLOv5 combinado com ByteTrack foi selecionado como a configuração ideal, oferecendo um equilíbrio entre alta precisão de detecção (160 caixas detectadas) e tempo de processamento aceitável (2m 52.7s).

2. Módulo de Detecção e Reconhecimento Facial (FDRM):

   • Detecção Facial: Diversos detectores (Haar Cascade, SSD, MTCNN, RetinaFace) foram avaliados. O MTCNN foi escolhido como o detector primário devido ao seu equilíbrio entre precisidade e eficiência computacional, particularmente no tratamento de imagens de baixa resolução onde outros modelos falharam ou produziram excesso de falsos positivos.
   • Agrupamento e Verificação Facial: O sistema utiliza modelos de aprendizado profundo (VGG16, FaceNet, DeepID, SFace, ArcFace) para extrair vetores de características.
   • Funções de Perda (Loss Functions): A estrutura emprega Triplet Loss e Cluster Loss para agrupar rostos semelhantes e separar os distintos. Para verificação, a função de perda ArcFace é utilizada para aumentar a variação interclasse e reduzir a variação intraclasse.
   • Seleção de Modelo: Entre os modelos de reconhecimento, o SFace demonstrou a maior eficiência e precisão (taxa de sucesso de 99,80% com distância Euclidiana e média de 0,47s), seguido pelo ArcFace e VGG-Face.

3. Módulo de Reidentificação de Pessoas (PRM):

   • Este módulo aborda cenários onde os rostos não estão visíveis, analisando a aparência de corpo inteiro (roupas, forma corporal, marcha/gait).
   • Utiliza abordagens de Aprendizado de Métrica Profunda (DML), especificamente o Aprendizado de Características de Escala Omni (OsNet).
   • Seleção de Modelo: O OsNet com Triplet Loss foi selecionado, alcançando uma precisão Rank-1 de 99,97% e uma precisão média média (mAP) de 99,92% no conjunto de dados de teste.

4. Integração do Sistema:

   • Os módulos são integrados em um pipeline unificado. Quando um usuário consulta uma pessoa específica (via imagem ou nome), o sistema pesquisa no banco de dados.
   • Se o rosto estiver visível, a Verificação Facial é utilizada. Se o rosto não estiver visível, a Reidentificação de Pessoas é empregada.
   • O sistema mescla dados de diferentes câmeras e intervalos de tempo usando IDs de rastreadores para fornecer uma trajetória completa do indivíduo.

Principais Contribuições

• Estrutura Híbrida: O artigo propõe uma estrutura unificada que combina perfeitamente o reconhecimento baseado em face com a Reidentificação de Pessoas (ReID) baseada em aparência, garantindo a identificação mesmo quando as características faciais estão ocluídas.
• Pipeline Operacional: Um pipeline completo e testado é estabelecido para vigilância de áreas fechadas, indo desde a captura de vídeo bruto até o registro no banco de dados e resposta à consulta do usuário.
• Seleção Empírica de Modelos: O estudo fornece uma análise comparativa de modelos de última geração (variantes YOLO, DeepSort/ByteTrack, MTCNN, ArcFace, SFace, OsNet) especificamente para este contexto de vigilância, identificando as combinações mais eficazes para precisão e velocidade.
• Arquitetura de Banco de Dados: A criação de um banco de dados estruturado que vincula IDs de pessoas, carimbos de data/hora (timestamps), localizações de câmeras e dados de trajetória para responder a consultas de "quem, onde e quando".

Resultados
O sistema foi testado utilizando dados coletados no ambiente de campus dos autores, envolvendo quatro câmeras.

• Precisão Geral: O sistema integrado alcançou uma taxa de sucesso total de 98,7%.
• Verificação Facial: O sistema alcançou uma taxa de sucesso de 97,6% na verificação facial.
• Desempenho de ReID: O modelo de ReID selecionado (OsNet com Triplet Loss) demonstrou alta eficácia, com uma precisão Rank-1 de 99,97% e um mAP de 99,92%.
• Tratamento de Oclusão: A estrutura identificou com sucesso indivíduos cujos rostos não estavam visíveis nas imagens, dependendo do módulo de ReID com uma precisão de correspondência de até 97,6%.

Significância e Alegações
O artigo afirma que o PAF aborda com sucesso as limitações dos sistemas de vigilância atuais que falham quando os rostos não estão visíveis. Ao integrar detecção, rastreamento, reconhecimento facial e ReID em uma única estrutura operacional, o sistema fornece uma solução robusta para o monitoramento de áreas fechadas como campi e hospitais. Os autores enfatizam que o sistema opera de forma independente para realizar monitoramento e alertas.

Os autores reconhecem modestamente que a coleta e rotulagem de dados permanecem desafios significativos, particularmente em relação às variações de distância da câmera, resolução e ângulos. Eles observam que, embora o sistema atual tenha um bom desempenho em seu conjunto de dados específico, trabalhos futuros podem envolver adaptação de domínio não supervisionada ou aprendizado semi-supervisionado para melhorar a generalização para ambientes não vistos com o mínimo de rotulagem manual. O artigo não alega aplicabilidade universal para todos os cenários externos ou de longo alcance, mas foca em sua eficácia dentro de ambientes de rede privados e controlados.