End-to-End Real-Time Drone-Based Person Detection Framework Using Deep Learning

Resumo Técnico: Estrutura de Detecção de Pessoas em Tempo Real Baseada em Drones de Ponta a Ponta

Definição do Problema
Veículos Aéreos Não Tripulados (VANTs/UAVs) são cada vez mais utilizados para segurança, busca e salvamento e vigilância de fronteiras. No entanto, as estruturas de monitoramento existentes frequentemente falham em manter a consistência da detecção quando os alvos sofrem variações significativas de escala causadas por mudanças na altitude de voo. Técnicas tradicionais de visão computacional, como subtração de fundo e diferenciação de quadros, degradam-se rapidamente em ambientes aéreos devido a mudanças globais na cena, ângulos de visão íngremes e iluminação dinâmica. Além disso, embora modelos de aprendizado profundo como o YOLO tenham avançado o campo, muitos estudos dependem de conjuntos de dados estáticos ou análise de vídeo offline, deixando uma lacuna na detecção de objetos esparsos em tempo real com fundos complexos durante operações aéreas ao vivo.

Metodologia
Os autores propõem um pipeline de detecção em tempo real integrado de ponta a ponta, projetado para identificar pessoas via feeds de vídeo sem fio de drones ao vivo. A arquitetura do sistema compreende três estágios primários:

1. Aquisição de Feed ao Vivo: O sistema utiliza um drone comercial (DJI Mini 4 Pro) para capturar vídeo de alta definição. Devido ao poder computacional limitado dos processadores de bordo do drone, o feed de vídeo é transmitido sem fio para uma estação de solo remota. Uma interface móvel atua como um relé de rede local, transmitindo o fluxo para uma estação de trabalho de alto desempenho para análise. Esta configuração garante que o drone permança focado na estabilidade de voo enquanto a estação de solo lida com a inferência pesada.
2. Detecção Acelerada por GPU: O motor de detecção central emprega a arquitetura YOLOv8-nano. Este modelo foi escolhido pelo seu equilíbrio ideal entre velocidade de inferência e precisão, o que é crítico para vigilância aérea de baixa latência. O sistema aproveita hardware habilitado para CUDA para contornar gargalos de CPU. O modelo realiza detecção de estágio único, fornecendo caixas delimitadoras (bounding boxes) e pontuações de confiança. Um passo de pós-processamento filtra as previsões com base em um limiar de confiança ($\theta$) e restringe a saída à classe "pessoa" (ID de classe 0).
3. Monitoramento de Desempenho em Tempo Real: O pipeline calcula a latência de processamento ($\tau_{proc}$) para cada quadro para determinar a Taxa de Quadros (FPS) instantânea. Esta métrica é sobreposta diretamente ao feed de vídeo para garantir que a taxa de inferência permaneça sincronizada com o fluxo de entrada, evitando o estouro de buffer.

Conjunto de Dados e Treinamento
O modelo foi ajustado (fine-tuned) no dataset VisDrone2019, que inclui mais de 10.000 imagens estáticas e sequências de vídeo capturadas em diversos ambientes urbanos e rurais. Para alinhar com o objetivo específico de detecção de pessoas, as categorias distintas 'Pedestrian' e 'People' foram fundidas em uma classe unificada 'Person'. O conjunto de dados foi particionado em conjuntos de treinamento (6.471 imagens), validação (548 imagens) e teste (1.610 imagens). Todas as imagens foram redimensionadas para 640×640 pixels para entrada. O treinamento foi conduzido por 200 épocas usando um otimizador SGD com uma taxa de aprendizado de 0,01 em uma GPU NVIDIA GeForce RTX 4060.

Principais Contribuições
O artigo descreve três contribuições primárias:

• Integração de Sistema: O design e implementação de um pipeline de detecção baseado em UAV que integra o YOLOv8-nano com transmissão de vídeo sem fio, permitindo inferência em tempo real em filmagens aéreas ao vivo, em vez de gravações offline.
• Análise Operacional: Uma análise empírica da relação entre altitude de voo, inclinação do gimbal da câmera e desempenho de detecção (FPS e estabilidade) para estabelecer diretrizes para o implante ideal de UAVs.
• Visualização: O desenvolvimento de um sistema de visualização em tempo real que exibe resultados de detecção e métricas de desempenho simultaneamente.

Resultados

• Desempenho Quantitativo: No conjunto de teste VisDrone2019, o modelo YOLOv8-nano alcançou uma precisão de 57,4%, um recall de 41%, um mAP@50 de 44,8% e um mAP@50:95 de 20,3%. Os autores observam que a maior precisão indica que o sistema é confiável ao sinalizar uma detecção, filtrando efetivamente o ruído do fundo.
• Validação de Campo: Testes de voo extensivos foram realizados no Instituto Indiano de Tecnologia (IIT) Guwahati em altitudes variando de 15 a 30 metros.
  • Desempenho Ótimo: O sistema demonstrou confiabilidade de detecção quase total e desempenho de pico a uma altitude de 25 metros com uma inclinação de gimbal de câmera de -50°, alcançando uma taxa de quadros de 48,53 FPS.
  • Impacto da Altitude: Em altitudes mais baixas (16 metros), a estabilidade da detecção melhorou devido à maior resolução espacial e melhor contraste entre os alvos e o fundo, embora a taxa de quadros tenha caído para 35,31 FPS.
  • Desafios: O estudo identificou limitações específicas, incluindo redução da confiabilidade da detecção quando os alvos estão nos extremos da moldura, em vistas verticais estritas de cima para baixo (devido à falta de características visíveis), ou em áreas com homogeneidade cromática (ex: grama verde misturando-se com os sujeitos) ou fundos complexos (ex: banners assemelhando-se a formas humanas).

Significância e Alegações
Os autores alegam que este trabalho aborda efetivamente os desafios duplos de identificar alvos em várias escalas e garantir localização quase precisa durante a observação aérea. Ao demonstrar que um modelo leve (YOLOv8-nano) pode alcançar altas taxas de quadros (>41 FPS) e detecção confiável em cenários reais de transmissão ao vivo, o artigo valida a viabilidade do uso de drones comerciais acoplados a estações de trabalho de GPU baseadas em solo para consciência situacional imediata. O estudo conclui que, embora o sistema funcione de forma robusta dentro de limites específicos de altitude e ângulo (16–25 metros), trabalhos futuros são necessários para abordar falhas de casos extremos e para migrar o processamento para unidades de borda (edge units) de bordo para operações totalmente autônomas em áreas com comunicação negada.