End-to-End Real-Time Drone-Based Person Detection Framework Using Deep Learning

Resumen Técnico: Marco de Detección de Personas en Tiempo Real Basado en Drones de Extremo a Extremo

Planteamiento del Problema
Los Vehículos Aéreos No Tripulados (UAV) se utilizan cada vez más para la seguridad, la búsqueda y el rescate, y la vigilancia fronteriza. Sin embargo, los marcos de monitoreo existentes a menudo no logran mantener la consistencia en la detección cuando los objetivos experimentan variaciones significativas de escala causadas por cambios en la altitud de vuelo. Las técnicas tradicionales de visión por computadora, como la sustracción de fondo y la diferenciación de fotogramas, se degradan rápidamente en entornos aéreos debido a cambios globales en la escena, ángulos de visión pronunciados e iluminación dinámica. Además, aunque los modelos de aprendizaje profundo como YOLO han avanzado en el campo, muchos estudios dependen de conjuntos de datos estáticos o análisis de video fuera de línea, dejando un vacío en la detección de objetos dispersos en tiempo real con fondos complejos durante operaciones aéreas en vivo.

Metodología
Los autores proponen un flujo de trabajo de detección integrado y de extremo a extremo diseñado para identificar personas mediante transmisiones de video inalámbricas en vivo desde drones. La arquitectura del sistema consta de tres etapas primarias:

1. Adquisición de Transmisión en Vivo: El sistema utiliza un dron comercial (DJI Mini 4 Pro) para capturar video de alta definición. Debido a la limitada potencia de cómputo de los procesadores integrados del dron, la transmisión de video se envía de forma inalámbrica a una estación de tierra remota. Una interfaz móvil actúa como un relé de red local, transmitiendo el flujo a una estación de trabajo de alto rendimiento para su análisis. Esta configuración asegura que el dron se mantenga enfocado en la estabilidad del vuelo mientras que la estación de tierra gestiona la inferencia pesada.
2. Detección Acelerada por GPU: El motor de detección central emplea la arquitectura YOLOv8-nano. Este modelo fue elegido por su equilibrio óptimo entre velocidad de inferencia y precisión, lo cual es crítico para la vigilancia aérea de baja latencia. El sistema aprovecha el hardware habilitado para CUDA para evitar los cuellos de botella de la CPU. El modelo realiza una detección de etapa única, emitiendo cuadros delimitadores (bounding boxes) y puntuaciones de confianza. Un paso de post-procesamiento filtra las predicciones basándose en un umbral de confianza ($\theta$) y restringe la salida a la clase "persona" (ID de clase 0).
3. Monitoreo de Rendimiento en Tiempo Real: El flujo de trabajo calcula la latencia de procesamiento ($\tau_{proc}$) para cada fotograma para determinar la tasa de fotogramas (FPS) instantánea. Esta métrica se superpone directamente en el flujo de video para asegurar que la tasa de inferencia permanezca sincronizada con el flujo de entrada, evitando el desbordamiento del búfer.

Conjunto de Datos y Entrenamiento
El modelo fue ajustado (fine-tuned) utilizando el conjunto de datos VisDrone2019, que incluye más de 10,000 imágenes estáticas y secuencias de video capturadas en diversos entornos urbanos y rurales. Para alinearse con el objetivo específico de la detección de personas, las categorías distintas de 'Peatón' (Pedestrian) y 'Personas' (People) se fusionaron en una clase unificada de 'Persona'. El conjunto de datos se particionó en conjuntos de entrenamiento (6,471 imágenes), validación (548 imágenes) y prueba (1,610 imágenes). Todas las imágenes se redimensionaron a 640×640 píxeles para la entrada. El entrenamiento se llevó a cabo durante 200 épocas utilizando un optimizador SGD con una tasa de aprendizaje de 0.01 en una GPU NVIDIA GeForce RTX 4060.

Contribuciones Clave
El artículo describe tres contribuciones principales:

• Integración del Sistema: El diseño e implementación de un flujo de detección basado en UAV que integra YOLOv8-nano con la transmisión de video inalámbrica, permitiendo la inferencia en tiempo real sobre metraje aéreo en vivo en lugar de grabaciones fuera de línea.
• Análisis Operativo: Un análisis empírico de la relación entre la altitud de vuelo, el ángulo de inclinación (pitch) del gimbal de la cámara y el rendimiento de la detección (FPS y estabilidad) para establecer directrices para el despliegue óptimo de UAV.
• Visualización: El desarrollo de un sistema de visualización en tiempo real que muestra simultáneamente los resultados de la detección y las métricas de rendimiento.

Resultos

• Rendimiento Cuantitativo: En el conjunto de prueba VisDrone2019, el modelo YOLOv8-nano logró una precisión de 57.4%, un recall de 41%, un mAP@50 de 44.8% y un mAP@50:95 de 20.3%. Los autores señalan que la mayor precisión indica que el sistema es confiable al señalar una detección, filtrando eficazmente el ruido del fondo.
• Validación de Campo: Se realizaron extensas pruebas de vuelo en el Instituto Indio de Tecnología (IIT) Guwahati a altitudes que oscilaban entre 15 y 30 metros.
  • Rendimiento Óptimo: El sistema demostró una fiabilidad de detección casi total y un rendimiento máximo a una altitud de 25 metros con un ángulo de inclinación del gimbal de -50°, alcanzando una tasa de fotogramas de 48.53 FPS.
  • Impacto de la Altitud: A altitudes menores (16 metros), la estabilidad de la detección mejoró debido a una mayor resolución espacial y un mejor contraste entre los objetivos y el fondo, aunque la tasa de fotogramas descendió a 35.31 FPS.
  • Desafíos: El estudio identificó limitaciones específicas, incluyendo una reducción en la fiabilidad de la detección cuando los objetivos se encuentran en los extremos extremos del cuadro, en vistas cenitales estrictamente verticales (debido a la falta de rasgos visibles), o en áreas con homogeneidad cromática (por ejemplo, césped verde que se mezcla con los sujetos) o fondos complejos (por ejemplo, pancartas que asemejan formas humanas).

Significancia y Reivindicaciones
Los autores afirman que este trabajo aborda eficazmente los desafíos duales de identificar objetivos a diferentes escalas y asegurar una localización cercana a la exacta durante la observación aérea. Al demostrar que un modelo ligero (YOLOv8-nano) puede lograr altas tasas de fotogramas (>41 FPS) y una detección confiable en escenarios de transmisión en vivo en el mundo real, el artículo valida la viabilidad de utilizar drones comerciales junto con estaciones de trabajo de GPU basadas en tierra para una conciencia situacional inmediata. El estudio concluye que, si bien el sistema funciona de manera robusta dentro de límites específicos de altitud y ángulo (16–25 metros), se requiere trabajo futuro para abordar las fallas en casos límite y para migrar el procesamiento a unidades de borde (edge units) integradas para operaciones totalmente autónomas en áreas con denegación de comunicaciones.