Design of a Real-Time Hand Gesture Control System for Unmanned Aerial Vehicles Using a Lightweight Multi-Scale Feature Extraction Network

Resumen Técnico: Diseño de un Sistema de Control por Gestos Manuales en Tiempo Real para Vehículos Aéreos No Tripulados Mediante una Red de Extracción de Características Multiescala Ligera

Planteamiento del Problema
Los Vehículos Aéreos No Tripulados (UAV) se utilizan cada vez más en sectores civiles como la cinematografía, la agricultura y la respuesta ante emergencias. Sin embargo, los paradigmas de control actuales dependen en gran medida de controladores remotos portátiles, lo que exige una formación significativa del operador y limita la interacción intuitiva, particularmente en escenarios con restricciones físicas o de tiempo sensibles. Si bien el reconocimiento de gestos manuales basado en visión ofrece una alternativa de manos libres, los enfoques de aprendizaje profundo existentes enfrentan un cuello de botella crítico de despliegue: la discordancia entre las altas demandas computacionales de los modelos estándar y la limitada capacidad de procesamiento y presupuestos de energía de los procesadores integrados en los UAV. Además, muchos modelos ligeros existentes utilizan arquitecturas de submuestreo de cuatro etapas que mantienen una resolución espacial innecesariamente alta para tareas de gestos, y a menudo tienen dificultades para capturar dependencias espaciales de largo alcance sin incurrir en la complejidad cuadrática asociada con los métodos basados en Transformers.

Metodología
Los autores proponen una red de extracción de características ligera diseñada específicamente para el control de gestos mediante RGB monocromático en tiempo real para plataformas de UAV con recursos limitados. La arquitectura se basa en tres pilares de diseño fundamentales:

1. Backbone de Submuestreo de Tres Etapas: A diferencia de los backbones convencionales de cuatro etapas que submuestrean las imágenes de entrada a $H/32 \times W/32$, el método propuesto emplea una arquitectura de tres etapas, reduciendo la resolución del mapa de características final a $H/64 \times W/64$. Los autores argumentan que el reconocimiento de gestos depende principalmente de la forma de la mano y la ubicación de los puntos clave más que de detalles de textura finos, lo que hace que la alta resolución de los modelos de cuatro etapas sea computacionalmente redundante.
2. Bloque de Fusión de Características de Campo Receptivo Multiescala (MR3F): Este es la unidad central de extracción de características, diseñada para capturar tanto detalles locales como contexto global de manera eficiente. El bloque MR3F divide la entrada por canales en tres ramas paralelas:
   • Rama de Identidad: Preserva las características originales con una computación mínima.
   • Rama PDConv: Utiliza Convoluciones Dilatadas en Paralelo (con tasas de dilatación de 1, 2, 4 y 6) para extraer características locales multiescala sin aumentar el recuento de parámetros.
   • Rama de Doble Vía: Combina un módulo Vision Mamba (un modelo de espacio de estados selectivo) para capturar dependencias espaciales de largo alcance con complejidad lineal, y una ruta de Transformada Wavelet (WT + Conv Depthwise + IWT) para procesar características en el dominio de la frecuencia.
3. Optimizaciones de Entrenamiento e Inferencia: Para maximizar el rendimiento sin alterar la arquitectura central, los autores implementan:
   • Ciclos de Entrenamiento Extendidos: Aumentando el entrenamiento de 150 a 1000 épocas con parada temprana.
   • Destilación de Conocimiento: Utilizando un Vision Transformer preentrenado de gran tamaño como modelo profesor para guiar a la red estudiante ligera.
   • Fusión de Capas de Normalización: Fusionando las capas de Batch Normalization en las capas convolucionales precedentes durante la inferencia para reducir la latencia.

Contribuciones Clave
El artículo describe tres contribuciones principales:

1. Eficiencia Arquitectónica: La introducción de un backbone de submuestreo de tres etapas que reduce significativamente la carga computacional mientras preserva suficiente detalle espacial para la clasificación de gestos precisa.
2. Fusión de Características Híbrida: El desarrollo del bloque MR3F, que integra eficazmente convoluciones dilatadas en paralelo para el detalle local y un modelo de espacio de estados selectivo (Vision Mamba) para el modelado de dependencias globales, evitando la complejidad cuadrática de los Transformers.
3. Optimización Práctica: La aplicación de estrategias de entrenamiento específicas (ciclos extendidos, destilación) y técnicas de inferencia (fusión de capas) que producen mejoras medibles en precisión y velocidad sin aumentar el tamaño del modelo.

Resultados Experimentales
El método fue evaluado en el MD-UHGRD (Dataset de Reconocimiento de Gestos Manuales de UAV a Distancia Múltiple), así como en el NUS Hand Posture Dataset II y la base de datos SIGNUM.

• Rendimiento en MD-UHGRD: El modelo propuesto logró una precisión media promedio (mAP) de 94.1% ± 0.3, una velocidad de inferencia de 47 ± 0.6 FPS y un recuento de parámetros de 9.8 M.
• Análisis Comparativo: En comparación con el estado del arte SA-YOLO, el método propuesto mejoró el mAP en 0.9 puntos porcentuales, redujo los parámetros en 0.5 M y aumentó la velocidad de inferencia en 2 FPS (estadísticamente significativo, p < 0.05). También superó a YOLOv8s y SSD-MobileNetV2 en la relación precisión-velocidad.
• Estudios de Ablación:
  • Cambiar de un backbone de cuatro etapas a uno de tres etapas redujo los parámetros en 2.9 M y aumentó los FPS en 4, con una caída insignificante en el mAP (94.3% a 94.1%).
  • Eliminar el bloque MR3F causó una caída del 3.6% en el mAP, confirmando la necesidad de la fusión híbrida de características locales y globales.
  • El conjunto completo de optimizaciones (entrenamiento extendido, destilación, fusión de capas) mejoró el mAP base de 90.3% a 94.1% y los FPS de 35 a 47.
• Despliegue en el Borde (Edge): Cuando se desplegó en un NVIDIA Jetson Xavier NX (modo de 15 W) utilizando TensorRT (FP16), el sistema logró una tasa de fotogramas efectiva de 54.6 FPS con un consumo de potencia pico de 8.5 W y una huella de memoria de 1.2 GB. Esto satisface el requisito de tiempo real (<50 ms de tiempo de respuesta) para el control de UAV.
• Robustez: El sistema demostró robustez ante el desenfoque de movimiento y la oclusión parcial, aunque el rendimiento disminuyó bajo ruido Gaussiano intenso.

Significancia y Reclamaciones
El artículo afirma que el reconocimiento de gestos en tiempo real y preciso en plataformas de UAV con recursos limitados es alcanzable mediante técnicas de extracción de características ligeras. Los autores sostienen que su enfoque ofrece una vía viable hacia una interacción humano-UAV más intuitiva al eliminar la necesidad de sensores vestibles y superar las limitaciones computacionales que típicamente fuerzan el procesamiento fuera de la estación base. El estudio enfatiza que la "sobre-resolución" de los backbones estándar de cuatro etapas es innecesaria para las tareas de gestos y que combinar la extracción de características locales eficiente con el modelado de dependencias globales de complejidad lineal (vía Mamba) proporciona un equilibrio superior de precisión y velocidad para el despliegue en el borde.

Los autores mantienen la modestia respecto a las limitaciones, reconociendo que el sistema actual está restringido al reconocimiento de gestos estáticos, depende únicamente de datos RGB monocromáticos (careciendo de percepción 3D) y requiere mejoras en entornos de baja luminosidad y alto ruido. Se propone trabajo futuro para abordar secuencias de gestos dinámicos, integrar sensores de profundidad y expandir los conjuntos de datos para condiciones de campo desafiantes.