Design of a Real-Time Hand Gesture Control System for Unmanned Aerial Vehicles Using a Lightweight Multi-Scale Feature Extraction Network

Resumo Técnico: Design de um Sistema de Controle de Gestos Manuais em Tempo Real para Veículos Aéreos Não Tripulados Utilizando uma Rede de Extração de Características Multiescala Leve

Definição do Problema
Os Veículos Aéreos Não Tripulados (VANTs) são cada vez mais utilizados em setores civis, como cinematografia, agricultura e resposta a emergências. No entanto, os paradigmas de controle atuais dependem fortemente de controles remotos manuais, que exigem treinamento significativo do operador e limitam a interação intuitiva, particularmente em cenários de tempo crítico ou fisicamente restritos. Embora o reconhecimento de gestos manuais baseado em visão ofereça uma alternativa livre de mãos, as abordagens de aprendizado profundo existentes enfrentam um gargalo crítico de implementação: o descompasso entre as altas demandas computacionais dos modelos padrão e o poder de processamento e orçamentos de energia limitados dos processadores embarcados nos VANTs. Além disso, muitos modelos leves existentes utilizam arquiteturas de subamostragem de quatro estágios que mantêm uma resolução espacial desnecessariamente alta para tarefas de gestos, e frequentemente têm dificuldade em capturar dependências espaciais de longo alcance sem incorrer na complexidade quadrática associada aos métodos baseados em Transformer.

Metodologia
Os autores propõem uma rede de extração de características leve projetada especificamente para controle de gestos RGB monocular em tempo real em plataformas de VANT com recursos limitados. A arquitetura é construída sobre três pilares de design principais:

1. Backbone de Subamostragem de Três Estágios: Diferente dos backbones convencionais de quatro estágios que realizam a subamostragem de imagens de entrada para $H/32 \times W/32$, o método proposto emprega uma arquitetura de três estágios, reduzindo a resolução do mapa de características final para $H/64 \times W/64$. Os autores argumentam que o reconhecimento de gestos depende primariamente da forma da mão e da localização de pontos-chave, em vez de detalhes de textura de grão fino, tornando a alta resolução dos modelos de quatro estágios computacionalmente redundante.
2. Bloco de Fusão de Características de Campo Receptivo Multiescala (MR3F): Este é a unidade central de extração de características, projetada para capturar tanto detalhes locais quanto contexto global de forma eficiente. O bloco MR3F divide a entrada por canais em três ramos paralelos:
   • Ramo de Identidade: Preserva as características originais com computação mínima.
   • Ramo PDConv: Utiliza Convoluções Dilatadas Paralelas (com taxas de dilatação de 1, 2, 4 e 6) para extrair características locais multiescala sem aumentar a contagem de parâmetros.
   • Ramo de Caminho Duplo: Combina um módulo Vision Mamba (um modelo de espaço de estados seletivo) para capturar dependências espaciais de longo alcance com complexidade linear, e um caminho de Transformada de Wavelet (WT + Conv Depthwise + IWT) para processar características no domínio da frequência.
3. Otimizações de Treinamento e Inferência: Para maximizar o desempenho sem alterar a arquitetura central, os autores implementam:
   • Ciclos de Treinamento Estendidos: Aumentando o treinamento de 150 para 1000 épocas com parada antecipada (early stopping).
   • Destilação de Conhecimento: Utilizando um Vision Transformer pré-treinado de grande escala como modelo professor para guiar a rede estudante leve.
   • Fusão de Camada de Normalização: Mesclando camadas de Batch Normalization em camadas convolucionais precedentes durante a inferência para reduzir a latência.

Principais Contribuições
O artigo descreve três contribuições primárias:

1. Eficiência Arquitetônica: A introdução de um backbone de subamostragem de três estágios que reduz significativamente a carga computacional enquanto preserva detalhes espaciais suficientes para a classificação de gestos precisa.
2. Fusão de Características Híbrida: O desenvolvimento do bloco MR3F, que integra efetivamente convoluções dilatadas paralelas para detalhe local e um modelo de espaço de estados seletivo (Vision Mamba) para modelagem de dependência global, evitando a complexidade quadrática dos Transformers.
3. Otimização Prática: A aplicação de estratégias de treinamento específicas (ciclos estendidos, destilação) e técnicas de inferência (fusão de camadas) que geram melhorias mensuráveis em precisão e velocidade sem aumentar o tamanho do modelo.

Resultados Experimentais
O método foi avaliado no MD-UHGRD (Multi-Distance UAV Hand Gesture Recognition Dataset), bem como no NUS Hand Posture Dataset II e na base de dados SIGNUM.

• Desempenho no MD-UHGRD: O modelo proposto alcançou uma Precisão Média (mAP) de 94,1% ± 0,3, uma velocidade de inferência de 47 ± 0,6 FPS e uma contagem de parâmetros de 9,8 M.
• Análise Comparativa: Comparado ao estado da arte SA-YOLO, o método proposto melhorou o mAP em 0,9 pontos percentuais, reduziu os parâmetros em 0,5 M e aumentou a velocidade de inferência em 2 FPS (estatisticamente significativo, p < 0,05). Também superou o YOLOv8s e o SSD-MobileNetV2 no equilíbrio entre precisão e velocidade.
• Estudos de Ablação:
  • A mudança de um backbone de quatro estágios para um de três estágios reduziu os parâmetros em 2,9 M e aumentou o FPS em 4, com uma queda negligível no mAP (94,3% para 94,1%).
  • A remoção do bloco MR3F causou uma queda de 3,6% no mAP, confirmando a necessidade da fusão híbrida de características locais-globais.
  • O conjunto completo de otimizações (treinamento estendido, destilação, fusão de camadas) melhorou o mAP base de 90,3% para 94,1% e o FPS de 35 para 47.
• Implantação em Borda (Edge): Quando implantado em um NVIDIA Jetson Xavier NX (modo 15 W) usando TensorRT (FP16), o sistema alcançou uma taxa de quadros efetiva de 54,6 FPS com um consumo de pico de energia de 8,5 W e uma pegada de memória de 1,2 GB. Isso satisfaz o requisito de tempo real (<50 ms de tempo de resposta) para o controle de VANTs.
• Robustez: O sistema demonstrou robustez ao desfoque de movimento (motion blur) e oclusão parcial, embora o desempenho tenha degradado sob ruído Gaussiano intenso.

Significância e Alegações
O artigo afirma que o reconhecimento de gestos em tempo real e preciso em plataformas de VANT com recursos limitados é alcançável através de técnicas de extração de características leves. Os autores sustentam que sua abordagem oferece um caminho viável para uma interação humano-VANT mais intuitiva, eliminando a necessidade de sensores vestíveis e superando as restrições computacionais que tipicamente forçam o descarregamento de processamento (offloading) para estações terrestres. O estudo enfatiza que a "sobre-resolução" dos backbones padrão de quatro estágios é desnecessária para tarefas de gestos e que combinar a extração de características locais eficientes com a modelagem de dependência global de complexidade linear (via Mamba) fornece um equilíbrio superior de precisão e velocidade para implantação em borda.

Os autores permanecem modestos quanto às limitações, reconhecendo que o sistema atual é restrito ao reconhecimento de gestos estáticos, depende exclusivamente de dados RGB monoculares (carecendo de percepção 3D) e requer melhorias em ambientes de baixa luminosidade e alto ruído. Trabalhos futuros são propostos para abordar sequências de gestos dinâmicos, integrar sensores de profundidade e expandir os conjuntos de dados para condições de campo desafiadoras.