Design of a Real-Time Hand Gesture Control System for Unmanned Aerial Vehicles Using a Lightweight Multi-Scale Feature Extraction Network

Sintesi Tecnica: Progettazione di un sistema di controllo gestuale in tempo reale per veicoli aerei non pilotati tramite una rete di estrazione delle caratteristiche multi-scala leggera

Problematica
I veicoli aerei non pilotati (UAV) sono sempre più utilizzati nei settori civili come la cinematografia, l'agricoltura e la risposta alle emergenze. Tuttavia, i modelli di controllo attuali si affidano pesantemente a controller remoti manuali, che richiedono una formazione significativa da parte dell'operatore e limitano l'interazione intuitiva, in particolare in scenari con vincoli fisici o temporali critici. Sebbene il riconoscimento gestuale basato sulla visione offra un'alternativa "hands-free", gli approoli di deep learning esistenti affrontano un collo di bottiglia critico per la distribuzione: il disallineamento tra l'elevata richiesta computazionale dei modelli standard e la limitata potenza di elaborazione e i budget energetici dei processori embarcati degli UAV. Inoltre, molti modelli leggeri esistenti utilizzano architetture di downsampling a quattro stadi che mantengono una risoluzione spaziale inutilmente alta per i compiti gestuali, e spesso faticano a catturare dipendenze spaziali a lungo raggio senza incorrere nella complessità quadratica associata ai metodi basati su Transformer.

Metodologia
Gli autori propongono una rete di estrazione delle caratteristiche leggera, progettata specificamente per il controllo gestuale RGB monoculare in tempo reale su piattaforme UAV con risorse limitate. L'architettura si basa su tre pilastri fondamentali di progettazione:

1. Backbone di downsampling a tre stadi: A differenza delle convenzionali backbone a quattro stadi che effettuano il downsampling delle immagini di input a $H/32 \times W/32$, il metodo proposto impiega un'architettura a tre stadi, riducendo la risoluzione finale della mappa delle caratteristiche a $H/64 \times W/64$. Gli autori sostengono che il riconoscimento gestuale si basi principalmente sulla forma della mano e sulla posizione dei keypoint piuttosto che su dettagli testurizzati fini, rendendo computazionalmente ridondante l'alta risoluzione dei modelli a quattro stadi.
2. Blocco di fusione delle caratteristiche del campo recettivo multi-scala (MR3F): Questo è l'unità centrale di estrazione delle caratteristiche, progettata per catturare in modo efficiente sia i dettagli locali che il contesto globale. Il blocco MR3F suddivide l'input per canali in tre rami paralleli:
   • Ramo Identity: Preserva le caratteristiche originali con un calcolo minimo.
   • Ramo PDConv: Utilizza convoluzioni dilatate parallele (con tassi di dilatazione 1, 2, 4 e 6) per estrarre caratteristiche locali multi-scala senza aumentare il numero di parametri.
   • Ramo Dual-Path: Combina un modulo Vision Mamba (un modello di spazio di stato selettivo) per catturare le dipendenze spaziali a lungo raggio con complessità lineare, e un percorso di Trasformata Wavelet (WT + Depthwise Conv + IWT) per elaborare le caratteristiche nel dominio della frequenza.
3. Ottimizzazioni dell'addestramento e dell'inferenza: Per massimizzare le prestazioni senza alterare l'architettura principale, gli autori implementano:
   • Cicli di addestramento estesi: Aumento dell'addestramento da 150 a 1000 epoche con early stopping.
   • Knowledge Distillation: Utilizzo di un grande Vision Transformer pre-addestrato come modello "teacher" per guidare la rete "student" leggera.
   • Fusione dei livelli di normalizzazione: Fusione dei livelli di Batch Normalization nelle precedenti fasi convoluzionali durante l'inferenza per ridurre la latenza.

Contributi Chiave
Il documento delinea tre contributi principali:

1. Efficienza Architetturale: L'introduzione di una backbone a tre stadi che riduce significativamente il carico computazionale preservando al contempo sufficienti dettagli spaziali per una classificazione gestuale accurata.
2. Fusione Ibrida delle Caratteristiche: Lo sviluppo del blocco MR3F, che integra efficacemente convoluzioni dilatate parallele per il dettaglio locale e un modello di spazio di stato selettivo (Vision Mamba) per la modellazione della dipendenza globale, evitando la complessità quadratica dei Transformer.
3. Ottimizzazione Pratica: L'applicazione di specifiche strategie di addestramento (cicli estesi, distillazione) e tecniche di inferenza (fusione dei livelli) che producono miglioramenti misurabili in termini di accuratezza e velocità senza aumentare la dimensione del modello.

Risultati Sperimentali
Il metodo è stato valutato sul dataset MD-UHGRD (Multi-Distance UAV Hand Gesture Recognition Dataset), nonché sui dataset NUS Hand Posture II e SIGNUM.

• Prestazioni su MD-UHGRD: Il modello proposto ha raggiunto una precisione media (mAP) del 94,1% ± 0,3, una velocità di inferenza di 47 ± 0,6 FPS e un conteggio di parametri di 9,8 M.
• Analisi Comparativa: Rispetto allo stato dell'arte SA-YOLO, il metodo proposto ha migliorato la mAP di 0,9 punti percentuali, ridotto i parametri di 0,5 M e aumentato la velocità di inferenza di 2 FPS (statisticamente significativo, p < 0,05). Ha inoltre superato YOLOv8s e SSD-MobileNetV2 nel compromesso tra accuratezza e velocità.
• Studi di Ablazione:
  • Il passaggio da una backbone a quattro stadi a una a tre stadi ha ridotto i parametri di 2,9 M e aumentato la velocità di 4 FPS, con una perdita di mAP trascurabile (94,3% a 94,1%).
  • La rimozione del blocco MR3F ha causato un calo della mAP del 3,6%, confermando la necessità della fusione ibrida delle caratteristiche locali-globali.
  • L'intera suite di ottimizzazioni (addestramento esteso, distillazione, fusione dei livelli) ha migliorato la mAP di base dal 90,3% al 94,1% e la velocità da 35 a 47 FPS.
• Deployment su Edge: Quando implementato su un NVIDIA Jetson Xavier NX (modalità 15 W) utilizzando TensorRT (FP16), il sistema ha raggiunto un frame rate effettivo di 54,6 FPS con un consumo di picco di potenza di 8,5 W e un'impronta di memoria di 1,2 GB. Ciò soddisfa il requisito di tempo reale (< 50 ms di tempo di risposta) per il controllo degli UAV.
• Robustezza: Il sistema ha dimostrato robustezza alla sfocatura da movimento (motion blur) e all'occlusione parziale, sebbene le prestazioni siano degradate in presenza di forte rumore Gaussiano.

Significatività e Rivendicazioni
Il documento sostiene che il riconoscimento gestuale accurato e in tempo reale su piattaforme UAV con risorse limitate è realizzabile attraverso tecniche di estrazione delle caratteristiche leggere. Gli autori affermano che il loro approccio offre una via percorribile verso un'interazione uomo-UAV più intuitiva, eliminando la necessità di sensori indossabili e superando i vincoli computazionali che tipicamente costringono allo spostamento dell'elaborazione verso stazioni di terra. Lo studio sottolinea che l'"over-resolution" delle standard backbone a quattro stadi è superflua per i compiti gestuali e che la combinazione di un'estrazione delle caratteristiche locali efficiente con una modellazione della dipendenza globale a complessità lineare (tramite Mamba) fornisce un equilibrio superiore tra accuratezza e velocità per il deployment su edge.

Gli autori rimangono modesti riguardo ai limiti, riconoscendo che l'attuale sistema è limitato al riconoscimento gestuale statico, si affida esclusivamente a dati RGB monocromatici (mancando di percezione 3D) e richiede ulteriori miglioramenti in ambienti con scarsa illuminazione o alto rumore. Il lavoro futuro proposto mira ad affrontare le sequenze gestuali dinamiche, integrare sensori di profondità ed espandere i dataset per condizioni di campo più impegnative.