FlyPose: Towards Robust Human Pose Estimation From Aerial Views

Il paper presenta FlyPose, un pipeline di stima della posa umana leggero e robusto progettato per droni UAV che, grazie all'addestramento su più dataset e al rilascio di un nuovo dataset chiamato FlyPose-104, ottiene prestazioni superiori e un'elaborazione in tempo reale anche in condizioni di visione aerea difficili.

L'essenziale

Immagina di avere un droncino super intelligente che vola sopra la città. Il suo compito è consegnare pacchi, monitorare il traffico o aiutare nei soccorsi. Ma c'è un problema: se il drone guarda le persone dall'alto (come un falco), le vede in modo molto strano.

Il Problema: Guardare le persone dall'alto è difficile

Pensa a quando guardi un amico dall'alto in un parco:

1. Vedi solo la testa e le spalle: Le gambe e il viso sono nascosti o schiacciati (questo si chiama "occlusione").
2. Sono minuscoli: Se il drone vola alto per non urtare gli alberi, le persone diventano dei puntini quasi invisibili.
3. Il drone è piccolo e leggero: Non può portare un computer gigante e potente come quelli usati nelle università. Deve essere veloce e leggero, come uno zainetto da escursionista, non come un armadio.

I programmi per riconoscere le persone che usiamo di solito (quelli che funzionano bene quando le guardiamo in faccia) vanno in tilt se proviamo a usarli dall'alto. Sbagliano tutto.

La Soluzione: FlyPose

Gli autori di questo studio hanno creato FlyPose. Immagina FlyPose non come un singolo programma, ma come un sistema di due occhi molto veloci montati sul drone:

1. Il primo occhio (Il Rilevatore): È come un cercapersone. La sua unica missione è dire: "Ehi, laggiù c'è una persona!". Non deve sapere cosa sta facendo, solo trovarla. È stato addestrato guardando migliaia di foto di persone prese dall'alto, anche di notte (con telecamere termiche che vedono il calore).
2. Il secondo occhio (Il Riconoscitore): Una volta che il primo occhio ha trovato la persona, il secondo occhio la "taglia" fuori dallo sfondo e le dice: "Ok, ora analizziamo le sue braccia e le sue gambe". Anche se la persona è piccola e le gambe sono nascoste, questo occhio è stato allenato per indovinare dove dovrebbero essere.

Come l'hanno "allenato"? (L'addestramento)

Immagina di voler insegnare a un cane a trovare un oggetto specifico. Non puoi dargli solo un gioco; devi dargliene molti diversi.

• Hanno preso il loro "cane" (l'intelligenza artificiale) e gli hanno fatto vedere tante foto diverse: foto di città, foto di montagne, foto di notte, foto di persone piccole e foto di persone grandi.
• Hanno anche creato un nuovo album di figurine chiamato FlyPose-104. È un piccolo ma difficile album di foto prese dall'alto, dove le persone sono nascoste o schiacciate, proprio per allenare il drone su casi difficili.

I Risultati: È veloce come un fulmine?

Sì! Il sistema è stato testato su un computer portatile speciale per droni (chiamato Jetson Orin).

• Tempo di reazione: FlyPose impiega circa 20 millisecondi per vedere una persona, trovarla e capire la sua posa.
• Cosa significa? È più veloce di un battito di ciglia. Il drone può vedere una persona, capire se ti sta facendo un cenno con la mano (gesto) e reagire immediatamente, tutto mentre vola.

Perché è importante?

Pensa a un drone che deve consegnare un pacco a una persona in mezzo a una folla.

• Senza FlyPose, il drone potrebbe non vedere la persona o confonderla con un albero.
• Con FlyPose, il drone sa esattamente dove sei, se ti stai muovendo verso di lui o se ti stai allontanando. Può anche capire se stai facendo un gesto di "stop" o "vieni qui".

In sintesi, FlyPose è come dare al drone un senso di "vista a 360 gradi" e un cervello veloce, permettendogli di interagire in sicurezza con gli esseri umani anche quando li guarda dall'alto, come un angelo custode tecnologico che non si perde mai di vista.

Sommario tecnico

1. Il Problema

L'aumento dell'uso di Veicoli Aerei Non Pilotati (UAV/droni) in ambienti popolati da esseri umani (per consegne, monitoraggio del traffico, soccorso) richiede una percezione robusta delle pose e delle azioni umane. Tuttavia, la visione aerea presenta sfide uniche rispetto alle viste a livello del suolo:

• Angoli di vista ripidi: Spesso fino a 90 gradi (vista dall'alto), che causano l'occlusione di punti chiave come il viso e le gambe.
• Risoluzione bassa: A quote elevate, le persone occupano pochi pixel, rendendo difficile l'identificazione dei dettagli.
• Oclusioni e distorsioni: Le proporzioni del corpo sono distorte e si verificano frequenti auto-occlusioni.
• Vincoli computazionali: Gli UAV hanno limiti di peso, dimensioni e potenza, richiedendo modelli leggeri in grado di funzionare in tempo reale a bordo.
• Mancanza di dati: Esiste una scarsità di dataset annotati per la stima della posa umana da prospettive aeree, specialmente per scenari complessi e multi-scala.

2. Metodologia

Gli autori propongono FlyPose, una pipeline di stima della posa umana "top-down" (dall'alto verso il basso) ottimizzata per dispositivi edge e immagini aeree. La pipeline è composta da due fasi principali:

A. Rilevamento delle Persone (Person Detection)

• Architettura: Utilizza RT-DETRv2-S (Real-Time DEtection TRansformer), un rilevatore one-stage leggero.
• Backbone: Dopo aver testato vari backbone (inclusi basati su Transformer), è stato scelto ResNet-18 per il suo equilibrio tra efficienza computazionale e prestazioni su risorse limitate.
• Strategia di Addestramento:
  • Multi-dataset: Il modello è stato addestrato su un insieme combinato di 9 dataset aerei (inclusi VisDrone, Manipal-UAV, HIT-UAV, SeasDronesSea, ecc.) che coprono scenari urbani, di ricerca e soccorso, e immagini termiche (RGB e IR).
  • Loss Function: È stata introdotta la Normalized Wasserstein Distance Loss (NWDL) per migliorare la stabilità dell'addestramento su oggetti piccoli, sostituendo la classica IoU loss.
  • Generalizzazione: Per evitare la perdita di capacità di rilevamento in vista frontale (tipica dei dataset aerei), è stato incluso anche il subset "COCO-Person" nell'addestramento finale.

B. Stima della Posa (Pose Estimation)

• Architettura: Utilizza ViTPose-S (Vision Transformer Pose), una versione leggera di un modello basato su Transformer.
• Input: Le patch ritagliate dalle persone rilevate vengono ridimensionate a 256x192 pixel.
• Strategia di Addestramento:
  • Fine-tuning: Il modello pre-addestrato su COCO è stato fine-tuned sul dataset UAV-Human.
  • Augmentation: È stata introdotta un'augmentation di downscaling (riduzione del 5-20% della patch) per simulare persone più piccole e a bassa risoluzione, tipiche delle riprese aeree da grandi distanze.
  • Output: Predizione di mappe di calore (heatmaps) per i 17 punti chiave definiti dallo standard COCO.

3. Contributi Chiave

1. Sviluppo di FlyPose: Una pipeline completa e leggera per la rilevazione e la stima della posa umana ottimizzata per immagini aeree e dispositivi embedded.
2. Dataset FlyPose-104: Creazione e rilascio di un nuovo dataset di test contenente 104 immagini con annotazioni manuali di 193 persone. Questo dataset è progettato per essere estremamente difficile, includendo viste dall'alto a 90°, oclusioni severe, sfondi complessi (neve, acqua, cemento) e scale multiple (5-50 metri di quota).
3. Validazione su Hardware Reale: Integrazione del sistema su un Jetson Orin AGX e dimostrazione del funzionamento durante voli reali su un UAV quadrotore, con misurazione della latenza end-to-end.

4. Risultati

• Rilevamento Persone:
  • L'approccio multi-dataset ha portato a un miglioramento medio di 6.8 mAP nella rilevazione delle persone su vari set di test (Manipal-UAV, VisDrone, HIT-UAV, FlyPose-104).
  • Il modello mantiene buone prestazioni anche su immagini termiche, essenziale per applicazioni notturne o di soccorso.
• Stima della Posa:
  • Su dataset UAV-Human, FlyPose ha raggiunto 73.18 mAP, un miglioramento significativo di 16.3 mAP rispetto ai risultati precedenti riportati (es. AlphaPose a 56.9 mAP).
  • La versione ViTPose-S è stata selezionata per il deployment grazie al suo ottimo compromesso tra accuratezza e velocità.
• Prestazioni in Tempo Reale (Edge):
  • Su un Jetson Orin AGX, la latenza totale di inferenza (rilevamento + stima posa) è di circa 20 ms (13 ms per il rilevamento + 6.54 ms per la posa) per un'immagine singola.
  • Questo permette un frame rate superiore a 25 fps, lasciando margine per compiti downstream come il tracciamento o il riconoscimento gestuale.
• Deploy Reale: Il sistema è stato testato con successo su un drone commerciale da 35 kg, dimostrando la fattibilità di interazioni uomo-drone basate sui gesti in volo.

5. Significato e Conclusioni

Il lavoro di FlyPose colma un divario significativo nella ricerca sulla visione artificiale per droni. Dimostra che è possibile ottenere una stima della posa umana robusta e in tempo reale direttamente a bordo di un UAV, nonostante le sfide intrinseche delle viste aeree (bassa risoluzione, occlusioni).

• Impatto Pratico: Abilita nuove applicazioni come il monitoraggio del traffico, le consegne di carichi (sling-load) e le operazioni di soccorso, dove il drone deve comprendere l'intento umano (es. gesti di direzione) per reagire autonomamente.
• Limitazioni e Futuro: Il paper nota che i punti chiave del viso (naso, occhi) rimangono difficili da localizzare a causa delle occlusioni e della bassa risoluzione. Inoltre, in scenari con molte persone vicine, le prestazioni possono degradare. Tuttavia, FlyPose rappresenta un passo fondamentale verso droni "consapevoli del contesto" in grado di operare in ambienti umani complessi.

In sintesi, FlyPose offre una soluzione pratica, leggera e ad alte prestazioni che supera i limiti dei modelli generici pre-addestrati su dati terrestri, adattandoli specificamente per la visione aerea.