FlyPose: Towards Robust Human Pose Estimation From Aerial Views

Le papier présente FlyPose, un pipeline léger d'estimation de pose humaine en vue aérienne qui améliore significativement la détection et l'estimation de pose grâce à un entraînement multi-ensembles, tout en permettant une inférence en temps réel à bord d'un drone, et accompagne cette avancée de la publication du nouveau jeu de données FlyPose-104.

L'essentiel

🚁 FlyPose : Les yeux du drone qui comprennent les humains

Imaginez un drone qui vole au-dessus d'une foule, comme un oiseau très curieux. Son travail ? Livrer des colis, surveiller la circulation ou aider lors de catastrophes. Mais pour interagir avec les humains en toute sécurité, le drone a un gros problème : il ne comprend pas ce qu'ils font.

Si vous regardez quelqu'un de face, vous voyez ses bras, ses jambes et son visage. Mais si vous êtes un drone qui regarde depuis le ciel, la personne ressemble à une petite tache. Ses jambes sont cachées par son corps, son visage est écrasé, et elle peut être loin, petite et floue. C'est comme essayer de lire une étiquette de médicament à 50 mètres de haut avec des lunettes de soleil !

C'est là qu'intervient FlyPose.

🛠️ Le problème : Le "drone aveugle"

Les systèmes actuels sont entraînés à regarder les gens de la rue (de face). Quand on les utilise depuis le ciel, ils sont perdus :

• La distance : Les gens sont minuscules (comme des fourmis).
• L'angle : On les voit de dessus, ce qui déforme leur silhouette.
• Les obstacles : Les gens se cachent derrière d'autres objets ou se cachent eux-mêmes (leurs bras bloquent leur tête).

De plus, le drone ne peut pas emporter un super-ordinateur lourd. Il a besoin d'un cerveau léger et rapide, capable de penser en temps réel (moins de 20 millisecondes !).

💡 La solution : FlyPose, le "super-pouvoir" du drone

Les chercheurs de l'Université de Munich ont créé FlyPose, un système en deux étapes qui agit comme les yeux et le cerveau du drone.

1. Le détecteur (Le gardien)

Imaginez un gardien qui scanne la foule et dit : "Attends, il y a un humain ici !"
Au lieu d'utiliser un système complexe et lent, ils ont entraîné un modèle très léger (appelé RT-DETR) sur neuf bases de données différentes. C'est comme si on faisait étudier le drone sur des photos de villes, de montagnes, de déserts et même de la nuit (avec des caméras thermiques).

• Résultat : Le drone devient un expert pour repérer les humains, même s'ils sont tout petits ou cachés.

2. Le poseur (Le dessinateur)

Une fois que le drone a repéré une personne, il doit deviner où sont ses articulations (coudes, genoux, épaules). C'est comme si le drone dessinait un bonhomme allumette par-dessus la personne.

• Le défi : Dessiner ce bonhomme alors qu'on ne voit que le haut du corps ou que les jambes sont cachées.
• La solution : Ils ont pris un modèle intelligent (ViTPose) et l'ont "rééduqué" spécifiquement pour le point de vue aérien. Ils lui ont montré des milliers d'exemples de gens vus de haut, y compris des situations difficiles (neige, boue, foule).

🧪 L'expérience : Le test en vol réel

Pour prouver que ça marche, ils n'ont pas juste laissé le drone sur une table. Ils l'ont monté sur un vrai drone de 35 kg (aussi lourd qu'un petit cheval !) et l'ont fait voler.

• Le résultat ? Le système fonctionne en temps réel. En moins de 20 millisecondes (le temps de cligner des yeux), le drone voit la personne, dessine son squelette et peut réagir.
• L'application : Imaginez un drone qui vous voit faire un signe de la main pour lui dire "Là, je veux ce colis" ou "Arrête-toi, danger !". FlyPose permet au drone de comprendre ces gestes.

📚 Le cadeau aux chercheurs : FlyPose-104

Les chercheurs ont aussi créé leur propre petit jeu de données, FlyPose-104. C'est comme un devoir maison difficile qu'ils ont donné aux autres intelligences artificielles. Ce jeu contient 104 images très compliquées (gens cachés, angles bizarres) pour tester si les futurs systèmes sont vraiment bons.

🌟 En résumé

FlyPose, c'est comme donner des lunettes de vision nocturne et un cerveau de gymnaste à un drone.

• Avant : Le drone voyait des taches et ne savait pas ce qu'elles faisaient.
• Maintenant : Le drone voit les gens, comprend leurs mouvements, même de très haut, et peut interagir avec eux en toute sécurité, le tout sans s'écraser sous le poids de son ordinateur.

C'est une étape cruciale pour que les drones puissent un jour livrer nos colis ou nous aider dans les catastrophes en comprenant parfaitement ce qui se passe autour d'eux.

Résumé technique

1. Problématique

L'augmentation de l'utilisation des drones (UAV) dans des environnements peuplés (livraison, surveillance du trafic, secours) nécessite une perception robuste des humains. Cependant, l'estimation de la pose humaine (HPE) depuis une vue aérienne pose des défis majeurs que les modèles terrestres standards ne peuvent pas résoudre :

• Angles de vue extrêmes : Les caméras sont souvent orientées à 90° (vue de dessus), entraînant des distorsions de proportions corporelles et une occlusion fréquente des membres (jambes, visage).
• Résolution faible et échelle variable : Pour éviter les obstacles, les drones volent à haute altitude, ce qui réduit la taille des humains en pixels (objets très petits).
• Contraintes matérielles : Les UAV ont des limites strictes en termes de poids, d'énergie et de puissance de calcul, nécessitant des modèles légers capables de fonctionner en temps réel sur des dispositifs embarqués (Edge AI).
• Manque de données : Il existe peu de jeux de données annotés spécifiquement pour la pose humaine sous des angles aériens, obligeant les modèles à se généraliser à partir de données terrestres ou de petites quantités de données synthétiques.

2. Méthodologie

Les auteurs proposent FlyPose, un pipeline complet d'estimation de pose humaine "top-down" (de haut en bas), optimisé pour les dispositifs embarqués. L'approche se décompose en deux étapes principales :

A. Détection de Personnes (Person Detection)

• Architecture : Utilisation de RT-DETRv2-S (un détecteur en une étape léger) avec un backbone ResNet-18.
• Stratégie d'entraînement :
  • Entraînement multi-jeux de données : Combinaison de neuf jeux de données aériens (VisDrone, Manipal-UAV, HIT-UAV, SeasDronesSea, etc.) incluant des images RGB et thermiques.
  • Fonction de perte : Remplacement de la perte IoU standard par la Normalized Wasserstein Distance Loss (NWDL) pour améliorer la stabilité de l'entraînement sur des objets de petite taille.
  • Généralisation : Réintroduction de données COCO (vue frontale) pour éviter une perte de performance sur les vues de face à basse altitude, tout en maintenant la robustesse sur les vues aériennes.

B. Estimation de la Pose (Pose Estimation)

• Architecture : Utilisation de ViTPose-S (une architecture basée sur Vision Transformer, version "Small" pour la légèreté).
• Stratégie d'entraînement :
  • Fine-tuning sur le jeu de données UAV-Human.
  • Augmentation de données : Introduction d'une augmentation par mise à l'échelle (downscaling) de 5-20 % pour simuler les personnes vues de loin ou floues par le mouvement, forçant le modèle à apprendre des caractéristiques robustes à basse résolution.
  • Le modèle prédit des cartes de chaleur (heatmaps) pour les 17 points clés du corps (format COCO).

C. Déploiement Embarqué

• Le système est optimisé pour le Jetson Orin AGX (32 Go de RAM) en convertissant les modèles en moteurs TensorRT FP32.
• Le pipeline traite les flux vidéo Full-HD en temps réel.

3. Contributions Clés

1. Développement de FlyPose : Un pipeline léger et robuste conçu spécifiquement pour les vues aériennes, capable de fonctionner en temps réel sur des drones.
2. Jeu de données FlyPose-104 : Publication d'un nouveau jeu de données de test contenant 104 images annotées manuellement. Ce jeu est conçu pour être difficile, couvrant divers arrière-plans (neige, eau, béton), des vues à 90°, des occlusions sévères et des échelles variées (5 à 50 m d'altitude).
3. Validation en vol réel : Intégration et test du système sur un quadricoptère commercial en vol, démontrant la faisabilité pratique de la détection et de l'estimation de pose en conditions réelles.

4. Résultats

Les performances ont été évaluées sur plusieurs jeux de données de test (VisDrone, Manipal-UAV, HIT-UAV, UAV-Human, FlyPose-104) :

• Détection de personnes :
  • Amélioration moyenne de 6,8 mAP sur les ensembles de test de plusieurs jeux de données aériens par rapport aux modèles de base.
  • Le modèle RT-DETRv2-S montre une bonne généralisation entre les vues thermiques et RGB, ainsi qu'entre les vues aériennes et frontales.
• Estimation de pose :
  • Sur le jeu de données difficile UAV-Human, FlyPose (ViTPose-S fine-tuné) atteint 73,18 mAP, soit une amélioration de 16,3 mAP par rapport aux résultats précédents (AlphaPose à 56,9 mAP).
  • ViTPose-S offre le meilleur compromis précision/vitesse pour l'embarqué.
• Latence et Temps Réel :
  • Latence totale d'inférence (détection + pose) d'environ 20 ms (13 ms pour la détection + 6,54 ms pour la pose) sur un Jetson Orin AGX.
  • Cela permet une fréquence de traitement supérieure à 25 FPS, laissant une marge pour des tâches en aval (suivi, reconnaissance de gestes).

5. Signification et Limites

• Signification : FlyPose comble un vide important dans la littérature en fournissant une solution complète (données, modèle, déploiement) pour la perception humaine sur les drones. Il démontre qu'il est possible d'obtenir une estimation de pose précise et robuste sur des objets petits et occlus, directement à bord d'un drone, ouvrant la voie à des interactions humain-drone basées sur les gestes et à une meilleure sécurité opérationnelle.
• Limites et Observations :
  • Les points clés du visage (nez, yeux) restent difficiles à localiser en raison des occlusions et de la faible résolution.
  • Les performances baissent légèrement sur les images thermiques par rapport aux images RGB, en raison du manque d'informations de couleur et de contraste.
  • Les modèles peuvent avoir du mal avec les personnes fortement camouflées ou les groupes très denses où plusieurs personnes sont proches.
  • La détection d'objets très petits (taille "tiny") reste un défi, bien que le modèle soit optimisé pour les tailles moyennes à grandes nécessaires à une pose stable.

En conclusion, ce travail établit une nouvelle référence pour l'estimation de pose humaine sur UAV, prouvant la viabilité de l'IA embarquée pour des applications critiques en temps réel.