FlyPose: Towards Robust Human Pose Estimation From Aerial Views

Dit paper introduceert FlyPose, een lichtgewicht en robuust systeem voor het schatten van menselijke houdingen vanuit drone-beelden dat aanzienlijke prestatieverbeteringen boekt, real-time presteert op een Jetson Orin AGX en wordt aangevuld met een nieuw, uitdagend dataset genaamd FlyPose-104.

De kern

FlyPose: De Slimme Drone die Mensen van Boven Kan "Lezen"

Stel je voor dat je een drone hebt die niet alleen kan vliegen, maar ook echt kan zien en begrijpen wat mensen doen. Niet vanuit ooghoogte, zoals wij dat doen, maar vanuit de lucht, recht van bovenaf. Dat is precies wat het team van de Universiteit der Bundeswehr in München heeft ontwikkeld met FlyPose.

Hier is hoe het werkt, vertaald naar een simpel verhaal:

1. Het Grote Probleem: Kijken door een "Kleurenpotlood"

Normaal gesproken kijken we naar mensen van voren of van opzij. Je ziet hun gezicht, hun armen en hoe ze lopen. Maar een drone kijkt van bovenaf.

• De Analogie: Denk aan het kijken naar een bord met spaghetti. Van bovenaf zie je alleen een wirwar van noedels. Je ziet de vork niet, je ziet niet wie er eet, en je kunt de poten van de stoel niet goed onderscheiden.
• Het probleem: Voor een computer is dit nog erger. Mensen lijken van bovenaf heel klein (als een stipje), hun ledematen lijken korter door de hoek, en ze worden vaak bedekt door hun eigen lichaam of andere objecten. Bestaande software, die getraind is om mensen van voren te zien, raakt hierdoor volledig in de war. Het is alsof je probeert een boek te lezen terwijl je er met je hoofd op ligt: de letters staan op hun kop en zijn onleesbaar.

2. De Oplossing: FlyPose (De Slimme Drone-bril)

De onderzoekers hebben FlyPose gebouwd. Dit is een slimme software die speciaal is getraind om mensen van bovenaf te herkennen. Je kunt het zien als een speciale bril die de drone opzet.

• Stap 1: De Zoeker (Detectie)
  De drone kijkt eerst naar de hele foto en zegt: "Aha, daar is een mens!" Het is als een jager die in het bos een beweging ziet en denkt: "Dat is een hert, niet een boomstam." De software is getraind met duizenden foto's van verschillende plekken (steden, zee, sneeuw, zelfs 's nachts met warmtecamera's) om zeker te weten dat het echt een mens is, hoe klein ze ook zijn.
• Stap 2: De Analyse (Positie)
  Zodra de drone een mens heeft gevonden, zoomt hij in. Dan kijkt de software naar de "skeletpunten" (schouders, ellebogen, knieën). Omdat de mens van bovenaf wordt bekeken, is dit lastig. De software moet raden: "Is dat een arm die omhoog gaat, of is het een been dat vooruit stapt?"
  FlyPose is zo getraind dat hij deze raadsels oplost, zelfs als de persoon zijn eigen benen bedekt of als de foto wazig is.

3. Waarom is dit zo speciaal? (De "Lichtgewicht" Factor)

Je kunt niet zomaar een supercomputer op een drone plakken. Drones hebben weinig batterij en kunnen niet veel gewicht dragen.

• De Analogie: Stel je voor dat je een Formule 1-motor wilt inbouwen in een fiets. Dat werkt niet; de fiets breekt en de batterij is leeg na 5 minuten.
• De oplossing: FlyPose is ontworpen als een elektrische fiets-motor. Het is licht, snel en zuinig. Het kan op een kleine computer (een Jetson Orin) werken die precies op de drone past. Het rekent in ongeveer 20 milliseconden (dat is sneller dan je kunt knipperen!).

4. Wat kunnen ze er mee doen?

Omdat de drone nu echt begrijpt wat mensen doen, kan hij slimme dingen doen:

• Reddingsoperaties: Als iemand in de sneeuw zit, kan de drone zien of die persoon zwaait om hulp te vragen.
• Pakketjes bezorgen: De drone kan zien of iemand klaar staat om een pakketje in ontvangst te nemen, of juist niet.
• Verkeersbeheer: De drone kan zien of mensen gevaarlijk lopen of of er een file ontstaat.

5. De Nieuwe "Oefenboeken": FlyPose-104

De onderzoekers merkten dat er te weinig oefenmateriaal was voor dit soort "boven-aanzicht" foto's. Daarom hebben ze zelf een nieuwe set foto's gemaakt, genaamd FlyPose-104.

• De Analogie: Het is alsof je een nieuwe taal wilt leren, maar er zijn geen woordenboeken. Dus hebben ze zelf een woordenboek geschreven met moeilijke zinnen (mensen in de sneeuw, mensen die elkaar omhelzen, mensen op het water) om de computer te trainen.

Conclusie

Met FlyPose hebben de onderzoekers een drone gemaakt die niet alleen vliegt, maar ook sociaal is. Hij kan mensen van bovenaf zien, hun bewegingen begrijpen en daarop reageren, allemaal terwijl hij vliegt met een batterij die net groot genoeg is. Het is een grote stap naar drones die veilig en slim kunnen samenwerken met mensen in onze drukke wereld.

Technische samenvatting

Probleemstelling

Onbemande luchtvaartuigen (UAV's) worden steeds vaker ingezet in menselijke omgevingen voor toepassingen zoals pakketbezorging, verkeersmonitoring en reddingsoperaties. Voor veilige interactie is het essentieel dat drones mensen nauwkeurig kunnen waarnemen en hun houding (pose) en acties kunnen begrijpen.

Bestaande methoden voor menselijke pose-schatting (Human Pose Estimation - HPE) falen echter vaak in luchtfoto's vanwege drie hoofduitdagingen:

1. Steep viewing angles: De camera kijkt vaak loodrecht naar beneden (tot 90 graden), wat leidt tot vervormde lichaamsverhoudingen en zelfocclusie (bijv. benen of gezicht worden door het lichaam zelf afgeschermd).
2. Laag resolutie: Om obstakels te vermijden vliegen drones op grotere hoogtes, waardoor mensen slechts enkele pixels groot zijn in de afbeelding.
3. Beperkte rekenkracht: UAV's hebben strikte gewichts- en energiebeperkingen, waardoor complexe, zware modellen niet aan boord kunnen worden uitgevoerd. Er is behoefte aan een lichtgewicht, real-time model dat robuust is tegen deze specifieke condities.

Methodologie

De auteurs introduceren FlyPose, een "top-down" HPE-pipeline die specifiek is ontworpen voor drone-toepassingen. Het systeem bestaat uit twee fasen:

1. Person Detection: Een lichtgewicht objectdetector die mensen in het beeld lokaliseert.
2. Pose Estimation: Een module die 2D-sleutelpunten (keypoints) schat binnen de gedetecteerde gebieden.

Technische Keuzes:

• Detector: Er is gekozen voor RT-DETRv2-S met een ResNet-18 backbone. Hoewel transformer-based backbones populair zijn, bleek ResNet-18 efficiënter voor de beperkte rekenkracht en presteerde het goed op kleine objecten in luchtfoto's.
• Pose Estimator: ViTPose-S (een Vision Transformer-gebaseerd model) werd gekozen als de meest geschikte architectuur vanwege de balans tussen nauwkeurigheid en snelheid.
• Training Strategie:
  • Multi-dataset training: Het model is getraind op een combinatie van negen datasets (waaronder VisDrone, Manipal-UAV, HIT-UAV en een nieuwe dataset), inclusief zowel RGB- als thermische beelden. Dit verbetert de generalisatie over verschillende omgevingen en hoogtes.
  • Data Augmentatie: Specifieke augmentaties, zoals het verkleinen van patches (downscaling), werden toegepast om de lage resolutie en kleine menselijke figuren in luchtfoto's te simuleren.
  • Verliesfuncties: Voor de detector werd de Normalized Wasserstein Distance Loss (NWDL) gebruikt om de training te stabiliseren voor kleine objecten.
• Hardware: Het systeem is geoptimaliseerd voor de NVIDIA Jetson Orin AGX (32 GB RAM) en draait via TensorRT (FP32) voor minimale latentie.

Key Contributions

1. FlyPose Pipeline: Een volledig werkend, lichtgewicht systeem voor real-time menselijke pose-schatting vanuit luchtperspectief, geïmplementeerd op een embedded systeem.
2. FlyPose-104 Dataset: De publicatie van een nieuwe, uitdagende dataset met 104 handmatig geannoteerde luchtfoto's. Deze dataset bevat moeilijke situaties zoals sterke zelfocclusie, diverse achtergronden (sneeuw, water, asfalt) en verschillende hoogtes (5-50 meter).
3. Real Flight Validatie: Het systeem is daadwerkelijk gedemonstreerd tijdens vluchtexperimenten op een commerciële quadrotor, waarbij het in staat was om in real-time de houding van mensen te detecteren en te voorspellen.

Resultaten

De prestaties zijn gemeten op meerdere testsets en vergeleken met state-of-the-art modellen:

• Person Detection:
  • Door multi-dataset training werd er een gemiddelde verbetering van 6,8 mAP (mean Average Precision) bereikt in de detectie van personen op de testsets van Manipal-UAV, VisDrone, HIT-UAV en de eigen dataset.
  • Het model behoudt goede prestaties op de COCO-validatieset, wat aantoont dat de generalisatie naar frontale hoeken behouden blijft.
• Pose Estimation:
  • Op de uitdagende UAV-Human dataset werd een verbetering van 16,3 mAP behaald ten opzichte van eerdere resultaten (van AlphaPose).
  • ViTPose-S bereikte 65,76 mAP (gefinetuned) op de UAV-Human dataset.
• Snelheid en Latentie:
  • De totale inferentie-tijd (detectie + pose schatting) op de Jetson Orin AGX bedraagt ongeveer 19,54 ms voor één afbeelding (zonder pre/post-processing).
  • Dit komt overeen met een frame-rate van ongeveer 50 fps, wat ruim voldoende is voor real-time toepassingen (vereiste is vaak >25 fps).
  • De totale systeem-latentie (inclusief camera-RTSP initialisatie en preprocessing) ligt rond de 20-30 ms per frame, wat ruimte laat voor downstream taken zoals tracking of gebarenherkenning.

Betekenis en Conclusie

FlyPose vormt een belangrijke stap in de ontwikkeling van intelligente drones die veilig kunnen opereren in menselijke omgevingen. Het paper toont aan dat het mogelijk is om robuuste pose-schatting uit te voeren op beperkte hardware, ondanks de uitdagingen van luchtperspectieven (occlusie, schaalvariatie).

De belangrijkste implicaties zijn:

• Toepasbaarheid: Het systeem maakt geavanceerde interacties mogelijk, zoals gebarenbesturing van drones of het detecteren van noodsignalen tijdens reddingsoperaties.
• Dataset Tekort: De publicatie van FlyPose-104 helpt het tekort aan hoogwaardige, geannoteerde luchtpose-datasets te verhelpen, wat essentieel is voor toekomstig onderzoek.
• Praktische Validatie: In tegenstelling tot veel academische werken die alleen op offline data testen, heeft FlyPose zijn haalbaarheid bewezen in echte vluchtexperimenten.

Hoewel er nog uitdagingen blijven (zoals het lokaliseren van gezichtskenmerken bij zeer lage resolutie of het onderscheiden van mensen in dichte menigten), biedt FlyPose een solide basis voor toekomstige, contextbewuste UAV-toepassingen.