FlyPose: Towards Robust Human Pose Estimation From Aerial Views

Die Arbeit stellt FlyPose vor, eine leichte Top-Down-Pipeline zur robusten menschlichen Pose-Schätzung aus Luftaufnahmen, die durch Multi-Dataset-Training die Genauigkeit signifikant verbessert, auf einem Jetson Orin AGX in Echtzeit läuft und mit dem neuen FlyPose-104-Dataset ergänzt wird.

Das Wesentliche

FlyPose: Wie eine Drohne lernt, Menschen aus der Vogelperspektive zu „sehen"

Stell dir vor, du bist eine Drohne, die hoch über einer belebten Stadt fliegt. Deine Aufgabe ist es, Pakete zu liefern, den Verkehr zu beobachten oder bei Katastrophen zu helfen. Aber es gibt ein Problem: Von oben sieht die Welt ganz anders aus als von der Straße. Menschen wirken winzig, ihre Arme und Beine sind oft verdeckt (weil sie sich selbst verdecken) und die Bilder sind manchmal unscharf.

Das ist wie der Versuch, ein Puzzle zu lösen, bei dem die Teile extrem klein sind und das Licht schlecht ist. Die meisten Computer-Programme, die Menschen erkennen sollen, sind dafür trainiert, Menschen von vorne oder von der Seite zu sehen – so, wie wir sie auf der Straße sehen. Wenn man sie plötzlich von oben betrachtet, sind sie völlig verwirrt.

Hier kommt FlyPose ins Spiel. Es ist ein neues, schlaueres „Gehirn" für Drohnen, das genau für diese schwierige Aufgabe entwickelt wurde.

1. Das Problem: Der „Klecks auf dem Teller"

Wenn eine Drohne aus großer Höhe auf einen Menschen schaut, sieht dieser aus wie ein kleiner Klecks auf einem riesigen Teller.

• Das Problem: Die Drohne muss wissen, wo Kopf, Hände und Füße sind, um zu verstehen, ob die Person winkt, rennt oder Hilfe braucht.
• Die Herausforderung: Aus der Vogelperspektive sind die Beine oft vom Körper verdeckt, der Kopf ist nur ein kleiner Punkt, und die Auflösung ist gering. Zudem muss die Drohne diese Berechnungen in Millisekunden erledigen, während sie fliegt – sie hat keinen riesigen Supercomputer an Bord, sondern nur einen kleinen, stromsparenden Prozessor.

2. Die Lösung: Ein zweistufiger Detektiv

FlyPose funktioniert wie ein sehr effizientes Detektiv-Team mit zwei Schritten:

• Schritt 1: Der Sucher (Personenerkennung)
  Zuerst scannt ein kleines, schnelles Programm das ganze Bild. Es sucht nicht nach Details, sondern nur nach „Da ist jemand!". Es zeichnet einen roten Kasten um die Person.

  • Die Analogie: Stell dir vor, du suchst in einem riesigen Wald nach einem einzelnen Wanderer. Du siehst nicht sofort, was er trägt, aber du weißt: „Da ist ein Mensch." Das Programm wurde mit Bildern aus vielen verschiedenen Quellen trainiert (Stadt, Wüste, sogar Wärmebilder für die Nacht), damit es jeden Menschen erkennt, egal wo er ist.

• Schritt 2: Der Analytiker (Körperhaltung)
  Sobald der Kasten gefunden ist, schneidet das Programm diesen kleinen Ausschnitt aus und schaut sich die Person ganz genau an. Hier wird berechnet, wo genau die Gelenke sitzen.

  • Die Analogie: Jetzt nimmst du den Wanderer aus dem Wald, legst ihn auf einen Tisch und zeichnest ein Skelett über ihn. Das Programm lernt, dass ein Arm, der nach oben zeigt, auch aus der Vogelperspektive noch ein Arm ist, auch wenn er kurz aussieht.

3. Der besondere Trick: Lernen aus der ganzen Welt

Normalerweise trainieren KI-Modelle nur mit Bildern von Menschen, die frontal stehen. FlyPose wurde jedoch mit einem riesigen Mix aus Bildern gefüttert:

• Bilder von Drohnen über Städten.
• Bilder aus der Wüste und dem Meer.
• Sogar Wärmebilder (damit die Drohne auch nachts Menschen findet).
• Und ein ganz neues, schwieriges Test-Set namens FlyPose-104, das die Forscher selbst erstellt haben, um die härtesten Fälle abzudecken (z. B. Menschen, die im Schnee liegen oder sich selbst verdecken).

Durch dieses „Vielfalt-Training" ist das Modell viel robuster. Es hat gelernt, dass ein Mensch auch dann ein Mensch ist, wenn er nur 10 Pixel groß ist oder wenn er im Schatten steht.

4. Geschwindigkeit: Schneller als ein Blinzeln

Das Schönste an FlyPose ist, dass es nicht nur clever, sondern auch super schnell ist.

• Die Berechnung dauert nur etwa 20 Millisekunden. Das ist weniger als ein Augenblinzeln.
• Es läuft auf einem kleinen Computer (dem „Jetson Orin"), der direkt auf der Drohne sitzt.
• Die Analogie: Stell dir vor, du würdest ein Puzzle lösen, während du auf einem Karussell sitzt. FlyPose schafft das so schnell, dass die Drohne sofort reagieren kann – zum Beispiel, wenn jemand mit der Hand winkt, um Hilfe zu rufen.

5. Warum ist das wichtig?

In Zukunft werden Drohnen immer häufiger in unserer Nähe sein. Sie sollen Pakete bringen, bei Bränden helfen oder den Verkehr überwachen. Damit sie sicher mit Menschen interagieren können, müssen sie deren Gesten und Bewegungen verstehen.

• Wenn eine Person mit dem Finger auf ein Hindernis zeigt, muss die Drohne das erkennen.
• Wenn jemand Hilfe braucht, muss die Drohne wissen, dass es sich um einen Menschen handelt und nicht nur um einen Stein.

Zusammenfassend:
FlyPose ist wie ein neuer, sehr aufmerksamer Pilot-Assistent. Er trainiert seine Augen, um Menschen auch aus der ferne, schrägen und kleinen Perspektive zu erkennen, und tut dies so schnell, dass die Drohne in Echtzeit reagieren kann. Es ist ein wichtiger Schritt, damit Drohnen sicher und intelligent in unserer menschlichen Welt agieren können.

Technische Zusammenfassung

1. Problemstellung

Der Einsatz von unbemannten Luftfahrzeugen (UAVs/Drohnen) in der Nähe von Menschen (z. B. für Paketlieferungen, Verkehrsüberwachung oder Katastrophenschutz) erfordert eine zuverlässige Wahrnehmung menschlicher Posen und Handlungen aus der Luft. Herkömmliche Methoden der menschlichen Pose-Schätzung (Human Pose Estimation, HPE) stoßen hierbei an ihre Grenzen, da sie meist für Bodenaufnahmen (Frontal- oder Seitenansichten) trainiert wurden.

Die Herausforderungen aus der Luftperspektive sind spezifisch:

• Steile Blickwinkel: Bis zu 90 Grad (Top-Down), was zu starken Verzerrungen der Körperproportionen führt.
• Selbstverdeckung (Self-Occlusion): Gliedmaßen, Gesichter und Beine werden oft verdeckt oder sind aus dieser Perspektive kaum sichtbar.
• Niedrige Auflösung: Um Hindernissen auszuweichen, fliegen Drohnen in größeren Höhen, wodurch Personen nur wenige Pixel im Bild einnehmen (Tiny Objects).
• Ressourcenbeschränkungen: UAVs haben strenge Gewichts- und Energiebeschränkungen, was den Einsatz rechenintensiver Modelle an Bord (Edge Computing) limitiert.

2. Methodik

Die Autoren stellen FlyPose vor, eine leichte, „Top-Down"-Pipeline zur menschlichen Pose-Schätzung, die speziell für den Einsatz auf Edge-Geräten in UAVs entwickelt wurde. Der Ansatz besteht aus zwei separaten, aber gekoppelten Modulen:

A. Personendetektion (Person Detector)

• Architektur: Es wird RT-DETRv2-S (Real-Time Detection Transformer) verwendet.
• Backbone: Anstelle von komplexeren Transformern wird ein effizienter ResNet-18 Backbone gewählt, da dieser auf begrenzter Hardware besser performt als größere Transformer-Backbones für kleine Objekte.
• Training: Das Modell wird auf neun verschiedenen Datensätzen trainiert, darunter VisDrone, Manipal-UAV, HIT-UAV (thermische Bilder) und ein neuer Datensatz.
• Besonderheit: Um die Lokalisierung kleiner Objekte zu verbessern, wird die Normalized Wasserstein Distance Loss (NWDL) anstelle der üblichen IoU-Loss-Funktion eingesetzt. Zudem werden RGB- und thermische Bilder gemeinsam trainiert, um die Robustheit bei Nacht- oder Such-und-Rettungs-Einsätzen zu erhöhen.

B. Pose-Schätzung (Pose Estimation)

• Architektur: Es wird ViTPose-S (Vision Transformer based Pose Estimation) verwendet, ein leichtgewichtiges Modell im Vergleich zu den riesigen ViTPose-H-Varianten.
• Strategie: Nach der Detektion werden die erkannten Personenbereiche (Crops) extrahiert und in das Pose-Modell eingespeist.
• Augmentation: Während des Trainings wird eine gezielte Downscaling-Augmentation (5–20 %) angewendet, um die geringe Auflösung und Bewegungsunschärfe aus der Luft zu simulieren.
• Ziel: Vorhersage von 17 COCO-Schlüsselpunkten (Keypoints) mittels Heatmaps.

C. Hardware-Integration

Das System wurde auf einem NVIDIA Jetson Orin AGX Developer Kit (32 GB RAM) implementiert. Die Modelle wurden in TensorRT FP32-Engines konvertiert, um die Inferenzlatenz zu minimieren.

3. Wichtige Beiträge

1. FlyPose-Pipeline: Entwicklung einer leichten, top-down HPE-Pipeline, die durch Multi-Dataset-Training robust gegenüber Top-Down-Ansichten und kleinen Skalen ist.
2. FlyPose-104 Datensatz: Veröffentlichung eines neuen, herausfordernden Testdatensatzes mit 104 Bildern und manuellen Annotationen. Dieser deckt schwierige Szenarien ab (Schnee, Wasser, Beton, starke Selbstverdeckung, verschiedene Höhen 5–50m).
3. Echtzeit-Deployment: Vollständige Integration und Validierung des Systems im echten Flugbetrieb auf einer kommerziellen Quadrotor-Drohne.
4. Benchmarking: Umfassende Evaluierung bestehender State-of-the-Art-Modelle (wie ViTPose, RTMPose, AlphaPose) auf UAV-Daten, um die Lücke zwischen Boden- und Luftbild-Performance aufzuzeigen.

4. Ergebnisse

Die Experimente zeigen signifikante Verbesserungen gegenüber bestehenden Methoden:

• Personendetektion:
  • Durch Multi-Dataset-Training und NWDL-Loss wurde die durchschnittliche mAP (mean Average Precision) über alle Testsets (VisDrone, Manipal-UAV, HIT-UAV, FlyPose-104) um 6,8 mAP verbessert.
  • Das Modell generalisiert robust über verschiedene Umgebungen und Modalitäten (RGB/Thermal).
• Pose-Schätzung:
  • Auf dem anspruchsvollen UAV-Human-Datensatz erreichte das feinabgestimmte ViTPose-S-Modell eine Verbesserung von 16,3 mAP gegenüber dem vorherigen State-of-the-Art (AlphaPose mit 56,9 mAP vs. FlyPose mit ~73,2 mAP).
  • Das Modell ist besonders effektiv bei der Schätzung von verdeckten Gelenken und bei niedrigen Auflösungen.
• Performance & Latenz:
  • Die gesamte Pipeline (Detektion + Pose) läuft auf dem Jetson Orin AGX mit einer Inferenzlatenz von ca. 20 ms (13 ms Detektion + 6,5 ms Pose) pro Bild.
  • Dies ermöglicht eine Echtzeit-Leistung von >25 FPS, was ausreichend ist für nachgelagerte Aufgaben wie Gestenerkennung oder Tracking.
• Flugexperimente: Das System wurde erfolgreich im Flug getestet, wobei es in der Lage war, menschliche Gesten (z. B. Zeigen) zur Steuerung von Frachtmanövern zu interpretieren.

5. Bedeutung und Fazit

FlyPose adressiert eine kritische Lücke in der UAV-Technologie: Die Fähigkeit, menschliches Verhalten und Absichten in Echtzeit und unter strengen Ressourcenbeschränkungen aus der Luft zu verstehen.

• Praktische Relevanz: Die Lösung ermöglicht sichere Interaktionen in menschenbevölkerten Räumen (z. B. Lieferdrohnen, die auf Gesten reagieren, oder Rettungsdrohnen, die Opfer lokalisieren).
• Robustheit: Durch die Kombination aus Multi-Dataset-Training und speziellen Augmentationen ist das Modell deutlich robuster gegenüber den typischen Problemen der Luftbildanalyse (Verdeckung, Skalierung) als herkömmliche Modelle.
• Zukunftsausblick: Die Arbeit unterstreicht, dass für den breiten Einsatz von Drohnen in städtischen Umgebungen spezialisierte, leichte Modelle notwendig sind, die nicht nur auf Bodenbildern trainiert wurden. Der veröffentlichte FlyPose-104-Datensatz dient zudem als wichtiges Benchmark-Tool für die zukünftige Forschung in diesem Bereich.

Zusammenfassend demonstriert FlyPose, dass eine zuverlässige, Echtzeit-fähige menschliche Pose-Schätzung aus der Luft möglich ist, wenn die Modelle gezielt auf die spezifischen geometrischen und ressourcenbedingten Herausforderungen der UAV-Umgebung zugeschnitten werden.