💻 computer science

AerialMetric: Benchmarking and Adapting UAV Monocular Metric Depth Estimation in the Real World

Dieses Paper führt AerialMetric ein, einen umfassenden Benchmark-Datensatz bestehend aus 68.000 realen und synthetischen Bild-Tiefen-Paaren mit metrischem Grundwahrheitswert, um die Domänenlücke bei der monokularen metrischen Tiefenschätzung für UAVs durch die systematische Evaluierung bestehender Modelle und die Etablierung von State-of-the-Art-Leistung durch Feinabstimmung zu adressieren.

Ursprüngliche Autoren: Zhongqiang Song, Guanying Chen, Yuqi Zhang, Yin Zou, Chuanyu Fu, Zhiyuan Yuan, Chuan Huang, Shuguang Cui, Xiaochun Cao

Veröffentlicht 2026-06-30

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zhongqiang Song, Guanying Chen, Yuqi Zhang, Yin Zou, Chuanyu Fu, Zhiyuan Yuan, Chuan Huang, Shuguang Cui, Xiaochun Cao

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben eine sehr intelligente Roboter-Kamera, die ihr ganzes Leben lang am Boden verbracht hat. Sie hat gelernt, Entfernungen zu schätzen, indem sie einfach nur Bilder von Straßen, Wohnzimmern und Wäldern betrachtet hat. Sie ist darin ein Profi. Aber nun schnallt man diese Kamera auf eine Drohne, die hoch über der Welt fliegt. Plötzlich ist der Roboter verwirrt. Er sieht die Welt aus einer „Vogelperspektive“, die er noch nie erlebt hat. Seine Schätzungen über die Entfernung werden völlig ungenau.

Dieses Paper mit dem Titel „AerialMetric“ handelt davon, diese Verwirrung zu beheben. Die Autoren haben eine neue „Schule“ (einen Datensatz) entwickelt, die speziell darauf ausgelegt ist, diese Kamera-Gehirne zu lehren, wie man aus der Luft Entfernungen misst.

Hier ist eine Aufschlüsselung dessen, was sie getan haben, unter Verwendung einfacher Analogien:

1. Das Problem: Der „Boden-Bias“

Stellen Sie sich bestehende KI-Tiefenmodelle wie eine Person vor, die die Welt nur aus Augenhöhe gesehen hat. Sie weiß, dass ein Auto etwa 4 Meter entfernt ist, weil sie Autos aus der Nähe gesehen hat. Aber wenn man sie auf einen Berggipfel setzt und fragt: „Wie weit ist dieses Auto da unten entfernt?“, schätzt sie vielleicht 10 Meter oder 100 Meter. Sie ist verloren, weil der Winkel und die Skalierung völlig anders sind.

Das Paper stellte fest, dass bestehende „Boden-Modelle“ für die Tiefe völlig versagen, wenn man versucht, sie auf Drohnenaufnahmen anzuwenden. Es ist, als würde man versuchen, mit einem Plan eines U-Bahn-Systems ein Stadtbild von oben zu navigieren; die Perspektive stimmt einfach nicht.

2. Die Lösung: Der „AerialMetric“-Datensatz

Um dies zu beheben, hat das Team AerialMetric erstellt, eine riesige neue Trainingsbibliothek. Anstatt nur eine Art von Daten zu verwenden, haben sie es wie ein Vier-Gänge-Menü aufgebaut, um sicherzustellen, dass die KI eine ausgewogene Ausbildung erhält:

Das „Echte-Welt-Buffet“ (AerialMetric-Oblique): Sie nahmen tausende bestehende Fotos aus echten Städten und ländlichen Gebieten, in denen die Entfernungen bereits präzise gemessen wurden (mittels Lasern oder 3D-Mapping). Dies ist so, als würde man dem Schüler echte Hausaufgaben aus tatsächlichen Flügen geben.
Das „Labor“ (AerialMetric-Decoupled): Dies ist der einzigartigste Teil. Sie ließen eine Drohne auf eine sehr kontrollierte Weise fliegen und änderten dabei immer nur eine Sache zur Zeit. Sie testeten:
- Verschiedene Höhen (80 m vs. 120 m).
- Verschiedene Winkel (direkt nach unten blickend vs. seitlich blickend).
- Verschiedene Objektive (Weitwinkel vs. Tele).
- Analogie: Stellen Sie sich vor, ein Koch probiert eine Suppe und ändert erst nur das Salz, dann nur den Pfeffer, um genau zu sehen, wie jede Zutat den Geschmack verändert. Dies hilft der KI zu verstehen, wie Höhe und Winkel die Entfernung beeinflussen.
Die „Virtual Reality“-Simulation (AerialMetric-Synthetic): Sie nutzten Computergrafiken (wie eine High-End-Videospiel-Engine), um künstliche Drohnenflüge zu erstellen. Dies ermöglicht es ihnen, tausende schwierige Szenarien (wie den Flug über eine Fabrik oder einen Park) zu kreieren, die in der Realität schwer oder gefährlich zu filmen wären.
Das „Wildcard“-Element (AerialMetric-Wild): Sie sammelten zufällige Drohnenvideos aus dem Internet. Diese sind chaotisch, unkontrolliert und repräsentieren die echte Welt, in der man keine perfekten Daten hat. Dies ist die „Abschlussprüfung“, um zu sehen, ob die KI mit Überraschungen umgehen kann.

3. Die Ergebnisse: Die KI zum Fliegen bringen

Die Autoren nahmen ein leistungsstarkes KI-Modell (genannt MoGe2) und „feinabstimmten“ es mit ihrem neuen AerialMetric-Datensatz.

Vor dem Training: Die KI war schlecht darin, Entfernungen aus der Luft zu schätzen. Es war wie ein Schüler, der eine Prüfung mit einer Punktzahl nahe Null besteht.
Nach dem Training: Die KI wurde zum Meister. Sie lernte, ihre Schätzungen basierend auf der Höhe der Drohne und dem Blickwinkel anzupassen.
- Die Analogie: Es ist, als würde man einen Fahrer, der nur flache Autobahnen kennt, beibringen, auf steilen Bergstraßen zu fahren. Nach dem Training kann er die Kurven und Höhenunterschiede bewältigen, ohne zu verunglücken.

4. Haben sie etwas kaputt gemacht? (Der „Boden-Test“)

Eine häufige Angst bei KI ist, dass ein Modell, wenn man ihm etwas Neues beibringt, vergessen könnte, was es bereits wusste. Die Autoren prüften dies. Sie testeten ihr neu trainiertes „Drohnen-Experten-Modell“ auf Bildern vom Boden (wie Straßenansichten).

Das Ergebnis: Die KI hat nicht vergessen, wie man sich am Boden bewegt. Sie wurde bei einigen Boden-Aufgaben sogar etwas besser, was beweist, dass das Lernen des Fliegens ihre Fähigkeit zu laufen nicht ruiniert hat.

Zusammenfassung

Kurz gesagt sagt das Paper: „Drohnenkameras sind derzeit schlecht darin, Entfernungen zu schätzen, weil sie mit Bodenfotos trainiert wurden. Wir haben einen neuen, riesigen und vielfältigen Datensatz speziell für den Himmel gebaut. Als wir unsere KI mit diesem neuen Satz trainierten, wurde sie zur Besten im Schätzen von Entfernungen aus Drohnen, und sie verlor nicht ihre Fähigkeit, am Boden zu arbeiten.“

Sie haben all ihre Daten, ihren Code und ihr trainiertes Modell zur Verfügung gestellt, um quasi den Rest der Welt an den „Schlüsseln zur Drohnen-Fahrschule“ zu übergeben.

Technisches Resümee: AerialMetric

Problemstellung

Während datengesteuerte monokulare metrische Tiefenschätzung in bodennahen Szenarien (Straßenansichten und Innenräume) bemerkenswerte Fortschritte erzielt hat, weisen diese Modelle eine signifikante Domänenlücke auf, wenn sie auf Drohnenaufnahmen (UAV-Imagery) angewendet werden. State-of-the-Art-Modelle, die primär auf terrestrischen Datensätzen trainiert wurden, können sich aufgrund drastisch unterschiedlicher Blickgeometrien, Vogelperspektiven und Höhenvariationen in der Luft nicht effektiv generalisieren. Derzeit fehlt es dem Fachgebiet an einem realen, diversen und variabel kontrollierten Luftfahrt-Datensatz mit zuverlässiger metrischer Grundwahrheit (Ground Truth). Dieses Fehlen behindert eine effektive Modelladaptation, verhindert das zuverlässige Erlernen der absoluten Szenenskala in Luftfahrtkontexten und erschwert eine systematische Evaluierung bestehender Methoden unter vielfältigen UAV-Bildbedingungen. Infolgedessen bleibt die metrische Tiefenschätzung aus der Luft wesentlich hinter ihrem bodennahen Gegenstück zurück.

Methodik

Um diese Herausforderungen anzugehen, führen die Autoren AerialMetric ein groß angelegtes Benchmark-Datensatz-Framework ein, das speziell für die monokulare metrische Tiefenschätzung in Luftfahrtszenarien entwickelt wurde. Der Datensatz wird durch eine hybride Pipeline konstruiert, die aus vier komplementären Teilmengen besteht:

AerialMetric-Oblique: Kuratiert aus sechs öffentlich verfügbaren urbanen Photogrammetrie-Datensätzen (z. B. UrbanBIS, GauU-SceneV2). Er aggregiert über 47K Bild-Tiefen-Paare aus 25 Sub-Datensätzen, die Stadt-, ländliche und natürliche Szenen abdecken. Die Grundwahrheit wird mittels aktiver LiDAR-Projektion (mit Mitigierung von Strahlpenetrationsartefakten) und passiver Rasterisierung von Photogrammetrie-Meshes abgeleitet.
AerialMetric-Decoupled: Ein streng kontrollierter Benchmark, der mit einer RTK- ausgestatteten DJI Matrice 300 UAV gesammelt wurde. Er verwendet orthogonale Stichproben, um die Auswirkungen von vier Kernvariablen zu entkoppeln: Neigungswinkel (Pitch Angle; von Nadir bis Oblique), relative Flughöhe (80 m und 120 m), Sichtfeld (FOV) und Szenentypen (Gebäude, Rasen, Ackerland, Fabrik). Diese Teilmenge enthält ca. 4.600 Bild-Tiefen-Paare, die exklusiv zum Testen konzipiert sind, um die Auswirkungen spezifischer Bildkonfigurationen zu evaluieren.
AerialMetric-Synthetic: Ein Trainings-Augmentationssatz, der 16K fotorealistische Bild-Tiefen-Paare enthält, die mit Google Earth Studio und Unreal Engine (mit AirSim und Cesium) generiert wurden. Diese Teilmenge deckt Long-Tail-Szenarien, extreme Blickwinkel und komplexe Lichtverhältnisse ab, die in der realen Welt schwer zu erfassen sind, und bietet kontrollierte Multi-Winkel-Ansichten.
AerialMetric-Wild: Eine Sammlung von 100 hochpräzisen Sequenzen aus unbeschrifteten Internet-Drohnenvideos. Um die monokulare Skalenambiguität zu lösen, verwenden die Autoren ein Human-in-the-Loop-Skalenrekonstruktions-Framework. Dies beinhaltet die Verwendung von Multi-View-relativer Tiefenschätzung (COLMAP + Depth Anything 3), gefolgt von einer metrischen Skalenkalibrierung mittels menschlich annotierter Landmarken-Paare und geografischer Werkzeuge (Google Earth Pro).

Modelladaptation und Evaluierung:
Die Autoren führen systematische Evaluierungen von State-of-the-Art-Modellen der metrischen Tiefenschätzung (einschließlich ZoeDepth, DepthPro, UniDepth, MoGe2 und Metric3Dv2) auf den AerialMetric-Benchmarks durch. Sie zeigen, dass der Zero-Shot-Transfer aus Boden-Pretraining eine schlechte Leistung liefert. Um eine starke Baseline zu etablieren, führen sie ein Fine-Tuning des repräsentativen Modells MoGe2 mittels Low-Rank Adaptation (LoRA) auf einer Mischung aus AerialMetric-Oblique, AerialMetric-Synthetic und einem kleinen Anteil an Boden-Domänen-Daten (Hypersim, MVS-Synth, TartanAir) durch, um die Generalisierung zu bewahren.

Kernbeiträge

AerialMetric Datensatz: Die Einführung eines groß angelegten, diversen metrischen Luftfahrt-Datensatzes, bestehend aus vier komplementären Teilmengen. Dies erweitert die Skalierbarkeit, Diversität und geometrische Abdeckung verfügbarer Luftfahrt-Tiefendaten erheblich und adresst den Mangel an dedizierten realen Luftfahrt-Datensätzen.
Umfassender Benchmark: Die Etablierung eines rigorosen Evaluierungsprotokolls für die monokulare metrische Luftfahrt-Tiefenschätzung. Dies beinhaltet systematische Analysen darüber, wie Blickwinkel, Flughöhe und das Sichtfeld der Kamera die Vorhersagegenauigkeit beeinflussen, unter Verwendung der variabel-entkoppelten Teilmenge zur Isolierung dieser Faktoren.
State-of-the-Art Performance: Durch die Adaptation repräsentativer Modelle auf dem AerialMetric-Datensatz erreichen die Autoren State-of-the-Art-Leistungen über diverse UAV-Einsatzszenarien hinweg. Sie demonstrieren, dass der Datensatz die Generalisierungsfähigkeit von monokularen metrischen Tiefenschätzungsverfahren in Luftfahrtumgebungen effektiv verbessert.

Ergebnisse

Domänenlücke: Die Zero-Shot-Evaluierung offenbart eine schwere Domänenlücke. Beispielsweise erreicht das Baseline-Modell MoGe2 auf dem AerialMetric-Oblique City-Subset ohne Ground-Truth-Intrinsics eine $\delta_1$ -Genauigkeit von nur 5,1 %, während das feinabgestimmte MoGe2-Aerial 89,3 % erreicht.
Robustheit gegenüber Parametern: Das feinabgestimmte Modell zeigt eine hohe isotrope Leistung über variierende Neigungswinkel, Höhen und FOVs hinweg. Im Gegensatz dazu zeigen Zero-Shot-Foundation-Modelle katastrophale Ausfälle bei spezifischen Winkeln (z. B. strikt Nadir- oder Oblique-Ansichten) und erleiden einen drastischen Genauigkeitsabfall bei zunehmender Höhe (z. B. von 80 m auf 120 m).
Generalisierung: Das adaptierte Modell behält kompetitive Leistungen auf Boden-Domänen-Benchmarks (NYUv2, KITTI, ETH3D, etc.) bei, was darauf hindeutet, dass die Luftfahrt-Adaption nicht zu einem katastrophalen Vergessen (Catastrophic Forgetting) terrestrischer Fähigkeiten führt.
Wild-Evaluierung: Auf dem anspruchsvollen AerialMetric-Wild-Datensatz reduziert das adaptierte Modell den AbsRel-Fehler von 55,26 auf 21,34 und verbessert $\delta_1$ von 9,5 auf 53,7 im Vergleich zur Zero-Shot-Baseline.

Bedeutung

Das Paper behauptet, dass AerialMetric die kritische Lücke zwischen bodennaher und Luftfahrt-Tiefenschätzung schließt. Durch Bereitstellung eines standardisierten Benchmarks mit zuverlässiger metrischer Ground Truth und einer kontrollierten, variabel-entkoppelten Teilmenge ermöglicht die Arbeit der Fachwelt, die Luftfahrt-Wahrnehmung systematisch zu bewerten und zu verbessern. Die Ergebnisse zeigen, dass, obwohl bestehende Modelle mit Luftfahrt-Perspektiven kämpfen, eine gezielte Adaptation unter Verwendung hochwertiger Luftfahrt-Daten eine robuste, metrische Tiefenschätzung ermöglichen kann, die für reale UAV-Anwendungen wie Infrastrukturinspektion, Umweltüberwachung und autonome Lieferungen geeignet ist. Die Autoren positionieren diese Arbeit als einen grundlegenden Schritt hin zu einer zuverlässigen 3D-Wahrnehmung für autonome Luftfahrt-Robotik.