AerialMetric: Benchmarking and Adapting UAV Monocular Metric Depth Estimation in the Real World

Technische Samenvatting: AerialMetric

Probleemstelling

Hoewel datagestuurde monoculaire metrische diepte-inschatting aanzienlijke vooruitgang heeft geboekt in scenario's op grondniveau (straatbeeld en interieurs), vertonen deze modellen een significante domeingap wanneer ze worden toegepast op beelden van Unmanned Aerial Vehicles (UAV's). State-of-the-art modellen, die primair zijn getraind op terrestrische datasets, slagen er niet in te generaliseren naar luchtperspectieven vanwege drastisch verschillende kijkgeometrieën, vogelvluchtperspectieven en hoogtevariaties. Momenteel ontbreekt het het vakgebied aan een real-world, diverse en gecontroleerde dataset voor luchtvaart met betrouwbare metrische grondwaarheid. Deze afwezigheid belemmert effectieve modeladaptatie, voorkomt het betrouwbaar leren van de absolute scène-schaal in luchtvaartcontexten, en maakt systematische evaluatie van bestaande methoden onder diverse UAV-beeldvormingscondities moeilijk. Bijgevolg loopt de metrische diepte-inschatting vanuit de lucht aanzienlijk achter op die van het grondniveau.

Methodologie

Om deze uitdagingen aan te pakken, introduceren de auteurs AerialMetric, een grootschalige benchmark-dataset die specifiek is ontworpen voor monoculaire metrische diepte-inschatting in luchtvaartscenario's. De dataset wordt geconstrueerd via een hybride pipeline bestaande uit vier complementaire subsets:

1. AerialMetric-Oblique: Samengesteld uit zes publiekelijk beschikbare stedelijke fotogrammetrie-datasets (bijv. UrbanBIS, GauU-SceneV2). Het aggregeert meer dan 47K beeld-diepte paren uit 25 sub-datasets die City, Rural en Natural scènes dekken. De grondwaarheid is afgeleid via actieve LiDAR-projectie (met mitigatie van ray penetration artefacten) en passieve fotogrammetrie mesh-rasterisatie.
2. AerialMetric-Decoupled: Een strikt gecontroleerde benchmark verzameld met een RTK-uitgeruste DJI Matrice 300 UAV. Het maakt gebruik van orthogonale bemonstering om de effecten van vier kernvariabelen te ontkoppelen: Pitch-hoek (nadir tot obliek), Relatieve Hoogte (80m en 120m), Field of View (FOV), en Scène-typen (Gebouw, Gazon, Landbouwgrond, Fabriek). Deze subset bevat ~4.600 beeld-diepte paren, uitsluitend ontworpen voor testen om de impact van specifieke beeldvormingsconfiguraties te evalueren.
3. AerialMetric-Synthetic: Een trainingsaugmentatieset die 16K fotorealistische beeld-diepte paren bevat, gegenereerd met Google Earth Studio en Unreal Engine (met AirSim en Cesium). Deze subset dekt long-tail scenario's, extreme gezichtspunten en complexe lichtomstandigheden die moeilijk in de echte wereld vast te leggen zijn, waarbij gecontroleerde multi-angle views worden geboden.
4. AerialMetric-Wild: Een collectie van 100 high-fidelity sequenties uit ongelabelde internet drone-video's. Om de monoculaire schaalambiguïteit op te lossen, gebruiken de auteurs een human-in-the-loop schaalherstel-framework. Dit houdt het gebruik in van multi-view relatieve diepte-inschatting (COLMAP + Depth Anything 3) gevolgd door metrische schaalcalibratie met behulp van door mensen geannoteerde landmark-paren en geografische tools (Google Earth Pro).

Modeladaptatie en Evaluatie:
De auteurs voeren systematische evaluaties uit van state-of-the-art metrische diepte-modellen (inclusief ZoeDepth, DepthPro, UniDepth, MoGe2 en Metric3Dv2) op de AerialMetric benchmarks. Ze tonen aan dat zero-shot transfer van ground pretraining een slechte prestatie oplevert. Om een sterke baseline te vestigen, finetunen zij het representatieve model MoGe2 met behulp van Low-Rank Adaptation (LoRA) op een mix van AerialMetric-Oblique, AerialMetric-Synthetic en een klein deel van ground-domain data (Hypersim, MVS-Synth, TartanAir) om generalisatie te behouden.

Belangrijkste Bijdragen

1. AerialMetric Dataset: De introductie van een grootschalige, diverse luchtdiepte-metrische dataset bestaande uit vier complementaire subsets. Dit breidt de schaal, diversiteit en geometrische dekking van beschikbare luchtvaart-dieptegegevens aanzienlijk uit, en adresseert het tekort aan toegewijde real-world luchtvaartdatasets.
2. Uitgebreide Benchmark: De vestiging van een rigoureus evaluatieprotocol voor monoculaire luchtdiepte-metrische inschatting. Dit omvat systematische analyses van hoe kijkhoek, vlieghoogte en de camera field-of-view de voorspellingsnauwkeurigheid beïnvloeden, gebruikmakend van de variabele-ontkoppelde subset om deze factoren te isoleren.
3. State-of-the-Art Prestaties: Door representatieve modellen aan te passen op de AerialMetric dataset, bereiken de auteurs state-of-the-art prestaties in diverse UAV-gebruiksscenario's. Ze demonstreren dat de dataset de generalisatiecapaciteit van monoculaire metrische diepte-inschattingmethoden in luchtvaartomgevingen effectief verbetert.

Resultaten

• Domeingap: Zero-shot evaluatie onthult een ernstige domeingap. Zo behaalt de baseline MoGe2 op de AerialMetric-Oblique City subset zonder ground-truth intrinsics een $\delta_1$ nauwkeurigheid van slechts 5,1%, terwijl de gefinetunede MoGe2-Aerial 89,3% bereikt.
• Robuustheid tegen Parameters: Het gefinetunede model vertoont een hoge isotrope prestatie over variërende pitch-hoeken, hoogtes en FOV's. In contrast hiermee vertonen zero-shot foundation modellen catastrofale fouten bij specifieke hoeken (bijv. strikt nadir of oblieke views) en lijden ze onder een drastische daling in nauwkeurigheid wanneer de hoogte toeneemt (bijv. van 80m naar 120m).
• Generalisatie: Het aangepaste model behoudt concurrerende prestaties op ground-domain benchmarks (NYUv2, KITTI, ETH3D, etc.), wat aangeeft dat de luchtvaart-adaptatie niet leidt tot catastrofale vergetelheid van terrestrische capaciteiten.
• Wild Evaluatie: Op de uitdagende AerialMetric-Wild dataset vermindert het aangepaste model de AbsRel error van 55,26 naar 21,34 en verbetert de $\delta_1$ van 9,5 naar 53,7 vergeleken met de zero-shot baseline.

Betekenis

Het artikel stelt dat AerialMetric de kritieke kloof tussen grondniveau en luchtvaart-diepte-inschatting overbrugt. Door een gestandaardiseerde benchmark te bieden met betrouwbare metrische grondwaarheid en een gecontroleerde variabele-ontkoppelde subset, stelt dit werk de gemeenschap in staat om de luchtvaartperceptie systematisch te beoordelen en te verbeteren. De resultaten laten zien dat hoewel bestaande modellen moeite hebben met luchtvaartperspectieven, gerichte adaptatie met behulp van hoogwaardige luchtvaartdata kan leiden tot robuuste, metrische-schaal diepte-inschatting die geschikt is voor real-world UAV-toepassingen zoals infrastructuurinspectie, milieumonitoring en autonome levering. De auteurs positioneren dit werk als een fundamentele stap naar betrouwbare 3D-perceptie voor autonome luchtvaartrobotica.