💻 computer science

AerialMetric: Benchmarking and Adapting UAV Monocular Metric Depth Estimation in the Real World

Este artículo presenta AerialMetric, un conjunto de datos de referencia exhaustivo que comprende 68.000 pares de imagen-profundidad reales y sintéticos con verdad de terreno métrica, para abordar la brecha de dominio en la estimación de profundidad mét며ica monocular mediante UAV mediante la evaluación sistemática de los modelos existentes y el establecimiento del estado del arte a través del ajuste fino.

Autores originales: Zhongqiang Song, Guanying Chen, Yuqi Zhang, Yin Zou, Chuanyu Fu, Zhiyuan Yuan, Chuan Huang, Shuguang Cui, Xiaochun Cao

Publicado 2026-06-30

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Zhongqiang Song, Guanying Chen, Yuqi Zhang, Yin Zou, Chuanyu Fu, Zhiyuan Yuan, Chuan Huang, Shuguang Cui, Xiaochun Cao

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes una cámara robótica muy inteligente que ha pasado toda su vida caminando por el suelo. Ha aprendido a adivinar qué tan lejos están las cosas simplemente mirando fotos de calles, salas de estar y bosques. Es una profesional en esto. Pero ahora, atan esta cámara a un dron y la envían volando alto sobre el mundo. De repente, el robot está confundido. Ve el mundo desde una "vista de pájaro" que nunca ha experimentado antes. De repente, sus conjetos sobre la distancia se vuelven terriblemente inexactos.

Este artículo, titulado "AerialMetric", trata de solucionar esta confusión. Los autores construyeron una nueva "escuela" (un conjunto de datos) específicamente para enseñar a estos cerebros de cámara a juzgar la distancia mientras vuelan.

Aquí hay un desglose de lo que hicieron, usando analogías simples:

1. El Problema: El sesgo de "Nivel del Suelo"

Piensa en los modelos de profundidad de IA existentes como una persona que solo ha visto el mundo a la altura de los ojos. Saben que un coche está a unos 4 metros de distancia porque han visto coches de cerca. Pero si los pones en la cima de una montaña y les preguntas: "¿A qué distancia está ese coche allá abajo?", podrían adivinar que está a 10 metros o a 100 metros. Están perdidos porque el ángulo y la escala son totalmente diferentes.

El artículo encontró que cuando tomas los mejores modelos de profundidad de "nivel del suelo" e intentas usarlos en imágenes de drones, fallan estrepitosamente. Es como intentar usar un mapa de un sistema de metro para navegar por el horizonte de una ciudad; la perspectiva es simplemente errónea.

2. La Solución: El conjunto de datos "AerialMetric"

Para solucionar esto, el equipo creó AerialMetric, una nueva y masiva biblioteca de entrenamiento. En lugar de solo un tipo de datos, lo construyeron como un menú de cuatro tiempos para asegurar que la IA reciba una educación equilibrada:

El "Buffet del Mundo Real" (AerialMetric-Oblique): Tomaron miles de fotos existentes de ciudades reales y zonas rurales donde la distancia ya había sido medida con precisión (usando láseres o mapeo 3D). Esto es como darle al estudiante tareas reales de vuelos auténticos.
El "Laboratorio Científico" (AerialMetric-Decoupled): Esta es la parte más única. Volaron un dron de una manera muy controlada, cambiando solo una cosa a la vez. Probaron:
- Diferentes alturas (80 m frente a 120 m).
- Diferentes ángulos (mirando directamente hacia abajo frente a mirar hacia un lado).
- Diferentes lentes (gran angular frente a teleobjetivo).
- Analogía: Imagina a un chef probando una sopa y cambiando solo la sal, luego solo la pimienta, para ver exactamente cómo cada ingrediente cambia el sabor. Esto ayuda a la IA a entender exactamente cómo la altura y el ángulo afectan la distancia.
El "Simulador de Realidad Virtual" (AerialMetric-Synthetic): Utilizaron motores gráficos (como un motor de videojuegos de alta gama) para crear vuelos de drones falsos. Esto les permite crear miles de escenarios complicados (como volar sobre una fábrica o un parque) que podrían ser difíciles o peligrosos de filmar en la vida real.
El "Comodín" (AerialMetric-Wild): Tomaron videos de drones aleatorios de internet. Son desordenados, no controlados y representan el mundo real donde no tienes datos perfectos. Este es el "examen final" para ver si la IA puede manejar sorpresas.

3. Los Resultados: Enseñando a la IA a Volar

Los autores tomaron un modelo de IA de alto rendimiento (llamado MoGe2) y lo "ajustaron" (fine-tuned) utilizando su nuevo conjunto de datos AerialMetric.

Antes del Entrenamiento: La IA era terrible adivinando distancias desde el cielo. Era como un estudiante reprobando un examen con una puntuación cercana a cero.
Después del Entrenamiento: La IA se convirtió en una maestra. Aprendió a ajustar sus conjetos basándose en qué tan alto estaba el dron y qué ángulo estaba mirando.
- La Analogía: Es como tomar a un conductor que solo sabe conducir en autopistas planas y enseñarle a conducir en carreteras de montaña empinadas. Después del entrenamiento, puede manejar las curvas y los cambios de elevación sin estrellarse.

4. ¿Rompieron algo? (La prueba de "Suelo")

Un temor común en la IA es que, si le enseñas algo nuevo a un modelo, este podría olvidar lo que ya sabía. Los autores verificaron esto. Probaron a este nuevo "Experto en Drones" con imágenes de nivel del suelo (como vistas de calle).

El Resultado: La IA no olvidó cómo conducir en el suelo. De hecho, mejoró ligeramente en algunas tareas de superficie, demostando que aprender a volar no arruinó su capacidad para caminar.

Resumen

En resumen, el artículo dice: "Las cámaras de los drones son actualmente malas adivinando la distancia porque fueron entrenadas con fotos de tierra. Construimos un nuevo, enorme y diverso conjunto de entrenamiento específicamente para el cielo. Cuando enseñamos a nuestra IA con este nuevo conjunto, se convirtió en la mejor adivinando distancias desde drones, y no perdió su capacidad de trabajar en el suelo".

Han puesto todos sus datos, código y el modelo entrenado a disposición de los demás para que puedan usarlos, entregando esencialmente las llaves de la "Escuela de Conducción de Drones" al resto del mundo.

Resumen Técnico: AerialMetric

Planteamiento del Problema

Si bien la estimación de profundidad métrica monocular basada en datos ha logrado avances notables en escenarios a nivel del suelo (vistas de calle y entornos interiores), estos modelos exhiben una brecha de dominio significativa cuando se aplican a imágenes de Vehículos Aéreos No Tripulados (UAV). Los modelos de vanguardia entrenados principalmente en conjuntos de datos terrestres no logen generalizarse a las perspectivas aéreas debido a geometrías de visión, perspectivas de vista de pájaro y variaciones de altitud drásticamente diferentes. Actualmente, el campo carece de un conjunto de datos aéreo real, diverso y con variables controladas que posea una verdad de terreno métrica fiable. Esta ausencia dificulta la adaptación efectiva de los modelos, impide el aprendizaje fiable de la escala de escena absoluta en contextos aéreos y complica la evaluación sistemática de los métodos existentes bajo diversas condiciones de imagen de UAV. En consecuencia, la estimación de profundidad métrica aérea se encuentra sustancialmente rezagada respecto a su contraparte a nivel del suelo.

Metodología

Para abordar estos desafíos, los autores presentan AerialMetric, un benchmark de gran escala diseñado específicamente para la estimación de profundidad métrica monocular en escenarios aéreos. El conjunto de datos se construye mediante un pipeline híbrido que comprende cuatro subconjuntos complementarios:

AerialMetric-Oblique: Curado a partir de seis conjuntos de datos de fotogrametría de escala urbana disponibles públicamente (p. ej., UrbanBIS, GauU-SceneV2). Agrega más de 47K pares imagen-profundidad de 25 subconjuntos que cubren escenas de Ciudad, Rural y Natural. La verdad de terreno se deriva mediante la proyección de LiDAR activo (con mitigación de artefactos de penetración de rayos) y la rasterización de mallas de fotogrametría pasiva.
AerialMetric-Decoupled: Un benchmark estrictamente controlado recolectado utilizando un UAV DJI Matrice 300 equipado con RTK. Emplea un muestreo ortogonal para desacoplar los efectos de cuatro variables principales: Ángulo de Pitch (nadir a oblicuo), Altitud Relativa (80m y 120m), Campo de Visión (FOV) y Tipos de Escena (Edificio, Césped, Tierra de cultivo, Fábrica). Este subconjunto contiene aproximadamente 4,600 pares imagen-profundidad diseñados exclusivamente para pruebas para evaluar el impacto de configuraciones de imagen específicas.
AerialMetric-Synthetic: Un conjunto de aumento de entrenamiento que contiene 16K pares de imagen-profundidad fotorrealistas generados usando Google Earth Studio y Unreal Engine (con AirSim y Cesium). Este subconjunto cubre escenarios de cola larga (long-tail), puntos de vista extremos y condiciones de iluminación complejas que son difíciles de capturar en el mundo real, proporcionando vistas multi-ángulo controladas.
AerialMetric-Wild: Una colección de 100 secuencias de alta fidelidad de videos de drones sin etiquetar de internet. Para resolver la ambigüedad de escala monocular, los autores emplean un marco de recuperación de escala con intervención humana (human-in-the-loop). Esto implica el uso de estimación de profundidad relativa multi-vista (COLMAP + Depth Anything 3) seguido de una calibración de escala métrica mediante pares de puntos de referencia anotados por humanos y herramientas geográficas (Google Earth Pro).

Adaptación y Evaluación de Modelos:
Los autores realizan evaluaciones sistemáticas de modelos de profundidad métrica de vanguardia (incluyendo ZoeDepth, DepthPro, UniDepth, MoGe2 y Metric3Dv2) en los benchmarks de AerialMetric. Demuestran que la transferencia zero-shot desde el preentrenamiento terrestre produce un rendimiento deficiente. Para establecer una base sólida, ajustan (fine-tune) el modelo representativo MoGe2 utilizando Adaptación de Bajo Rango (LoRA) sobre una mezcla de AerialMetric-Oblique, AerialMetric-Synthetic y una pequeña fracción de datos de dominio terrestre (Hypersim, MVS-Synth, TartanAir) para preservar la generalización.

Contribuciones Clave

Dataset AerialMetric: La introducción de un dataset de profundidad métrica aérea a gran escala y diverso que consta de cuatro subconjuntos complementarios. Esto expande significamente la escala, diversidad y cobertura geométrica de los datos de profundidad aérea disponibles, abordando la escasez de datasets aéreos reales dedicados.
Benchmark Exhaustivo: El establecimiento de un protocolo de evaluación riguroso para la estimación de profundidad métrica aérea monocular. Esto incluye análisis sistemáticos de cómo el ángulo de visión, la altitud de vuelo y el campo de visión de la cámara impactan la precisión de la predicción, utilizando el subconjunto de variables desacopladas para aislar estos factores.
Rendimiento de Vanguardia: Al adaptar modelos representativos en el dataset AerialMetric, los autores logran un rendimiento de vanguardia en diversos escenarios de despliegue de UAV. Demuestran que el dataset mejora efectivamente la capacidad de generalización de los métodos de estimación de profundidad métrica monocular en entornos aéreos.

Resultados

Brecha de Dominio: La evaluación zero-shot revela una severa brecha de dominio. Por ejemplo, en el subconjunto de Ciudad de AerialMetric-Oblique sin intrínsecos de verdad de terreno, el baseline MoGe2 logra una precisión $\delta_1$ de solo 5.1%, mientras que el MoGe2-Aerial ajustado alcanza un 89.3%.
Robustez a Parámetros: El modelo ajustado exhibe un alto rendimiento isotrópico a través de varios ángulos de pitch, altitudes y FOVs. En contraste, los modelos fundacionales zero-shot muestran fallos catastróficos en ángulos específicos (p. ej., vistas estrictamente nadir u oblicuas) y sufren caídas precipitadas en la precisión cuando la altitud aumenta (p. ej., de 80m a 120m).
Generalización: El modelo adaptado mantiene un rendimiento competitivo en benchmarks de dominio terrestre (NYUv2, KITTI, ETH3D, etc.), lo que indica que la adaptación aérea no conduce al olvido catastrófico de las capacidades terrestres.
Evaluación Wild: En el desafiante dataset AerialMetric-Wild, el modelo adaptado reduce el error AbsRel de 55.26 a 21.34 y mejora la $\delta_1$ de 9.5 a 53.7 en comparación con el baseline zero-shot.

Significancia

El artículo sostiene que AerialMetric cierra la brecha crítica entre la estimación de profundidad a nivel del suelo y la aérea. Al proporcionar un benchmark estandarizado con una verdad de terreno métrica fiable y un subconjunto de variables desacopladas y controladas, este trabajo permite a la comunidad evaluar y mejorar sistemáticamente la percepción aérea. Los resultados demuestran que, si bien los modelos existentes luchan con los puntos de vista aéreos, la adaptación dirigida utilizando datos aéreos de alta calidad puede producir una estimación de profundidad de escala métrica robusta, adecuada para aplicaciones de UAV en el mundo real, tales como la inspección de infraestructura, el monitoreo ambiental y la entrega autónoma. Los autores posicionan este trabajo como un paso fundacional hacia una percepción 3D fiable para la robótica aérea autónoma.