💻 computer science

AerialMetric: Benchmarking and Adapting UAV Monocular Metric Depth Estimation in the Real World

Este artigo apresenta o AerialMetric, um conjunto de dados de referência abrangente composto por 68.000 pares de imagem-profundidade reais e sintéticos com verdade fundamental métrica, para abordar a lacuna de domínio na estimativa de profundidade métrica monocular por UAV através da avaliação sistemática de modelos existentes e do estabelecimento de desempenho de estado da arte por meio de ajuste fino.

Autores originais: Zhongqiang Song, Guanying Chen, Yuqi Zhang, Yin Zou, Chuanyu Fu, Zhiyuan Yuan, Chuan Huang, Shuguang Cui, Xiaochun Cao

Publicado 2026-06-30

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Zhongqiang Song, Guanying Chen, Yuqi Zhang, Yin Zou, Chuanyu Fu, Zhiyuan Yuan, Chuan Huang, Shuguang Cui, Xiaochun Cao

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem uma câmera robótica muito inteligente que passou toda a sua vida caminhando pelo chão. Ela aprendeu a adivinhar a que distância as coisas estão apenas olhando fotos de ruas, salas de estar e florestas. Ela é uma profissional nisso. Mas agora, você prende essa câmera em um drone e a envia voando alto acima do mundo. De repente, o robô fica confuso. Ele vê o mundo de uma "visão aérea" que nunca experimentou antes. De repente, seus palpites sobre distância tornam-se absurdamente imprecisos.

Este artigo, intitulado "AerialMetric", trata de corrigir essa confusão. Os autores construíram uma nova "escola" (um conjunto de dados) especificamente para ensinar esses cérebros de câmera a julgar a distância enquanto voam.

Aqui está uma análise do que eles fizeram, usando analogias simples:

1. O Problema: O Viés do "Nível do Solo"

Pense nos modelos de profundidade de IA existentes como uma pessoa que sempre olhou para o mundo ao nível dos olhos. Eles sabem que um carro está a cerca de 4 metros de distância porque já viram carros de perto. Mas se você os colocar no topo de uma montanha e perguntar: "A que distância está aquele carro lá embaixo?", eles podem adivinhar que o carro está a 10 metros ou 100 metros. Eles estão perdidos porque o ângulo e a escala são totalmente diferentes.

O artigo descobriu que, quando você pega os melhores modelos de profundidade de "nível do solo" e tenta usá-los em filmagens de drones, eles falham miseravelmente. É como tentar usar um mapa de um sistema de metrô para navegar no horizonte de uma cidade; a perspectiva está errada.

2. A Solução: O Conjunto de Dados "AerialMetric"

Para corrigir isso, a equipe criou o AerialMetric, uma nova e massiva biblioteca de treinamento. Em vez de apenas um tipo de dado, eles o construíram como uma refeição de quatro pratos para garantir que a IA receba uma educação equilibrada:

O "Buffet do Mundo Real" (AerialMetric-Oblique): Eles pegaram milhares de fotos existentes de cidades e áreas rurais onde a distância já havia sido medida com precisão (usando lasers ou mapeamento 3D). Isso é como dar ao aluno lições de casa reais de voos reais.
O "Laboratório Científico" (AerialMetric-Decoupled): Esta é a parte mais única. Eles voaram um drone de uma maneira muito controlada, mudando apenas uma coisa de cada vez. Eles testaram:
- Diferentes alturas (80m vs. 120m).
- Diferentes ângulos (olhando direto para baixo vs. olhando para o lado).
- Diferentes lentes (grande angular vs. estreita).
- Analogia: Imagine um chef provando uma sopa e mudando apenas o sal, depois apenas a pimenta, para ver exatamente como cada ingrediente altera o sabor. Isso ajuda a IA a entender exatamente como a altura e o ângulo afetam a distância.
O "Simulador de Realidade Virtual" (AerialMetric-Synthetic): Eles usaram motores gráficos de computador (como um motor de jogo de alta qualidade) para criar voos de drone falsos. Isso permite criar milhares de cenários complicados (como voar sobre uma fábrica ou um parque) que podem ser difíceis ou perigosos de filmar na vida real.
O "Curinga" (AerialMetric-Wild): Eles pegaram vídeos de drones aleatórios da internet. Eles são bagunçados, não controlados e representam o mundo real onde você não tem dados perfeitos. Este é o "exame final" para ver se a IA consegue lidar com surpresas.

3. Os Resultados: Ensinando a IA a Voar

Os autores pegaram um modelo de IA de alto desempenho (chamado MoGe2) e o "ajustaram" (fine-tuned) usando seu novo conjunto de dados AerialMetric.

Antes do Treinamento: A IA era terrível em adivinhar distâncias do céu. Era como um aluno reprovando em um teste com uma pontuação próxima de zero.
Após o Treinamento: A IA tornou-se uma mestre. Ela aprendeu a ajustar seus palpites com base na altura em que o drone estava e no ângulo para o qual estava olhando.
- A Analogia: É como pegar um motorista que só conhece estradas planas e ensinar a dirigir em estradas de montanha íngremes. Após o treinamento, ele consegue lidar com as curvas e as mudanças de elevação sem bater.

4. Eles Quebraram Algo? (O Teste do "Solo")

Um medo comum na IA é que, se você ensinar algo novo a um modelo, ele possa esquecer o que já sabia. Os autores verificaram isso. Eles testaram seu novo "Especialista em Drones" em fotos de nível do solo (como vistas de rua).

O Resultado: A IA não esqueceu como dirigir no solo. Na verdade, ela ficou ligeiramente melhor em algumas tarefas de solo, provando que aprender a voar não arruinou sua capacidade de caminhar.

Resumo

Em resumo, o artigo diz: "As câmeras de drones são ruins atualmente em adivinhar a distância porque foram treinadas em fotos de solo. Construímos um novo, enorme e diversificado conjunto de treinamento especificamente para o céu. Quando ensinamos nossa IA com este novo conjunto, ela se tornou a melhor em adivinhar distâncias de drones, e não perdeu sua habilidade de trabalhar no solo."

Eles disponibilizaram todos os seus dados, código e o modelo treinado para que outros possam usar, essencialmente entregando as chaves da "Escola de Pilotagem de Drones" para o resto do mundo.

Resumo Técnico: AerialMetric

Problema

Embora a estimativa de profundidade métrica monocular baseada em dados tenha alcançado progressos notáveis em cenários ao nível do solo (visão de rua e ambientes internos), esses modelos exibem uma lacuna de domínio significativa quando aplicados a imagens de Veículos Aéreos Não Tripulados (VANT/UAV). Modelos de última geração treinados principalmente em conjuntos de dados terrestres falham em generalizar para perspectivas aéreas devido a geometrias de visualização drasticamente diferentes, perspectivas de visão de pássaro e variações de altitude. Atualmente, o campo carece de um conjunto de dados aéreo real, diverso e com variáveis controladas que possua verdade fundamental (ground truth) métrica confiável. Essa ausência dificulta a adaptação eficaz de modelos, impede o aprendizado confiável da escala absoluta da cena em contextos aéreos e torna difícil a avaliação sistemática dos métodos existentes sob diversas condições de imagem de UAV. Consequentemente, a estimativa de profundidade métrica aérea permanece substancialmente atrás de sua contraparte ao nível do solo.

Metodologia

Para enfrentar esses desafios, os autores introduzem o AerialMetric, um benchmark de larga escala projetado especificamente para a estimativa de profundidade métrica monocular em cenários aéreos. O conjunto de dados é construído por meio de um pipeline híbrido composto por quatro subconjuntos complementares:

AerialMetric-Oblique: Curado a partir de seis conjuntos de dados de fotogrametria de escala urbana publicamente disponíveis (ex: UrbanBIS, GauU-SceneV2). Ele agrega mais de 47 mil pares imagem-profundidade de 25 subconjuntos cobrindo cenas de Cidade, Rural e Natural. A verdade fundamental é derivada via projeção de LiDAR ativo (com mitigação de artefatos de penetração de raio) e rasterização de malha de fotogrametria passiva.
AerialMetric-Decoupled: Um benchmark estritamente controlado coletado usando um UAV DJI Matrice 300 equipado com RTK. Ele utiliza amostragem ortogonal para desacoplar os efeitos de quatro variáveis principais: Ângulo de Inclinação (pitch) (do nadir ao oblíquo), Altitude Relativa (80m e 120m), Campo de Visão (FOV) e Tipos de Cena (Edifício, Gramado, Lavoura, Fábrica). Este subconjunto contém cerca de 4.600 pares imagem-profundidade projetados exclusivamente para testes, a fim de avaliar o impacto de configurações de imagem específicas.
AerialMetric-Synthetic: Um conjunto de aumento de treinamento contendo 16 mil pares imagem-profundidade fotorrealistas gerados usando Google Earth Studio e Unreal Engine (com AirSim e Cesium). Este subconjunto cobre cenários de cauda longa (long-tail), pontos de vista extremos e condições de iluminação complexas que são difíceis de capturar no mundo real, fornecendo vistas multi-ângulo controladas.
AerialMetric-Wild: Uma coleção de 100 sequências de alta fidelidade de vídeos de drones da internet sem rótulos. Para resolver a ambiguidade de escala monocular, os autores empregam um framework de recuperação de escala com participação humana (human-in-the-loop). Isso envolve o uso de estimativa de profundidade relativa multi-view (COLMAP + Depth Anything 3) seguido de calibração de escala métrica usando pares de marcos anotados por humanos e ferramentas geográficas (Google Earth Pro).

Adaptação e Avaliação de Modelos:
Os autores realizam avaliações sistemáticas de modelos de profundidade métrica de última geração (incluindo ZoeDepth, DepthPro, UniDepth, MoGe2 e Metric3Dv2) nos benchmarks do AerialMetric. Eles demonstram que a transferência zero-shot a partir de pré-treinamento terrestre produz um desempenho insatisfatório. Para estabelecer uma base sólida, eles ajustam (fine-tune) o modelo representativo MoGe2 usando Adaptação de Baixo Posto (LoRA) em uma mistura de AerialMetric-Oblique, AerialMetric-Synthetic e uma pequena fração de dados do domínio terrestre (Hypersim, MVS-Synth, TartanAir) para preservar a generalização.

Principais Contribuições

Dataset AerialMetric: A introdução de um conjunto de dados de profundidade métrica aérea de larga escala e diversificado, composto por quatro subconjuntos complementares. Isso expande significativamente a escala, diversidade e cobertura geométrica dos dados de profundidade aérea disponíveis, abordando a escassez de conjuntos de dados aéreos reais dedicados.
Benchmark Abrangente: O estabelecimento de um protocolo de avaliação rigoroso para a estimativa de profundidade métrica monocular aérea. Isso inclui análises sistemáticas de como o ângulo de visão, altitude de voo e campo de visão da câmera impactam a precisão da predição, utilizando o subconjunto de variáveis desacopladas para isolar esses fatores.
Desempenho de Última Geração (SOTA): Ao adaptar modelos representativos no dataset AerialMetric, os autores alcançam um desempenho de ponta em diversos cenários de implantação de UAV. Eles demonstram que o dataset melhora efetivamente a capacidade de generalização dos métodos de estimativa de profundidade métrica monocular em configurações aéreas.

Resultados

Lacuna de Domínio: A avaliação zero-shot revela uma lacuna de domínio severa. Por exemplo, no subconjunto de cidade do AerialMetric-Oblique sem intrínsecos de verdade fundamental, o baseline MoGe2 atinge uma precisão $\delta_1$ de apenas 5,1%, enquanto o MoGe2-Aerial ajustado atinge 89,3%.
Robustez aos Parâmetros: O modelo ajustado exibe alto desempenho isotrópico através de variações de ângulos de inclinação, altitudes e FOVs. Em contraste, modelos de fundação zero-shot apresentam falhas catastróficas em ângulos específicos (ex: visões estritamente nadir ou oblíquas) e sofrem quedas precipitadas na precisão quando a altitude aumenta (ex: de 80m para 120m).
Generalização: O modelo adaptado mantém um desempenho competitivo em benchmarks do domínio terrestre (NYUv2, KITTI, ETH3D, etc.), indicando que a adaptação aérea não leva ao esquecimento catastrófico das capacidades terrestres.
Avaliação Wild: No desafiador dataset AerialMetric-Wild, o modelo adaptado reduz o erro de AbsRel de 55,26 para 21,34 e melhora o $\delta_1$ de 9,5 para 53,7 em comparação ao baseline zero-shot.

Significância

O artigo afirma que o AerialMetric preenche a lacuna crítica entre a estimação de profundidade ao nível do solo e a aérea. Ao fornecer um benchmark padronizado com verdade fundamental métrica confiável e um subconjunto de variáveis desacopladas e controladas, o trabalho permite que a comunidade avalie e melhore sistematicamente a percepção aérea. Os resultados demonstram que, embora os modelos existentes tenham dificuldade com pontos de vista aéreos, a adaptação direcionada usando dados aéreos de alta qualidade pode gerar uma estimativa de profundidade métrica robusta, adequada para aplicações de UAV no mundo real, como inspeção de infraestrutura, monitoramento ambiental e entrega autônoma. Os autores posicionam este trabalho como um passo fundamental para a percepção 3D confiável em robótica aérea autônoma.