ZeD-MAP: Bundle Adjustment Guided Zero-Shot Depth Maps for Real-Time Aerial Imaging

1. Problema e Motivação

A reconstrução de profundidade em tempo real a partir de imagens de drones (UAV) de ultra-alta resolução é crucial para tarefas geoespaciais críticas, como resposta a desastres e busca e salvamento. No entanto, o estado da arte enfrenta desafios significativos:

• Limitações Computacionais: Métodos tradicionais de Estéreo Denso (como SGM) e pipelines de SfM (Structure from Motion) completos são computacionalmente intensivos, tornando-os inadequados para processamento em tempo real em imagens de 50+ megapixels.
• Inconsistência Métrica e Temporal: Modelos de aprendizado profundo baseados em transformers ou difusão (zero-shot) oferecem boa generalização sem necessidade de re-treinamento, mas sofrem de ambiguidade de escala, inconsistência temporal entre quadros sequenciais e falta de precisão métrica absoluta.
• Ambientes Desafiadores: Cenários de desastre frequentemente apresentam baixa textura, superfícies especulares e oclusões, degradando a correspondência de características em métodos clássicos.

O objetivo é desenvolver um pipeline que combine a robustez e generalização de modelos de difusão com a precisão métrica e consistência de métodos fotogramétricos clássicos, operando dentro de restrições de latência rigorosas (aproximadamente 2 segundos por par de imagens).

2. Metodologia: ZeD-MAP

O framework proposto, ZeD-MAP, integra um estimador de profundidade por difusão zero-shot com um módulo de Ajustamento de Feixe (Bundle Adjustment - BA) incremental baseado em clusters. O fluxo de trabalho opera sequencialmente durante o voo:

• Formação de Clusters com Consciência de Sobreposição:
  • As imagens recebidas são agrupadas em clusters sobrepostos.
  • Se o GNSS estiver disponível, os clusters são formados dinamicamente até que a sobreposição estimada caia abaixo de um limiar (10%).
  • Se o GNSS estiver indisponível, o sistema usa janelas fixas de três quadros consecutivos.
• Seleção Eficiente de N-Quadros (N-Frame Selection):
  • Para manter a performance em tempo real, o BA não é executado em todos os quadros do cluster.
  • O sistema seleciona apenas três quadros: o quadro central do cluster e seus vizinhos imediatos.
  • Um BA de três visões é executado para recuperar poses de câmera metricamente consistentes e pontos de amarração 3D esparsos.
• Ancoragem Métrica e Consistência:
  • Os últimos $M$ quadros do cluster anterior são mantidos fixos durante a otimização do novo cluster, criando uma "âncora" que previne o desvio (drift) de escala e orientação entre clusters.
  • Os pontos 3D esparsos resultantes são reprojetados no quadro representativo do cluster.
• Modelo de Difusão Guiado:
  • Um modelo de difusão zero-shot (baseado no Murre) utiliza as imagens RGB e os pontos de amarração esparsos (derivados do BA) como condições de entrada.
  • Isso força o modelo de difusão a gerar mapas de profundidade densos que herdam a escala métrica e a consistência geométrica do BA, eliminando a flutuação estocástica típica da inferência de difusão pura.
• Fusão e Saída:
  • Os mapas de profundidade densos são fundidos incrementalmente em um volume TSDF (Truncated Signed Distance Function) para gerar nuvens de pontos 3D globais, mapas de profundidade globais e mosaicos true-ortho.

3. Principais Contribuições

1. Primeiro Framework em Tempo Real Métrico: É a primeira estrutura capaz de gerar mapas de profundidade densos e globalmente métricos para mapeamento aéreo em larga escala usando um modelo de difusão zero-shot em tempo real.
2. Estratégia de Clusterização Adaptativa: Introdução de uma formação de clusters que se adapta à disponibilidade de GNSS (dinâmica vs. janelas fixas), garantindo inicialização métrica confiável.
3. Seleção de N-Quadros Eficiente: Um esquema que executa BA apenas em três visões (central + vizinhos) por cluster, reduzindo drasticamente o custo computacional enquanto mantém a cobertura 3D completa para o quadro central.
4. Pipeline End-to-End Independente: O sistema opera sem dependência de soluções de terceiros (como COLMAP) ou pré-computação de profundidade, funcionando tanto com quanto sem GNSS.

4. Resultados e Validação

O método foi validado usando imagens da câmera aérea modular do DLR (MACS) em duas configurações:

• Precisão Métrica (Dataset com Marcadores):

  • Testado em imagens de 50m de altitude (GSD ≈ 0,85 cm/px).
  • Erro Horizontal (XY): ~0,87 m.
  • Erro Vertical (Z): ~0,12 m.
  • Comparação: O ZeD-MAP superou modelos feed-forward modernos (VGGT, MapAnything) em consistência métrica, aproximando-se da precisão do COLMAP (offline), mas com tempos de execução muito inferiores.
  • Tempo de Execução: Entre 1,47 e 4,91 segundos por imagem (incluindo inferência de difusão e BA), atendendo aos requisitos de tempo real.

• Consistência em Grande Escala (Dataset de Terremoto):

  • Avaliado em 60 imagens de uma missão de terremoto na Turquia (325m de altitude).
  • Estabilidade: Enquanto modelos puramente baseados em aprendizado (VGGT, MapAnything) apresentaram desvio significativo de escala e inconsistências no eixo Z entre faixas de voo, o ZeD-MAP manteve a alinhamento global e a coerência geométrica.
  • Qualidade: O método alcançou precisão local comparável ao COLMAP (desvio local de 0,024m vs 0,023m do COLMAP) com maior cobertura (53% vs 51%) e custo computacional fracionário.

5. Significado e Conclusão

O ZeD-MAP demonstra que é possível superar o dilema entre velocidade e precisão métrica em mapeamento aéreo. Ao usar o Ajustamento de Feixe apenas para fornecer uma "âncora" métrica esparsa e estável, o sistema permite que modelos de difusão generativos operem com a robustez necessária para cenários de desastre, sem a necessidade de treinamento específico ou pipelines fotogramétricos offline demorados.

Isso viabiliza a geração de mapas 3D densos e georreferenciados em tempo real, permitindo uma tomada de decisão mais rápida e segura para equipes de resposta a emergências, preenchendo uma lacuna crítica entre a teoria de modelos generativos e a aplicação operacional prática.