ZeD-MAP: Bundle Adjustment Guided Zero-Shot Depth Maps for Real-Time Aerial Imaging

Resumen Técnico: ZeD-MAP

1. El Problema

La reconstrucción de profundidad en tiempo real a partir de imágenes de drones (UAV) de ultra-alta resolución es fundamental para tareas geoespaciales críticas, como la respuesta a desastres y la búsqueda y rescate. Sin embargo, este desafío presenta varias dificultades técnicas:

• Limitaciones Computacionales: Las imágenes pueden superar los 50 megapíxeles, y los métodos tradicionales de estereoscopía densa (como Semi-Global Matching - SGM) son demasiado costosos computacionalmente para cumplir con los requisitos de latencia estricta (aprox. 2 segundos por par de imágenes).
• Inconsistencia Métrica y Temporal: Los modelos de difusión de profundidad "zero-shot" (sin entrenamiento específico) ofrecen buena generalización y robustez, pero su inferencia probabilística carece de escala métrica absoluta y genera inconsistencias entre frames consecutivos (drift), lo que impide su uso directo en mapeo 3D a gran escala.
• Entornos Complejos: Los sitios de desastres suelen tener texturas bajas, superficies especulares y oclusiones, lo que degrada el rendimiento de los métodos basados en características tradicionales o redes neuronales preentrenadas que no se adaptan bien a escenarios no vistos.

2. Metodología: ZeD-MAP

El marco propuesto, ZeD-MAP, integra un modelo de difusión de profundidad de "tiempo de prueba" (test-time) con un ajuste de haces (Bundle Adjustment - BA) incremental basado en clústeres para lograr mapas de profundidad densos y métricamente consistentes. El flujo de trabajo opera secuencialmente durante el vuelo:

1. Formación de Clústeres Superpuestos:

   • Las imágenes entrantes se agrupan en clústeres superpuestos basados en la cobertura del suelo.
   • Estrategia N-Frame: Se selecciona un subconjunto eficiente de 3 vistas por clúster: la imagen central ($I_m$) y sus vecinos inmediatos ($I_{m-1}, I_{m+1}$).
   • Si hay datos GNSS, los clústeres se forman dinámicamente hasta que la superposición cae por debajo de un umbral (10%). Si no hay GNSS, se usan ventanas fijas de 3 imágenes.

2. Ajuste de Haces (Bundle Adjustment) Ligero:

   • Se ejecuta un BA de tres vistas sobre el clúster seleccionado para recuperar poses de cámara métricamente consistentes y puntos de amarre 3D dispersos (sparse tie-points).
   • Se utiliza un protocolo de "anclaje de pose": los últimos $M$ frames del clúster anterior se fijan para evitar el drift de escala y orientación entre clústeres consecutivos.
   • Se emplea una estrategia de extracción de características simplificada (RANSAC filtrado) para mantener la velocidad, asegurando que los puntos 3D estén bien distribuidos en la imagen central.

3. Modelo de Difusión Guiado:

   • Los puntos 3D dispersos derivados del BA se reproyectan en la imagen central del clúster para crear un mapa de anclaje métrico ($A_k$).
   • Este mapa, junto con los parámetros intrínsecos y la pose optimizada, se utilizan como condiciones para un modelo de difusión cero-shot (basado en Murre).
   • El modelo de difusión refina la estimación de profundidad densa, heredando la escala métrica del BA mientras mantiene la alta fidelidad estructural de la inferencia difusiva.

4. Fusión Global:

   • Los mapas de profundidad densos se fusionan incrementalmente en un volumen TSDF (Truncated Signed Distance Function) para generar una nube de puntos 3D global, un mapa de profundidad global y un mosaico true-ortho.

3. Contribuciones Clave

• Primera Framework en Tiempo Real: Es el primer sistema capaz de generar mapas de profundidad densos y métricamente consistentes a gran escala utilizando un modelo de difusión de tiempo de prueba, sin necesidad de reentrenamiento.
• Estrategia de Clústeres Consciente de Superposición: Permite la formación dinámica de clústeres (con GNSS) o fijos (sin GNSS), garantizando una inicialización métrica fiable.
• Selección Eficiente de N-Frame: Reduce la complejidad del BA optimizando solo 3 vistas por clúster (central + vecinos), lo que permite mantener el rendimiento en tiempo real sin sacrificar la consistencia métrica.
• Pipeline End-to-End Independiente: Elimina la dependencia de soluciones de terceros (como COLMAP) o priors de profundidad precalculados, funcionando tanto con como sin GNSS.

4. Resultados y Validación

El método se validó utilizando imágenes de la cámara aérea modular DLR (MACS) en dos escenarios:

• Precisión Métrica (Dataset con Marcadores):

  • Se evaluó contra métodos de vanguardia (VGGT, MapAnything) y COLMAP.
  • ZeD-MAP logró un error de 0.87 m en el plano horizontal (XY) y 0.12 m en la vertical (Z).
  • Estos resultados representan una precisión relativa superior al 90% en comparación con los marcadores de tierra, superando a los modelos puramente de aprendizaje profundo (VGGT, MapAnything) en consistencia métrica.
  • Tiempo de ejecución: Entre 1.47 y 4.91 segundos por imagen, cumpliendo con los requisitos de tiempo real para vuelos de UAV a 20 m/s.

• Evaluación a Gran Escala (Terremoto):

  • En un dataset de 60 imágenes sobre una zona afectada por un terremoto, ZeD-MAP mantuvo una alineación inter-tira consistente, evitando el drift en el eje Z que sufrieron los modelos VGGT y MapAnything.
  • Aunque COLMAP ofreció una suavidad global ligeramente superior (debido a su optimización offline completa), ZeD-MAP alcanzó una precisión local casi idéntica (desviación estándar local de 0.024 m vs 0.023 m de COLMAP) con una cobertura ligeramente mayor y un costo computacional mucho menor.

5. Significado e Impacto

ZeD-MAP representa un avance significativo en la cartografía aérea de respuesta a desastres al resolver el compromiso tradicional entre velocidad, precisión métrica y generalización.

• Viabilidad Operativa: Permite la generación de mapas 3D en tiempo real en entornos de desastre donde la latencia es crítica y las condiciones de iluminación/textura son adversas.
• Hibridación Inteligente: Demuestra que combinar la robustez de los modelos de difusión (generalización) con la rigidez geométrica del ajuste de haces (consistencia métrica) es una estrategia superior a usar cualquiera de los dos enfoques por separado.
• Escalabilidad: Al no depender de grandes conjuntos de datos etiquetados ni de infraestructuras de preprocesamiento offline masivas, el sistema es altamente escalable y desplegable en plataformas de borde (edge) para misiones de emergencia inmediatas.