Seeing Across Skies and Streets: Feedforward 3D Reconstruction from Satellite, Drone, and Ground Images

Resumen Técnico: Cross3R – Reconstrucción 3D Feedforward a partir de Imágenes Satelitales, de Drones y Terrestres

Enunciado del Problema
La localización de visión cruzada busca tradicionalmente determinar la pose de una cámara a nivel del suelo con respecto a una imagen satelital cenital. Los métodos existentes están fundamentalmente limitados a la estimación de 3 grados de libertad (DoF), recuperando únicamente la posición $(x, y)$ y el ángulo de guiñada. Esta limitación surge porque un único mosaico satelital cenital no proporciona indicios directos para el alabeo, el cabeceo o la altitud, obligando a los modelos a depender de suposiciones de movimiento planar y cero inclinación. Estas suposiciones fallan en entornos del mundo real que presentan pendientes, rampas, terrenos irregulares o soportes de cámaras inclinados, lo que provoca degradaciones agudas en la precisión y la robustez. Además, los modelos estándar de reconstrucción 3D feedforward están diseñados para colecciones de imágenes capturadas a altitudes aproximadamente similares y luchan por alinear nubes de puntos y poses a través de la brecha extrema de puntos de vista entre las vistas satelital (vista superior), UAV (oblicua) y terrestre (perspectiva).

Metodología: Cross3R
Los autores proponen Cross3R, un modelo base feedforward flexible diseñado para recuperar conjuntamente una nube de puntos 3D de visión cruzada, las poses de 6 DoF de todas las cámaras de entrada y la localización en el mosaico de las cámaras de perspectiva en una sola pasada hacia adelante. El modelo acepta un mosaico satelital emparejado con una o dos vistas de perspectiva (UAV y/o terrestre).

• Insight Central: La introducción de una sola imagen de UAV actúa como un puente geométrico. Revela la estructura 3D invisible desde la vista cenital y proporciona los indicios necesarios para el alabeo, el cabeceo y la altitud que la imagen satelital por sí sola no puede suministrar. Crucialmente, este enfoque requiere únicamente superposición espacial entre las cámaras UAV y terrestres, no poses relativas conocidas.
• Arquitectura: Basándose en el modelo $\pi3$, Cross3R introduce tres modificaciones clave para manejar la disparidad de tres vistas:
  1. Codificador: Inyecta incrustaciones posicionales de Fourier de la cuadrícula de píxeles normalizada del satélite directamente en los tokens satelitales para codificar la estructura de cuadrícula ortográfica desde la primera capa. También duplica el tamaño del banco de tokens de registro para desvincular los tokens satelitales de los tokens de perspectiva.
  2. Atención Alternada: Fusiona estados ocultos a través de capas utilizando puertas ponderadas por softmax, permitiendo que el modelo acceda simultáneamente a la geometría local fina (capas tempranas) y a la disposición global gruesa (capas tardías).
  3. Cabezales de Decodificación:
     • Rama Satelital: Impone un prior geométrico ortográfico explícito. Un escalar aprendido $\rho$ vincula la escala por píxel del mosaico satelital con la escena. En lugar de predecir $(x, y)$, el modelo predice coordenadas de píxel $(u, v)$ escaladas por $\rho$, asegurando la consistencia de escala interna.
     • Ramas de Perspectiva (UAV/Terrestre): Las características satelitales se comprimen y se suman mediante difusión a los tokens de perspectiva antes de los cabezales compartidos de puntos y cámara, proporcionando orientación explícita desde el marco de coordenadas satelital.
• Objetivo de Entrenamiento: El modelo se entrena con una suma ponderada de cuatro términos de pérdida: pérdida de profundidad geométrica ($L_{geo}$), pérdida de normales de superficie ($L_{norm}$), pérdida de mapa de confianza ($L_{conf}$) y pérdida de pose de cámara ($L_{cam}$).
• Redefinición de Altitud por Muestra: Para estabilizar el entrenamiento, los autores reanclan las altitudes localmente. Las cámaras terrestres se establecen en $y=0$, las UAV a altitudes relativas ($30\text{--}120$ m) y la cámara satelital se redefine a una altitud constante de $150$ m (justo por encima de la altitud máxima de la UAV) en lugar de su verdadera altitud de $\sim5,726$ m. Esto previene la inestabilidad de gradientes causada por vectores de traslación masivos.

Contribuciones Clave

1. Modelo Cross3R: Un modelo feedforward que rompe el techo de 3 DoF de los métodos de visión cruzada anteriores, permitiendo la estimación completa de poses de 6 DoF y la reconstrucción 3D densa a partir de imágenes satelitales, de UAV y terrestres.
2. Conjunto de Datos CrossGeo: Un conjunto de datos de tres vistas a gran escala que comprende 277,812 imágenes (46,302 muestras) en 85 escenas distribuidas globalmente. Es el primer punto de referencia público que proporciona vistas emparejadas satelitales, de UAV y terrestres con poses completas de 6 DoF y profundidad métrica densa. Los datos provienen de Google Maps, Google Earth y Google Street View.
3. Mejoras de Rendimiento: El modelo demuestra que añadir una vista de UAV mejora significativamente la localización de suelo a satélite, superando eficazmente la brecha de puntos de vista y recuperando la estructura vertical.

Resultados Experimentales

• Evaluación CrossGeo: Cross3R supera consistentemente a las líneas base de reconstrucción 3D feedforward (incluyendo $\pi3$, VGGT y AerialMD) en la reconstrucción de nubes de puntos (Acc-mean, $\delta@\tau$) y en la estimación de poses de cámara de 6 DoF (RRA, RTA, AUC). También logra una precisión superior de localización de visión cruzada, reduciendo a la mitad el error de traslación de la mejor línea base ($\pi3^*$) y cuadruplicando casi la puntuación PCK@2m.
• KITTI Zero-Shot: A pesar de haber sido entrenado únicamente en CrossGeo (sin datos de KITTI), Cross3R supera a los métodos especializados de visión cruzada entrenados directamente en KITTI (LM, SliceMatch, CCVPE) en la mayoría de las métricas, incluido el recuerdo lateral y el recuerdo de orientación.
• AnyVisLoc (OOD): En un conjunto de pruebas del mundo real fuera de distribución de fotografías de UAV, Cross3R logra los mejores errores de traslación terrestre y de UAV, así como el mejor error de guiñada terrestre, demostrando robustez ante la fotografía aérea real a pesar de haber sido entrenado con datos de UAV renderizados.
• Estudios de Ablación:
  • Se demuestra que la vista de UAV es crítica para la localización terrestre, particularmente cuando la UAV está a una altitud moderada con un punto de vista casi cenital.
  • Eliminar el cabezal ortográfico ($\rho$) hace que la localización de visión cruzada colapse, confirmando su papel como el eslabón esencial para la consistencia de escala.
  • El uso de la altitud satelital cruda ($\sim5,700$ m) conduce a la divergencia del entrenamiento, validando la necesidad de la estrategia de redefinición de altitud.
  • Los experimentos de escalado de datos muestran mejoras monótonas en el rendimiento con datos aumentados, lo que sugiere que el modelo tiene margen significativo para un escalado adicional.

Significado y Afirmaciones
El artículo afirma que Cross3R recupera con éxito nubes de puntos, poses de cámaras y localización de visión cruzada de satélites, drones y suelo en una sola toma, superando las limitaciones de las suposiciones planares en terrenos del mundo real. Al aprovechar una imagen de UAV como punto de vista intermedio, el método suministra los indicios verticales faltantes requeridos para la estimación de 6 DoF. Los autores enfatizan que, aunque el modelo actual está limitado a tres imágenes por pasada hacia adelante y entradas de agujero de alfiler, el pipeline de adquisición y el diseño de red propuestos establecen un nuevo paradigma para la reconstrucción 3D de visión cruzada escalable y basada en datos. El trabajo destaca el potencial para aplicaciones en conducción autónoma en carreteras accidentadas, navegación de robots y búsqueda y rescate, al tiempo que reconoce las restricciones de privacidad al publicar solo metadatos (pano_ids) en lugar de imágenes crudas a nivel de calle.