Seeing Across Skies and Streets: Feedforward 3D Reconstruction from Satellite, Drone, and Ground Images

Resumo Técnico: Cross3R – Reconstrução 3D Feedforward a partir de Imagens de Satélite, Drone e Solo

Declaração do Problema
A localização de visão cruzada tradicional busca determinar a pose de uma câmera ao nível do solo em relação a uma imagem de satélite nadir. Os métodos existentes são fundamentalmente limitados à estimativa de 3 Graus de Liberdade (DoF) — recuperando apenas a posição $(x, y)$ e o ângulo de guinada. Essa limitação surge porque um único mosaico de satélite nadir não fornece pistas diretas para rolagem, arfagem ou altitude, forçando os modelos a dependerem de suposições de movimento planar e inclinação zero. Essas suposições falham em ambientes do mundo real que apresentam declives, rampas, terreno irregular ou suportes de câmera inclinados, levando a degradações acentuadas na precisão e robustez. Além disso, os modelos padrão de reconstrução 3D feedforward são projetados para coleções de imagens capturadas em altitudes aproximadamente similares e lutam para alinhar nuvens de pontos e poses através da lacuna extrema de ponto de vista entre as visões de satélite (de cima para baixo), UAV (oblíqua) e solo (perspectiva).

Metodologia: Cross3R
Os autores propõem o Cross3R, um modelo fundamental feedforward flexível projetado para recuperar conjuntamente uma nuvem de pontos 3D de visão cruzada, as poses de 6 DoF de todas as câmeras de entrada e a localização no mosaico das câmeras de perspectiva em uma única passagem direta. O modelo aceita um mosaico de satélite emparelhado com uma ou duas visões de perspectiva (UAV e/ou solo).

• Insight Central: A introdução de uma única imagem de UAV atua como uma ponte geométrica. Ela revela a estrutura 3D invisível da visão nadir e fornece as pistas necessárias para rolagem, arfagem e altitude que a imagem de satélite sozinha não pode fornecer. Crucialmente, essa abordagem requer apenas sobreposição espacial entre as câmeras UAV e de solo, não poses relativas conhecidas.
• Arquitetura: Construindo sobre o modelo $\pi3$, o Cross3R introduz três modificações-chave para lidar com a disparidade tri-visão:
  1. Codificador: Injeta embeddings posicionais de Fourier da grade de pixels normalizada do satélite diretamente nos tokens do satélite para codificar a estrutura da grade ortográfica desde a primeira camada. Também duplica o tamanho do banco de tokens de registro para desconectar tokens do satélite dos tokens de perspectiva.
  2. Atenção Alternada: Funde estados ocultos através das camadas usando portas ponderadas por softmax, permitindo que o modelo acesse simultaneamente a geometria local fina (camadas iniciais) e o layout global grosseiro (camadas tardias).
  3. Cabeças de Decodificação:
     • Ramo do Satélite: Impõe um prior geométrico ortográfico explícito. Um escalar aprendido $\rho$ vincula a escala por pixel do mosaico de satélite à cena. Em vez de prever $(x, y)$, o modelo prevê coordenadas de pixel $(u, v)$ escaladas por $\rho$, garantindo consistência de escala interna.
     • Ramos de Perspectiva (UAV/Solo): As características do satélite são comprimidas e adicionadas por broadcast aos tokens de perspectiva antes das cabeças compartilhadas de pontos e câmera, fornecendo orientação explícita a partir do quadro de coordenadas do satélite.
• Objetivo de Treinamento: O modelo é treinado com uma soma ponderada de quatro termos de perda: perda de profundidade geométrica ($L_{geo}$), perda de normal de superfície ($L_{norm}$), perda de mapa de confiança ($L_{conf}$) e perda de pose da câmera ($L_{cam}$).
• Redefinição de Altitude por Amostra: Para estabilizar o treinamento, os autores reancoram as altitudes localmente. As câmeras de solo são definidas em $y=0$, os UAVs em altitudes relativas ($30\text{--}120$ m) e a câmera de satélite é redefinida para uma constante de $150$ m (logo acima da altitude máxima do UAV) em vez de sua altitude real de $\sim5.726$ m. Isso previne instabilidade de gradiente causada por vetores de tradução massivos.

Principais Contribuições

1. Modelo Cross3R: Um modelo feedforward que rompe o teto de 3 DoF dos métodos anteriores de visão cruzada, permitindo estimativa completa de pose de 6 DoF e reconstrução 3D densa a partir de imagens de satélite, UAV e solo.
2. Dataset CrossGeo: Um dataset de tri-visão em grande escala compreendendo 277.812 imagens (46.302 amostras) em 85 cenas distribuídas globalmente. É o primeiro benchmark público que fornece visões emparelhadas de satélite, UAV e solo com poses completas de 6 DoF e profundidade métrica densa. Os dados são provenientes do Google Maps, Google Earth e Google Street View.
3. Ganhos de Desempenho: O modelo demonstra que adicionar uma visão de UAV melhora significativamente a localização de solo para satélite, efetivamente fechando a lacuna de ponto de vista e recuperando a estrutura vertical.

Resultados Experimentais

• Avaliação CrossGeo: O Cross3R supera consistentemente as bases de reconstrução 3D feedforward (incluindo $\pi3$, VGGT e AerialMD) na reconstrução de nuvem de pontos (Acc-média, $\delta@\tau$) e na estimativa de pose de câmera de 6 DoF (RRA, RTA, AUC). Também alcança precisão superior de localização de visão cruzada, reduzindo pela metade o erro de tradução da melhor base ($\pi3^*$) e quase quadruplicando a pontuação PCK@2m.
• KITTI Zero-Shot: Apesar de ser treinado apenas no CrossGeo (sem dados do KITTI), o Cross3R supera métodos especializados de visão cruzada treinados diretamente no KITTI (LM, SliceMatch, CCVPE) na maioria das métricas, incluindo recall lateral e recall de orientação.
• AnyVisLoc (OOD): Em um conjunto de teste real fora de distribuição de fotografias de UAV, o Cross3R alcança os melhores erros de tradução de solo e UAV e o melhor erro de guinada de solo, demonstrando robustez à fotografia aérea real apesar de ser treinado em dados de UAV renderizados.
• Estudos de Ablação:
  • A visão de UAV é mostrada como crítica para a localização de solo, particularmente quando o UAV está em altitude moderada com uma visão próxima à nadir.
  • A remoção da cabeça ortográfica ($\rho$) faz com que a localização de visão cruzada colapse, confirmando seu papel como o elo essencial para a consistência de escala.
  • O uso da altitude bruta do satélite ($\sim5.700$ m) leva à divergência do treinamento, validando a necessidade da estratégia de redefinição de altitude.
  • Experimentos de escalonamento de dados mostram melhorias monotônicas de desempenho com o aumento de dados, sugerindo que o modelo tem espaço significativo para escalonamento adicional.

Significado e Alegações
O artigo afirma que o Cross3R recupera com sucesso nuvens de pontos, poses de câmera e localização de visão cruzada de satélite, drone e solo em uma única tentativa, superando as limitações das suposições planares em terrenos do mundo real. Ao aproveitar uma imagem de UAV como um ponto de vista intermediário, o método fornece as pistas verticais ausentes necessárias para a estimativa de 6 DoF. Os autores enfatizam que, embora o modelo atual seja limitado a três imagens por passagem direta e entradas de pinhole, o pipeline de aquisição proposto e o design da rede estabelecem um novo paradigma para reconstrução 3D de visão cruzada escalável e orientada por dados. O trabalho destaca o potencial para aplicações em direção autônoma em estradas acidentadas, navegação de robôs e busca e resgate, ao mesmo tempo em que reconhece restrições de privacidade ao liberar apenas metadados (pano_ids) em vez de imagens brutas ao nível da rua.