Seeing Across Skies and Streets: Feedforward 3D Reconstruction from Satellite, Drone, and Ground Images

Résumé technique : Cross3R – Reconstruction 3D feedforward à partir d'images satellites, de drones et au sol

Énoncé du problème
La localisation multi-vues vise traditionnellement à déterminer la pose d'une caméra au sol par rapport à une image satellite à nadir. Les méthodes existantes sont fondamentalement limitées à une estimation à 3 degrés de liberté (DoF) — ne récupérant que la position $(x, y)$ et l'angle de lacet. Cette limitation découle du fait qu'une seule tuile satellite à nadir ne fournit aucune indication directe pour le roulis, le tangage ou l'altitude, contraignant les modèles à s'appuyer sur des hypothèses de mouvement planaire et d'inclinaison nulle. Ces hypothèses échouent dans des environnements réels comportant des pentes, des rampes, un terrain accidenté ou des supports de caméra inclinés, entraînant une dégradation brutale de la précision et de la robustesse. De plus, les modèles standards de reconstruction 3D feedforward sont conçus pour des collections d'images capturées à des altitudes sensiblement similaires et peinent à aligner les nuages de points et les poses à travers l'écart extrême de point de vue entre les vues satellite (vue de dessus), UAV (oblique) et au sol (perspective).

Méthodologie : Cross3R
Les auteurs proposent Cross3R, un modèle fondation feedforward flexible conçu pour récupérer conjointement, en une seule passe avant, un nuage de points 3D multi-vues, les poses 6-DoF de toutes les caméras d'entrée et la localisation sur la tuile des caméras en perspective. Le modèle accepte une tuile satellite appariée à une ou deux vues en perspective (UAV et/ou sol).

• Principe fondamental : L'introduction d'une seule image UAV agit comme un pont géométrique. Elle révèle une structure 3D invisible depuis la vue nadir et fournit les indications nécessaires pour le roulis, le tangage et l'altitude que l'imagerie satellite seule ne peut fournir. Crucialement, cette approche ne nécessite qu'un chevauchement spatial entre les caméras UAV et au sol, et non des poses relatives connues.
• Architecture : S'appuyant sur le modèle $\pi3$, Cross3R introduit trois modifications clés pour gérer la disparité tri-vues :
  1. Encodeur : Injecte des embeddings de position de Fourier de la grille de pixels normalisée de la satellite directement dans les jetons satellites pour encoder la structure de grille orthographique dès la première couche. Il double également la taille du banc de jetons de registre pour dissocier les jetons satellites des jetons en perspective.
  2. Attention alternée : Fusionne les états cachés à travers les couches en utilisant des portes pondérées par softmax, permettant au modèle d'accéder simultanément à la géométrie locale fine (couches précoces) et à la disposition globale grossière (couches tardives).
  3. Têtes de décodage :
     • Branche satellite : Impose un prior géométrique orthographique explicite. Un scalaire appris $\rho$ lie l'échelle par pixel de la tuile satellite à la scène. Au lieu de prédire $(x, y)$, le modèle prédit les coordonnées de pixels $(u, v)$ mises à l'échelle par $\rho$, assurant une cohérence d'échelle interne.
     • Branches en perspective (UAV/Sol) : Les caractéristiques satellites sont compressées et ajoutées par broadcast aux jetons en perspective avant les têtes de points et de caméra partagées, fournissant une guidance explicite depuis le repère de coordonnées satellite.
• Objectif d'entraînement : Le modèle est entraîné avec une somme pondérée de quatre termes de perte : perte de profondeur géométrique ($L_{geo}$), perte de normales de surface ($L_{norm}$), perte de carte de confiance ($L_{conf}$) et perte de pose de caméra ($L_{cam}$).
• Redéfinition de l'altitude par échantillon : Pour stabiliser l'entraînement, les auteurs ré-ancrent les altitudes localement. Les caméras au sol sont fixées à $y=0$, les UAV à des altitudes relatives ($30\text{--}120$ m), et la caméra satellite est redéfinie à une altitude constante de $150$ m (juste au-dessus de l'altitude maximale des UAV) plutôt que son altitude réelle d'environ $5\,726$ m. Cela évite l'instabilité des gradients causée par des vecteurs de translation massifs.

Contributions clés

1. Modèle Cross3R : Un modèle feedforward qui brise le plafond des 3 DoF des méthodes multi-vues antérieures, permettant une estimation complète de la pose 6-DoF et une reconstruction 3D dense à partir d'images satellites, UAV et au sol.
2. Jeu de données CrossGeo : Un jeu de données tri-vues à grande échelle comprenant 277 812 images (46 302 échantillons) répartis sur 85 scènes distribuées mondialement. C'est le premier benchmark public fournissant des vues satellites, UAV et au sol appariées avec des poses 6-DoF complètes et une profondeur métrique dense. Les données proviennent de Google Maps, Google Earth et Google Street View.
3. Gains de performance : Le modèle démontre que l'ajout d'une vue UAV améliore considérablement la localisation sol-satellite, comblant efficacement l'écart de point de vue et récupérant la structure verticale.

Résultats expérimentaux

• Évaluation CrossGeo : Cross3R surpasse systématiquement les bases de reconstruction 3D feedforward (y compris $\pi3$, VGGT et AerialMD) en reconstruction de nuage de points (Acc-moyenne, $\delta@\tau$) et en estimation de pose de caméra 6-DoF (RRA, RTA, AUC). Il atteint également une précision de localisation multi-vues supérieure, réduisant de moitié l'erreur de translation de la meilleure base ($\pi3^*$) et multipliant presque par quatre le score PCK@2m.
• KITTI Zero-Shot : Bien qu'entraîné uniquement sur CrossGeo (sans données KITTI), Cross3R surpasse les méthodes multi-vues spécialisées entraînées directement sur KITTI (LM, SliceMatch, CCVPE) sur la plupart des métriques, y compris le rappel latéral et le rappel d'orientation.
• AnyVisLoc (OOD) : Sur un ensemble de test réel hors distribution de photographies UAV, Cross3R atteint les meilleures erreurs de translation au sol et UAV, ainsi que la meilleure erreur de lacet au sol, démontrant une robustesse face à la photographie aérienne réelle malgré un entraînement sur des données UAV rendues.
• Études d'ablation :
  • La vue UAV s'avère cruciale pour la localisation au sol, en particulier lorsque le UAV est à une altitude modérée avec une vue proche du nadir.
  • La suppression de la tête orthographique ($\rho$) provondre l'effondrement de la localisation multi-vues, confirmant son rôle de lien essentiel pour la cohérence d'échelle.
  • L'utilisation de l'altitude satellite brute (environ $5\,700$ m) conduit à une divergence de l'entraînement, validant la nécessité de la stratégie de redéfinition de l'altitude.
  • Les expériences de mise à l'échelle des données montrent des améliorations monotones des performances avec l'augmentation des données, suggérant que le modèle dispose d'une marge importante pour une mise à l'échelle ultérieure.

Signification et affirmations
L'article affirme que Cross3R récupère avec succès les nuages de points, les poses de caméra et la localisation multi-vues pour les satellites, les drones et le sol en une seule prise, surmontant les limitations des hypothèses planaires dans les terrains réels. En exploitant une image UAV comme point de vue intermédiaire, la méthode fournit les indications verticales manquantes requises pour l'estimation 6-DoF. Les auteurs soulignent que si le modèle actuel est limité à trois images par passe avant et à des entrées à sténopé, le pipeline d'acquisition proposé et la conception du réseau établissent un nouveau paradigme pour une reconstruction 3D multi-vues évolutive et pilotée par les données. Le travail met en lumière le potentiel d'applications dans la conduite autonome sur routes accidentées, la navigation robotique et les opérations de recherche et de sauvetage, tout en reconnaissant les contraintes de confidentialité en ne publiant que des métadonnées (pano_ids) plutôt que des images brutes de niveau de rue.