Loc$^2$: Interpretable Cross-View Localization via Depth-Lifted Local Feature Matching

Ce papier propose Loc$^2$, une méthode interprétable et précise de localisation croisée vue-sol/vue-aérienne qui estime la pose 3D en apprenant directement les correspondances de caractéristiques locales entre les images, puis en les projetant dans l'espace vue du dessus grâce à la prédiction de profondeur monoculaire et à un alignement Procrustéen sensible à l'échelle, le tout sans nécessiter d'annotations au niveau des pixels.

L'essentiel

🌍 Le Problème : Se perdre entre le sol et le ciel

Imaginez que vous êtes un robot ou une voiture autonome conduisant dans une ville. Vous avez une caméra qui regarde devant vous (vue de la rue), et vous avez une carte satellite qui regarde le ciel (vue du dessus).

Le but est de dire : "Où suis-je exactement sur cette carte ?"

C'est comme essayer de reconnaître votre quartier en regardant par la fenêtre de votre voiture, tout en ayant une photo prise par un drone au-dessus de vous. Le problème, c'est que les deux images sont très différentes :

• La vue du sol voit des façades de bâtiments, des panneaux de signalisation et des voitures.
• La vue du ciel voit des toits, des rues et des formes géométriques.

C'est comme essayer de faire correspondre un puzzle où les pièces d'un côté sont des photos de chats et de l'autre des photos de chats vus de très loin : c'est difficile !

🚀 La Solution : Loc2, le détective des détails

Les anciennes méthodes essayaient de comparer l'image entière (comme comparer deux photos floues) ou de transformer l'image de la rue pour qu'elle ressemble à une vue de dessus (ce qui déforme souvent les bâtiments).

Loc2 propose une approche plus intelligente et plus "humaine" : elle cherche des détails précis.

1. Le jeu des "7 familles" (ou des points communs)

Au lieu de regarder l'image globale, Loc2 agit comme un détective qui cherche des indices spécifiques.

• Il repère un panneau de signalisation sur la photo de la rue.
• Il cherche le même panneau (vu de haut) sur la photo satellite.
• Il fait pareil avec un feu tricolore, une marque au sol ou un bâtiment.

C'est comme si vous essayiez de retrouver votre maison en disant : "Tiens, il y a un arbre rouge ici, et sur la carte, il y a aussi un arbre rouge à cet endroit précis." Plus vous trouvez de points communs, plus vous êtes sûr de votre position.

2. Le "Magic Depth" (La magie de la profondeur)

Il y a un petit piège : sur une photo de rue, on ne sait pas toujours à quelle distance se trouve un objet. Est-ce que ce feu tricolore est à 5 mètres ou à 50 mètres ?
Loc2 utilise un "devin" (un modèle d'intelligence artificielle appelé monocular depth) qui regarde la photo et dit : "Je pense que ce feu est à 10 mètres, et ce bâtiment à 30 mètres."

Ensuite, Loc2 prend ces points (le feu, le bâtiment) et les "projette" virtuellement vers le ciel, comme si on les soulevait pour les mettre sur la carte satellite. C'est ce qu'on appelle le "Depth-Lifting" (soulever par la profondeur).

3. L'ajustement parfait (Le puzzle qui s'assemble)

Une fois que Loc2 a aligné ses points de la rue avec ceux de la carte satellite, il doit calculer trois choses :

1. Où je suis ? (Translation : avancer, reculer, gauche, droite).
2. Dans quelle direction je regarde ? (Rotation : est-ce que je regarde le nord ou le sud ?).
3. Quelle est l'échelle ? (Est-ce que mes 10 mètres de rue correspondent bien à 10 mètres sur la carte ?).

Loc2 utilise une formule mathématique intelligente (appelée Procrustes) qui ajuste tout cela automatiquement, même si la profondeur estimée n'est pas parfaite. C'est comme si vous glissiez une calque transparent sur une carte pour qu'il corresponde parfaitement, même si vous avez un peu mal estimé la taille des objets.

🎨 Pourquoi c'est génial ? (L'interprétabilité)

C'est ici que Loc2 brille vraiment. La plupart des autres méthodes sont des "boîtes noires" : elles vous donnent une position, mais vous ne savez pas pourquoi. Si elles se trompent, vous ne savez pas si c'est à cause d'un arbre, d'un panneau ou d'une erreur de calcul.

Loc2, c'est transparent :

• On voit les points : Vous pouvez voir exactement quels points de la rue correspondent à quels points sur la carte.
• On voit l'erreur : Si la superposition des bâtiments sur la carte est décalée, vous voyez tout de suite que le système s'est trompé. C'est comme si le système vous montrait son brouillon : "Regarde, j'ai mis ce toit ici, mais il ne correspond pas, donc je dois bouger."
• On rejette les mauvais indices : Si un point ne correspond pas bien (par exemple, un nuage qui ressemble à un toit), Loc2 le jette et ne garde que les bons indices.

🏆 Les Résultats : Un champion dans des situations difficiles

Les tests montrent que Loc2 est très fort, même quand :

• La voiture tourne dans tous les sens (orientation inconnue).
• On teste le système dans une ville où il n'a jamais été entraîné (généralisation).
• On utilise des cartes satellites de différentes qualités.

En résumé, Loc2 est comme un navigateur qui ne se contente pas de dire "Tournez à droite", mais qui vous montre : "Je sais que je suis ici parce que je vois ce panneau rouge qui correspond exactement à celui sur la carte, et ce feu qui est bien aligné." C'est précis, c'est logique, et surtout, on comprend comment il trouve sa route.

Résumé technique

1. Problématique

La localisation visuelle fine (fine-grained localization) vise à estimer la pose d'une caméra au sol (2D plan + orientation Yaw, soit 3 degrés de liberté) en comparant une image prise au sol avec une image aérienne (vue de dessus) de la même zone.

• Défis majeurs : Les différences visuelles extrêmes entre les deux vues (perspective oblique vs verticale), les changements d'éclairage et l'absence de vérité terrain au niveau des pixels pour l'appariement.
• Limites des approches existantes :
  • Les méthodes basées sur des descripteurs globaux manquent de précision et d'interprétabilité.
  • Les méthodes basées sur la transformation en vue de dessus (BEV - Bird's Eye View) souffrent de distorsions directionnelles lors du "warping" de l'image au sol et perdent l'information de hauteur, ce qui dégrade les performances, surtout lorsque l'orientation de la caméra est inconnue.
  • Le manque d'interprétabilité : il est difficile de savoir pourquoi une localisation a échoué ou quels points ont été appariés.

2. Méthodologie (Loc2)

L'approche proposée, Loc2, établit directement des correspondances de caractéristiques locales (local features) entre l'image au sol et l'image aérienne, sans passer par une transformation BEV préalable de l'image au sol. Le pipeline est entièrement différentiable et apprend sous une supervision faible (seulement la pose de la caméra).

A. Appariement de caractéristiques locales (Local Feature Matching)

• Architecture : Deux branches partagent le même encodeur (DINOv2 figé) suivi d'une tête de projection légère (convolutions + attention).
• Processus : Calcul des scores d'appariement par similarité cosinus entre les cartes de caractéristiques de l'image au sol ($G$) et de l'image aérienne ($A$).
• Gestion des incertitudes : Utilisation d'un "dustbin" apprenable (comme dans SuperGlue) et d'une normalisation softmax double pour permettre au modèle de rejeter les points non correspondants ou incertains.

B. Élévation en profondeur et Alignement Procrustéen (Depth-Lifting & Procrustes)

C'est le cœur de l'innovation pour gérer la géométrie 3D sans vérité terrain métrique absolue :

1. Élévation (Lifting) : Les points appariés sur l'image au sol sont projetés dans l'espace 3D (BEV) en utilisant une carte de profondeur monoculaire prédite ($D$).
2. Gestion de l'échelle : La profondeur monoculaire est souvent relative (à une échelle inconnue près). Loc2 traite à la fois la profondeur métrique et relative.
3. Alignement Procrustéen Sensible à l'Échelle (Scale-Aware Procrustes Alignment) :
   • Au lieu d'utiliser un solveur PnP classique, la méthode résout analytiquement la transformation (rotation $R$, translation $t$, échelle $s$) entre les points BEV au sol et les points métriques aériens.
   • Cette étape est différentiable, permettant un apprentissage de bout en bout (end-to-end) uniquement avec la supervision de la pose de la caméra.
   • Elle permet de récupérer l'échelle manquante si une profondeur relative est utilisée.

C. Supervision

• Perte VCE (Virtual Correspondence Error) : Minimise la distance entre les points virtuels transformés par la pose estimée et la pose réelle.
• Perte InfoNCE : Encourage les correspondances correctes (positives) et pénalise les mauvaises (négatives) en utilisant la pose de vérité terrain pour identifier les correspondances idéales.

3. Contributions Clés

1. Précision et Généralisation : Une méthode de localisation fine qui atteint l'état de l'art (SOTA) dans des scénarios difficiles, notamment la généralisation inter-régions (cross-area) et l'orientation inconnue (180° d'incertitude).
2. Interprétabilité Forte :
   • La qualité de la localisation est directement corrélée à la qualité des correspondances locales.
   • Possibilité de filtrage des outliers via RANSAC.
   • Visualisation intuitive : en superposant la structure du sol ré-échelonnée sur l'image aérienne, on obtient une preuve visuelle immédiate de la qualité de la localisation (alignement parfait = succès, désalignement = échec).
3. Apprentissage Faible : Pas besoin d'annotations pixel-à-pixel. Le modèle apprend uniquement à partir des poses de caméra, en s'appuyant sur des prédicteurs de profondeur monoculaire (métriques ou relatifs).

4. Résultats Expérimentaux

Les expériences ont été menées sur les datasets KITTI et VIGOR.

• Performance sur KITTI :
  • Sur le test "cross-area" (zones non vues à l'entraînement), Loc2 bat toutes les méthodes précédentes (CCVPE, HC-Net, FG2, etc.) avec une erreur de localisation moyenne de 5.60 m (vs 7.31 m pour FG2) sous une incertitude d'orientation de ±10°.
  • Dans le scénario difficile d'orientation inconnue (±180°), l'erreur moyenne chute de 6.88 m (SOTA précédent) à 1.85 m.
• Performance sur VIGOR :
  • Meilleure performance sur l'estimation de l'orientation inconnue, avec une erreur moyenne de 9.54° (contre 15.02° pour FG2).
  • Robustesse aux prédicteurs de profondeur : La méthode fonctionne aussi bien avec des modèles de profondeur métrique (Unik3D) que relative (BiFuse++, UniFuse), avec une augmentation de l'erreur de localisation inférieure à 0.2 m.
• Généralisation : Le modèle entraîné sur VIGOR (villes US) fonctionne bien sur CVACT (Australie, paysages ruraux) sans réentraînement, démontrant une forte capacité de généralisation de domaine.

5. Signification et Impact

Loc2 représente une avancée significative pour la localisation visuelle croisée (cross-view) en combinant :

• Simplicité et Efficacité : Un pipeline léger et end-to-end.
• Robustesse Géométrique : La capacité à gérer l'échelle inconnue via l'alignement Procrustéen rend la méthode applicable dans des conditions réelles où la profondeur métrique exacte n'est pas disponible.
• Transparence : Contrairement aux "boîtes noires" des descripteurs globaux, Loc2 offre une interprétabilité visuelle directe. L'utilisateur peut voir où le modèle a localisé le véhicule et pourquoi (via l'alignement des bâtiments/rues), ce qui est crucial pour les applications de robotique mobile et de véhicules autonomes où la confiance dans la décision est primordiale.

En résumé, Loc2 surmonte les limitations des approches précédentes en évitant les distorsions de transformation BEV et en exploitant directement la géométrie 3D via la profondeur monoculaire, offrant ainsi une solution précise, robuste et interprétable pour la localisation de véhicules dans des environnements urbains complexes.