Résumé technique : ProteusVPR pour la reconnaissance de lieux visuelle inter-scènes en perception maritime

1. Énoncé du problème

L'inspection robotique autonome dans les environnements maritimes fait face à des défis uniques pour la reconnaissance de lieux visuelle (VPR) en raison de changements perceptuels inter-scènes extrêmes. Les robots naviguant dans des environnements de navires doivent effectuer des transitions entre deux domaines visuellement distincts :

• Ponts ouverts : Caractérisés par des textures éparses, des arrière-plans ciel-mer répétitifs et des changements d'illumination sévères causés par la météo et les reflets.
• Cabines fermées : Définies par des structures hautement répétitives, des couloirs étroits et des configurations multi-étages présentant une forte similitude d'apparence.

Les méthodes VPR existantes, principalement conçues pour les scènes urbaines ou intérieures (ex. : NetVLAD, CosPlace, MixVPR), ne parviennent pas à se généraliser de manière fiable à travers ces scénarios si contrastés. Elles optimisent souvent la recherche au niveau de l'image plutôt que la localisation précise, luttant contre l'ambiguïté des structures intérieures répétitives et le manque de texture sur les ponts ouverts. De plus, le simple ajustement fin (fine-tuning) des modèles existants sur des jeux de données maritimes est souvent insuffisant car leurs représentations de caractéristiques sous-jacentes sont conçues pour la recherche générique à grande échelle plutôt que pour la localisation intérieure répétitive.

2. Méthodologie : ProteusVPR

Les auteurs proposent ProteusVPR, un cadre de recherche-raffinage en deux étapes conçu pour adapter les systèmes VPR existants aux environnements de cabines maritimes sans redéfinir l'architecture de recherche.

Étape 1 : Recherche d'images initiale

La première étape utilise un modèle VPR standard pré-entraîné (ex. : MutualVPR, CosPlace, SALAD) pour extraire l'image de référence ($I_{r1}$) la plus visuellement similaire d'une base de données géotaggée. Cette étape produit la localisation géographique ($\mathbf{p}_{r1}$) et l'azimut du centre du champ de vision ($y_{r1}$) de l'image extraite.

Étape 2 : Réseau d'estimation géométrique-visuelle

La seconde étape affine la recherche initiale à l'aide d'un réseau d'estimation de déplacement relatif. Il prend en entrée l'image extraite ($I_{r1}$) et les deux images précédentes de la séquence vidéo de requête ($I_{r2}, I_{r3}$). Le réseau fusionne plusieurs modalités pour estimer la localisation précise :

1. Extraction de caractéristiques visuelles : Un encodeur DINOv2 ViT-B/14 gelé traite l'image de requête et les trois images de référence. Les caractéristiques sont enrichies par la concaténation des jetons CLS et des jetons de patch moyens, suivies de mécanismes d'attention inter-référence et requête-référence.
2. Encodage du descripteur géométrique : Le réseau calcule les relations géométriques (déplacements, distances et angles) entre les trois points de référence. Celles-ci sont encodées en un descripteur géométrique global ($\mathbf{f}_{geo}$).
3. Système de coordonnées affines local : Pour obtenir l'invariance en rotation et en translation, un système de coordonnées affines 2D local est construit à l'aide des trois points de référence. La localisation de la requête est estimée comme un déplacement ($\boldsymbol{\delta}_{local}$) par rapport au centroïde de ce système local, plutôt qu'en coordonnées globales.
4. Encodage de l'azimut : Les azimuts du centre du champ de vision (angles de lacet/yaw) de la requête et des images de référence sont encodés et fusionnés pour fournir un contexte directionnel.
5. Régression et transformation : Un MLP régresse le vecteur de déplacement local. Celui-ci est transformé en coordonnées globales en utilisant la base affine construite.

Fonction de perte : Le réseau est entraîné de bout en bout en utilisant une combinaison de :

• Perte de position absolue ($\mathcal{L}_{abs}$) : Distance euclidienne entre les positions prédites et réelles.
• Perte de cohérence géométrique ($\mathcal{L}_{geo\_cons}$) : Garantit que la position prédite reste géométriquement plausible par rapport aux points de référence (contraintes barycentriques), pénalisant les prédictions qui s'écartent significativement du groupe de référence.

3. Le jeu de données XHZ

Pour soutenir une évaluation rigoureuse, les auteurs introduisent le jeu de données XHZ (Xinhongzhuan Visual), collecté à partir d'un navire opérationnel.

• Portée : Couvre les cabines intérieures (structures multi-étages), les zones de transition de pont et les zones de pont extérieures.
• Caractéristiques : Présente des configurations spatiales hautement répétitives, une forte similitude visuelle et des trajectoires de mouvement contraintes.
• Annotation : Contient 2 996 images panoramiques (Version 1) avec une séparation stricte entre requête et base de données. Le jeu de données utilise une stratégie spécifique d'offset de coordonnées pour distinguer les différents ponts (L0–L3) dans les projections 2D, empênant les fausses associations entre les étages.
• Protocole d'évaluation : Les requêtes sont sélectionnées selon des angles de lacet spécifiques (0°), tandis que la base de données inclut d'autres angles et cadres temporels pour simuler des scénarios d'observation discrète et de cartographie dense.

4. Résultats expérimentaux

Des expériences approfondies ont été menées sur le jeu de données XHZ en utilisant plusieurs architectures VPR (BoQ, CosPlace, EigenPlaces, MixVPR, SALAD, MutualVPR) avec des poids pré-entraînés et affinés.

• Performance de recherche : L'ajustement fin a considérablement amélioré la performance de base. MutualVPR (affiné) a atteint le rappel le plus élevé (R@1 jusqu'à 97,3 % sur la couche 3) et l'erreur de localisation du quantile 90 % la plus faible sur toutes les couches.
• Performance de raffinement : L'étape de raffinement de ProteusVPR a systématiquement amélioré la précision de la localisation.
  • En moyenne, le cadre a réduit l'erreur de localisation moyenne de plus de 60 % sur plusieurs architectures.
  • Pour MutualVPR (affiné) sur la couche 3, l'erreur moyenne est passée de 1,519 m (Étape 1) à 0,242 m (Étape 2), soit une réduction de 84,1 %.
  • Pour CosPlace (affiné) sur la couche 3, l'erreur moyenne est passée de 4,416 m à 0,275 m (réduction de 93,8 %).
• Robustesse : L'étape de raffinement a été particulièrement efficace pour corriger les erreurs de la "longue traîne" (échecs catastrophiques) où la recherche initiale était inexacte, corrigeant souvent les erreurs de recherche entre les étages en exploitant la continuité temporelle des images précédentes.

Étude d'ablation

• Descripteurs géométriques : La suppression de l'encodage des descripteurs géométriques a provoqué une chute massive de la performance (ex. : l'erreur du quantile 90 % de la couche 3 est passée de 0,432 m à 2,974 m), confirmant son rôle critique.
• Système de coordonnées affines local : La suppression de ce système (réalisation de la régression en coordonnées globales) a considérablement dégradé les performances, validant la nécessité de l'invariance.
• Encodage de l'azimut : La suppression de l'encodage explicite de l'azimut n'a entraîné qu'une perte de performance marginale, suggérant que les caractéristiques visuelles dans les intérieurs de navires encodent implicitement l'information directionnelle.

5. Signification et revendications

L'article affirme que ProteusVPR offre une solution efficace et robuste pour la localisation visuelle précise dans des environnements maritimes inter-scènes complexes. Sa principale importance réside dans :

1. Adaptabilité générale : Il sert de cadre de raffinement de seconde étape général qui peut être appliqué aux systèmes VPR existants, améliorant leurs performances en milieu maritime sans nécessiter une refonte complète de l'architecture.
2. Combler le fossé : Il réussit à combler le fossé entre les scénarios en pleine mer (ex. : accostage autonome) et les environnements fermés (ex. : inspection de cabine basée sur la RA), répondant à l'aliasing perceptuel spécifique trouvé dans les intérieurs de navires répétitifs.
3. Évaluation (Benchmarking) : L'introduction du jeu de données XHZ fournit un benchmark rigoureux et détaillé pour la VPR maritime, répondant au manque de jeux de données appropriés pour évaluer la navigation inter-scènes sur les navires.

Les auteurs reconnaissent des limites, notant que le cadre dépend de la qualité de la recherche initiale (les échecs de recherche sévères ne peuvent pas être totalement corrigés) et que le jeu de données est actuellement limité à un seul navire. Des travaux futurs sont suggérés pour explorer la recherche sensible à l'incertitude et des jeux de données maritimes plus larges et plus diversifiés.