Sintesi Tecnica: ProteusVPR per il Riconoscimento Visivo di Luoghi Cross-Scene nella Percezione Marittima

1. Definizione del Problema

L'ispezione robotica autonoma in ambienti marittimi affronta sfide uniche per il Riconoscimento Visivo di Luoghi (VPR) a causa di estremi spostamenti percettivi cross-scene. I robot che navigano in ambienti di bordo nave devono transitare tra due domini visivamente distinti:

• Ponti Aperti (Open Decks): Caratterizzati da texture sparse, sfondi ripetitivi cielo-acqua e severe variazioni di illuminazione causate dalle condizioni meteorologiche e dai riflessi.
• Cabine Chiuse (Enclosed Cabins): Definite da strutture altamente ripetitive, corridoi stretti e layout multi-piano con forte somiglianza estetica.

I metodi VPR esistenti, progettati principalmente per scene urbane o indoor (ad es., NetVLAD, CosPlace, MixVPR), non riescono a generalizzare in modo affidabile attraverso questi scenari così diversi. Spesso ottimizzano per il recupero a livello di immagine piuttosto che per la localizzazione precisa, faticando con l'ambiguità delle strutture interne ripetitive e la mancanza di texture nei ponti aperti. Inoltre, il semplice fine-tuning di modelli esistenti su dataset marittimi è spesso insufficiente perché le loro rappresentazioni di feature sottostanti sono progettate per il recupero generico su larga scala piuttosto che per la localizzazione indoor ripetitiva.

2. Metodologia: ProteusVPR

Gli autori propongono ProteusVPR, un framework di recupero-raffinamento a due stadi progettato per adattare i sistemi VPR esistenti agli ambienti delle cabine marittime senza ridisegnare il backbone di recupero.

Stadio 1: Recupero Immagine Iniziale

Il primo stadio impiega un modello VPR pre-addestrato standard (ad es., MutualVPR, CosPlace, SALAD) per recuperare l'immagine di riferimento ($I_{r1}$) visivamente più simile da un database georeferenziato. Questo stadio restituisce la posizione geografica ($\mathbf{p}_{r1}$) e l'azimut del centro del campo visivo ($y_{r1}$) dell'immagine recuperata.

Stadio 2: Rete di Stima Geo-Visiva

Il secondo stadio raffina il recupero iniziale utilizzando una rete di stima dello spostamento relativo. Essa prende in input l'immagine recuperata ($I_{r1}$) e i due frame temporali precedenti della sequenza video di query ($I_{r2}, I_{r3}$). La rete fonde molteplici modalità per stimare la posizione precisa:

1. Estrazione delle Caratteristiche Visive: Un encoder DINOv2 ViT-B/14 congelato elabora la query e le tre immagini di riferimento. Le feature sono potenziate tramite la concatenazione dei token CLS e dei token patch medi, seguiti da meccanismi di attenzione inter-riferimento e query-riferimento.
2. Codifica dei Descrittori Geometrici: La rete calcola le relazioni geometriche (spostamenti, distanze e angoli) tra i tre punti di riferimento. Questi vengono codificati in un descrittore geometrico globale ($\mathbf{f}_{geo}$).
3. Sistema di Coordinate Affini Locale: Per ottenere invarianza alla rotazione e alla traslazione, viene costruito un sistema di coordinate affini 2D locale utilizzando i tre punti di riferimento. La posizione della query viene stimata come uno spostamento ($\boldsymbol{\delta}_{local}$) rispetto al baricentro di questo sistema locale, anziché in coordinate globali.
4. Codifica dell'Azimut: Gli azimut del centro del campo visivo (angoli di yaw) della query e delle immagini di riferimento vengono codificati e fusi per fornire il contesto direzionale.
5. Regressione e Trasformazione: Un MLP regredisce il vettore di spostamento locale. Questo viene trasformato nuovamente in coordinate globali utilizzando la base affine costruita.

Funzione di Perdita (Loss Function): La rete è addestrata end-to-end utilizzando una combinazione di:

• Perdita di Posizione Assoluta ($\mathcal{L}_{abs}$): Distanza euclidea tra la posizione predetta e quella reale (ground-truth).
• Perdita di Consistenza Geometrica ($\mathcal{L}_{geo\_cons}$): Garantisce che la posizione predetta rimanga geometricamente plausibile rispetto ai punti di riferimento (vincoli baricentrici), penalizzando le predizioni che deviano significativamente dal cluster di riferimento.

3. Il Dataset XHZ

Per supportare una valutazione rigorosa, gli autori introducono il Dataset XHZ (Xinhongzhuan Visual), raccolto da una nave operativa.

• Ambito: Copre cabine interne (strutture multi-piano), zone di transizione del ponte e aree esterne del ponte.
• Caratteristiche: Presenta layout spaziali altamente ripetitivi, forte somiglianza visiva e traiettorie di movimento vincolate.
• Annotazione: Contiene 2.996 immagini panoramiche (Versione 1) con una rigorosa separazione tra query e database. Il dataset utilizza una specifica strategia di offset delle coordinate per distinguere i diversi ponti (L0–L3) nelle proiezioni 2D, evitando false associazioni tra i piani.
• Protocollo di Valutazione: Le query sono selezionate da specifici angoli di yaw (0°), mentre il database include altri angoli e frame temporali per simulare scenari di osservazione discreta e mappatura densa.

4. Risultati Sperimentali

Sono stati condotti estesi esperimenti sul dataset XHZ utilizzando molteplici backbone VPR (BoQ, CosPlace, EigenPlaces, MixVPR, SALAD, MutualVPR) sia con pesi pre-addestrati che con pesi sottoposti a fine-tuning.

• Prestazioni di Recupero: Il fine-tuning ha migliorato significativamente le prestazioni di base. MutualVPR (fine-tuned) ha ottenuto il recall più elevato (R@1 fino al 97,3% su Layer 3) e l'errore di localizzazione al quantile 90% più basso in tutti i layer.
• Prestazioni di Raffinamento: La fase di raffinamento di ProteusVPR ha costantemente migliorato l'accuratezza della localizzazione.
  • In media, il framework ha ridotto l'errore medio di localizzazione di oltre il 60% attraverso molteplici backbone.
  • Per MutualVPR (fine-tuned) su Layer 3, l'errore medio è sceso da 1,519 m (Stadio 1) a 0,242 m (Stadio 2), una riduzione dell'84,1%.
  • Per CosPlace (fine-tuned) su Layer 3, l'errore medio è sceso da 4,416 m a 0,275 m (riduzione del 93,8%).
• Robustezza: La fase di raffinamento è stata particolarmente efficace nel correggere gli errori "long-tail" (fallimenti catastrofici) dove il recupero iniziale era inaccurato, correggendo spesso gli errori di recupero tra i vari piani sfruttando la continuità temporale dei frame precedenti.

Studio di Ablazione

• Descrittori Geometrici: La rimozione della codifica dei descrittori geometrici ha causato un enorme calo delle prestazioni (ad es., l'errore al quantile 90% su Layer 3 è passato da 0,432 m a 2,974 m), confermando il suo ruolo critico.
• Sistema di Coordinate Affini Locale: La rimozione di questo sistema (eseguendo la regressione in coordinate globali) ha degradato significativamente le prestazioni, validando la necessità di invarianza.
• Codifica dell'Azimut: La rimozione della codifica esplicita dell'azimut ha causato solo una perdita marginale di prestazioni, suggerendo che le feature visive negli interni delle navi codificano implicitamente l'informazione direzionale.

5. Significato e Rivendicazioni

Il paper sostiene che ProteusVPR offre una soluzione efficace e robusta per la localizzazione visiva precisa in sfidanti ambienti marittimi cross-scene. La sua importanza primaria risiede in:

1. Adattabilità Generale: Funge da framework di raffinamento di secondo stadio che può essere applicato ai sistemi VPR esistenti, migliorandone le prestazioni in contesti marittimi senza richiedere una revisione completa dell'architettura.
2. Colmare il Divario: Colma con successo il divario tra scenari di mare aperto (ad es., ormeggio autonomo) e ambienti chiusi (ad es., ispezione delle cabine basata su AR), affrontando l'aliasing percettivo specifico presente nei ripetitivi interni delle navi.
3. Benchmarking: L'introduzione del dataset XHZ fornisce un benchmark rigoroso e granulare per il VPR marittimo, affrontando la mancanza di dataset idonei per valutare la navigazione cross-scene sulle navi.

Gli autori riconoscono i limiti, notando che il framework dipende dalla qualità del recupero iniziale (i fallimenti gravi di recupero non possono essere completamente corretti) e che il dataset è attualmente limitato a una singola nave. Il lavoro futuro suggerisce di esplorare il recupero consapevole dell'incertezza e dataset marittimi più ampi e diversificati.