CrossMaps: Confidence-Aware Open-Vocabulary Semantic Mapping for Rover Navigation

Sintesi Tecnica: CrossMaps – Mappatura Semantica Open-Vocabulary con Consapevolezza della Confidenza per la Navigazione di Rover

Problematica
I rover autonomi che operano in ambienti non strutturati affrontano sfide significative nel mantenere rappresentazioni spaziali che siano sia geometricamente accurate che semanticamente significative. I sistemi di navigazione tradizionali si affidano a mappe geometriche basate su SLAM, che catturano la struttura spaziale ma mancano della comprensione semantica necessaria per l'interazione open-vocabulary. Sebbene i recenti Modelli Vision-Language (VLM) abbiano abilitato la mappatura semantica open-vocabulary (ad es., VLMaps), l'implementazione di questi sistemi su rover mobili rimane difficile. Le problematiche chiave includono osservazioni rumorose e dipendenti dal punto di vista, embedding variabili dovuti a illuminazione e prospettiva, e la necessità di bilanciare la stabilità della mappa su lunghi orizzonti con l'adattabilità richiesta per incorporare nuove evidenze. I metodi esistenti spesso fondono tutte le evidenze in una singola rappresentazione con un trattamento limitato dell'incertezza, rendendoli suscettibili al rumore dei sensori e ai cambiamenti ambientali dinamici.

Metodologia: La Pipeline CrossMaps
CrossMaps affronta queste sfide attraverso una pipeline di mappatura semantica open-vocabulary in tempo reale e consapevole della confidenza, progettata per rover mobili. Il sistema integra embedding CLIP multi-scala con un'architettura a doppia memoria e meccanismi di fusione dei dati basati sulla confidenza.

1. Estrazione di Embedding Multi-Scala:
   La pipeline elabora i dati RGB-D in entrata dividendo i frame RGB in tile multi-scala. Ogni tile viene codificato utilizzando un transformer visuale CLIP pre-addestrato (ViT-L/14) per generare embedding semantici allineati con il linguaggio naturale. Questo approccio a livello di tile evita il costo computazionale degli embedding densi pixel-per-pixel, mantenendo al contempo la robustezza contro il movimento della telecamera.

2. Proiezione Spaziale e Fusione:
   Utilizzando le immagini di profondità ($D_t$) e i punti di vista del rover ($T_t$) stimati tramite SLAM, il sistema proietta all'indietro i pixel di profondità nello spazio 3D. Questi punti 3D sono associati agli embedding semantici dei rispettivi tile d'immagine. Le osservazioni vengono accumulate in una mappa a griglia spaziale top-down.

3. Memoria a Breve Termine (STM) Consapevole della Confidenza:
   La STM agisce come una mappa a griglia dinamica che aggrega le osservazioni recenti. Essa modella esplicitamente l'incertezza percettiva assegnando valori di confidenza alle osservazioni basati su tre indizi:

• Confidenza Geometrica: Tiene conto della distanza del sensore e della visibilità, applicando un decadimento basato sulla distanza per le osservazioni distanti.
• Confidenza Semantica: Misura l'accordo tra i nuovi embedding e l'evidenza attuale della cella tramite la similarità del coseno nello spazio CLIP. Le osservazioni incoerenti vengono penalizzate.
• Confidenza Temporale: Applica un decadimento temporale alla confidenza nelle regioni osservate raramente, permettendo alla mappa di adattarsi ai cambiamenti.

La fusione all'interno della STM è eseguita tramite aggregazione pesata sulla confidenza. Ogni cella mantiene un accumulatore semantico ($S_C$) e un accumulatore di confidenza ($W_C$). Le nuove osservazioni sono regolate tramite un gating morbido basato sulla coerenza semantica prima di essere aggiunte all'embedding della cella.

4. Architettura a Doppia Memoria (Promozione da STM a LTM):
   Per garantire la stabilità, CrossMaps impiega una Memoria a Lungo Termine (LTM) che memorizza landmark semantici persistenti. Le celle nella STM vengono promosse alla LTM solo se soddisfano tre criteri rigorosi:

• Alta Confidenza: L'accumulato di confidenza ($W_C$) deve superare una soglia ($\tau_c$).
• Coerenza Semantica: La norma della media degli embedding fusi all'interno di una cella deve superare una soglia ($\tau_h$), garantendo che osservazioni contrastanti non corrompano la mappa a lungo termine.
• Diversità di Punto di Vista: La cella deve essere osservata da molteplici punti di vista distinti (tracciati tramite una bitmask), confermando l'affidabilità oltre una singola prospettiva.

5. Interrogazione in Linguaggio Naturale:
   La mappa risultante supporta interrogazioni open-vocabulary. Una query in linguaggio naturale viene codificata in un embedding testuale CLIP e confrontata con gli embedding delle celle tramite similarità del coseno. L'output è una mappa di calore spaziale dove il punteggio di corrispondenza è pesato dalla coerenza della cella. Ciò consente alle celle ad alta confidenza di agire come landmark affidabili pur evidenziando potenzialmente utili regioni a bassa confidenza.

Contributi Chiave
Il documento presenta quattro contributi primari:

1. Un framework di mappatura semantica open-vocabulary consapevole della confidenza che assegna confidenza a livello di punto e di cella alle osservazioni basate su CLIP utilizzando indizi geometrici, semantici e temporali durante la fusione della mappa.
2. Una rappresentazione della mappa semantica a doppia memoria che aggrega le osservazioni in una griglia a breve termine (STM) e promuove nella mappa dei landmark persistenti solo le celle sufficientemente fiduciose, coerenti e supportate da molteplici punti di vista.
3. Una pipeline di mappatura semantica in tempo reale che fonde embedding CLIP multi-scala a livello di tile con l'allineamento spaziale basato su SLAM per costruire mappe 3D interrogabili tramite linguaggio sotto il moto del rover.
4. Un meccanismo di promozione e interrogazione basato su confidenza e coerenza che utilizza l'accordo intra-cella per dare forma alle mappe di calore e alla selezione delle celle, mentre utilizza la confidenza della cella per regolare la promozione a lungo termine e i target di navigazione.

Risultati e Dimostrazione
Gli autori hanno implementato CrossMaps come un nodo ROS 2 modulare su un UGV Waveshare equipaggiato con una GPU NVIDIA Jetson Orin e una telecamera RGB-D. Il sistema opera insieme a RTAB-Map per la localizzazione.

• Operatività in Tempo Reale: La pipeline elabora con successo gli stream RGB-D per costruire mappe semantiche in tempo reale.
• Prestazioni di Interrogazione: Il sistema genera mappe di calore spaziali per query in linguaggio naturale (ad es., "pianta", "martello").
• Mitigazione del Rumore: Le visualizzazioni dimostrano che, mentre la STM contiene osservazioni rumorose, la LTM filtra efficacemente queste ultime, producendo suggerimenti sparsi e affidabili. Ad esempio, le query per "martello" mostrano mappe di calore STM rumorose, ma mappe di calore LTM più pulite e affidabili, validando l'efficacia dei meccanismi di gating di confidenza e coerenza.

Significatività e Rivendicazioni
Il documento afferma che CrossMaps dimostra la fattibilità della combinazione di percezione open-vocabulary con fusione consapevole della confidenza e una rappresentazione a doppia memoria per consentire ai rover di costruire mappe semantiche interrogabili tramite linguaggio, mitigando al contempo il rumore percettivo. Separando le osservazioni incerte (STM) dalle strutture stabili (LTM), il sistema raggiunge un equilibrio tra plasticità e robustezza. Gli autori pongono questo lavoro come un passo verso una navigazione di rover più sicura in condizioni di parziale osservabilità, con lavori futuri pianificati per integrare l'estrazione di feature basata sulla segmentazione ed estendere il framework verso la condivisione della conoscenza multi-agente e il ragionamento neuro-simbolico per scenari critici per la sicurezza.