Mapping the Unseen: Unified Promptable Panoptic Mapping with Dynamic Labeling using Foundation Models

Sintesi Tecnica: Mappatura Panottica Unificata e Promptabile con Etichettatura Dinamica tramite Modelli di Fondazione

Problematica
La mappatura panottica è essenziale per consentire ai robot di ragionare sia sulla geometria che sulla semantica in ambienti strutturati. Tuttavia, i sistemi esistenti affrontano un compromesso critico: i metodi tradizionali basati su set di categorie predefinite (a vocabolario chiuso) mancano di espressività semantica, mentre gli approcci recenti a vocabolario aperto spesso producono etichette incoerenti. I modelli a vocabolario aperto generano frequentemente etichette strettamente correlate o sinonime (ad esempio, "tavolo da pranzo", "tavolo di legno", "scrivania da cucina") per lo stesso oggetto. Quando queste etichette incoerenti vengono fuse in una mappa 3D, frammentano le entità panottiche, degradano la coerenza volumetrica e non riescono a risolvere come riconciliare le predizioni a vocabolario aperto con i priori volumetrici o la scala dell'oggetto. Le soluzioni attuali richiedono l'addestramento offline per ogni scena, si affidano al ragionamento basato su grafi o non riescono a unificare i sinonimi in una struttura categorica coerente mantenendo al contempo l'accuratezza geometrica.

Metodologia
Il framework proposto, Unified Promptable Panoptic Mapping (UPPM), affronta queste sfide introducendo un meccanismo di Descriptor Dinamico che colma il divario tra percezione a vocabolario aperto e mappatura panottica 3D coerente. La pipeline opera senza addestramento per singola scena o campi di radianza neurale (NeRF), utilizzando modelli di fondazione pronti all'uso in un processo multi-stadio:

1. Estrazione di Caratteristiche Visivo-Linguistiche++ (VLFE++): Il sistema elabora gli input RGB utilizzando Tag2Text per generare didascalie d'immagine e tag a livello di oggetto. Questi vengono analizzati tramite tagging Part-of-Speech (POS) e lemmatizzazione per normalizzare le varianti morfologiche (ad esempio, "sedie" in "sedia"), creando un set di etichette candidate a vocabolario aperto.
2. Recupero Semantico (SR): Per risolvere la frammentazione delle etichette, il SR mappa le etichette a vocabolario aperto su un set fisso di categorie semantiche unificate (basate sulle classi COCO-Stuff) utilizzando la similarità del coseno con gli embedding MPNet. Fondamentalmente, ogni categoria unificata porta con sé un priore di dimensione volumetrica ereditato (Piccolo, Medio o Grande). Questo passaggio produce Elementary Descriptors ($e_i = \langle o_i, \hat{c}_i, \hat{\nu}_i \rangle$), che contengono l'etichetta originale a vocabolario aperto, la categoria unificata e il priore di dimensione.
3. Segmentazione Panottica a Vocabolario Aperto: Grounding-DINO rileva gli oggetti utilizzando le etichette a vocabolario aperto e il Segment Anything Model (SAM) genera le maschere di segmentazione. Viene impiegata una strategia di Non-Maximum Suppression (NMS) Personalizzata per gestire i duplicati derivanti da prompt semanticamente simili. A differenza della tradizionale NMS basata su IoU, questo metodo utilizza un criterio di prossimità basato sulle coordinate per sopprimere bounding box quasi identici e una soppressione basata sul contenimento per i box annidati, riducendo significativamente le associazioni ridondanti.
4. Fusione Panottica Unificata (UPF): Il sistema fonde geometria e semantica in una mappa multi-risoluzione multi-TSDF. Durante la fusione, gli elementary descriptor associati allo stesso submap 3D (oggetto) vengono aggregati in un singolo Dynamic Descriptor. Questo descrittore accumula tutte le etichette a vocabolario aperto osservate nel tempo, mantenendo al contempo una singola categoria unificata stabile e un priore di dimensione. L'associazione è determinata dall'Intersection-over-Union (IoU) tra le maschere predette e renderizzate, con una soglia minima per evitare legami spurii.

Contributi Chiave

1. Meccanismo di Panoptic Dynamic Descriptor: UPPM introduce una nuova struttura dati che aggrega le etichette a vocabolario aperto a livello di oggetto durante la fusione, piuttosto che al momento del rilevamento. Ciò consente al sistema di preservare una ricca espressività a vocabolario aperto (permettendo query come "tavolo marrone chiaro" o "tavolo per mangiare") pur imponendo la coerenza categorica (unificandoli sotto la voce "tavolo") e i priori di dimensione geometrica.
2. Pipeline Senza Addestramento: Il sistema costruisce mappe panottiche 3D che sono geometricamente accurate e semanticamente coerenti senza richiedere addestramento per singola scena, ragionamento basato su grafi o campi di radianza neurale, rendendolo adatto ad applicazioni robotiche in tempo reale.
3. Valutazione Esaustiva e Ablazione: Gli autori valutano UPPM attraverso tre regimi (Segmentation-to-Map, Map-to-Map e Segmentation-to-Segmentation) su dataset ScanNet v2, RIO e Flat. Gli studi di ablazione confermano che la semantica unificata, la NMS personalizzata e i componenti di filtraggio dei frame sfocati sono critici per le prestazioni del sistema.

Risultati
I risultati sperimentali dimostrano che UPPM ottiene prestazioni complessive superiori rispetto ai baseline a set chiuso e a vocabolario aperto allo stato dell'arte:

• Ricostruzione Geometrica: Sul dataset Flat, UPPM ha raggiunto un'accuratezza di 0,61 cm e una completezza di 1,10 cm, superando competitor come Kimera e PanMap. Sul dataset RIO, più rumoroso e del mondo reale, UPPM ha mostrato robustezza alla sfocatura da movimento, raggiungendo una distanza di Chamfer di 5,65 cm e una distanza di Hausdorff di 10,05 cm, significativamente migliore di altri metodi a vocabolario aperto.
• Qualità della Segmentazione Panottica: UPPM ha ottenuto la più alta qualità panottica (PQ: 0,414) e qualità di riconoscimento (RQ: 0,475) sul dataset Flat.
• Approfondimenti dall'Ablazione: La rimozione della semantica unificata (PPM) ha portato a un'etichettatura ambigua e a una minore accuratezza della ricostruzione. La NMS personalizzata ha migliorato il rapporto di completezza dell'8,27% e ha ridotto i falsi negativi del 16,9% in contesti a vocabolario aperto. Il filtraggio dei frame sfocati ha migliorato notevolmente le prestazioni sul dataset rumoroso RIO.
• Efficienza: Sebbene UPPM operi a 2,28 FPS (più lento dei baseline a set chiuso a causa dell'elaborazione visivo-linguistica), scambia la frequenza di fotogrammi con la capacità a vocabolario aperto e una migliore qualità panottica senza necessità di riaddestramento.

Significatività
L'articolo sostiene che UPPM rappresenti un cambio di paradigma dal labeling al momento del rilevamento all'aggregazione semantica al momento della fusione. Riconciliando la semantica a "coda lunga" dei modelli di fondazione con i requisiti di coerenza della mappatura panottica, UPPM consente ai robot di mantenere mappe 3D persistenti e interrogabili. Il sistema preserva l'interpretabzionalità dei prompt a vocabolario aperto — permettendo il recupero di oggetti condizionato dal linguaggio utilizzando sinonimi e parafrasi — fornendo al contempo una forte accuratezza geometrica e prevenendo la frammentazione delle istanze che affligge gli attuali approcci di mappatura a vocabolario aperto. Gli autori pongono questo lavoro come un passo verso una comprensione della scena robusta e in tempo reale che non dipenda da pesanti ottimizzazioni per singola scena.