🤖 AI

Mapping the Unseen: Unified Promptable Panoptic Mapping with Dynamic Labeling using Foundation Models

Dit artikel introduceert UPPM, een training-vrij framework dat fundamentele modellen benut om dynamische descriptoren te genereren en deze te fuseren binnen een multi-resolutie TSDF-kaart, waardoor labelfragmentatie in open-vocabulary panoptische mapping wordt opgelost om hoogwaardige, persistente en promptbare scène-begrip te bereiken.

Oorspronkelijke auteurs: Mohamad Al Mdfaa, Raghad Salameh, Geesara Kulathunga, Sergey Zagoruyko, Gonzalo Ferrer

Gepubliceerd 2026-02-04

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Mohamad Al Mdfaa, Raghad Salameh, Geesara Kulathunga, Sergey Zagoruyko, Gonzalo Ferrer

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een robot voor die probeert een 3D-kaart van een kamer te maken terwijl hij er doorheen loopt. Om dit goed te doen, heeft de robot twee dingen nodig: een precies begrip van waar dingen zijn (geometrie) en wat dingen zijn (semantiek).

Lange tijd waren robots als studenten die slechts een vaste lijst met vocabulaire kenden. Als ze een "bank" zagen, wisten ze dat. Maar als ze een "zetel", een "loveseat" of een "grote comfortabele stoel" zagen, konden ze in de war raken, of ze zouden het als drie verschillende objecten behandelen, of het simpelweg "meubilair" noemen. Dit maakte hun mentale kaarten rommelig en inconsistent.

Dit paper introduceert een nieuw systeem genaamd UPPM (Unified Promptable Panoptic Mapping) dat dit probleem oplost met behulp van "foundation models" (superintelligente AI-modellen die getraind zijn op het hele internet). Zo werkt het, met behulp van eenvoudige analogieën:

1. Het Probleen: De "Verwarde Vertaler"

Stel je voor dat een robot foto's maakt van een kamer. Elke keer dat hij een tafel ziet, beschrijft een geavanceerd AI-model (de "vertaler") deze misschien anders op basis van de hoek of de belichting:

Frame 1: "Een ronde houten tafel."
Frame 2: "Een eettafel."
Frame 3: "Een bruine tafel."

In oudere systemen zou de robot dit als drie aparte objecten behandelen. Het zou drie verschillende 3D-vormen voor dezelfde tafel bouwen, waardoor de kaart er glitchy en gefragmenteerd uit zou zien.

2. De Oplossing: Het "Dynamische ID-kaart"

UPPM introduceert een slimme truc genaamd de Dynamic Descriptor. Zie dit als een speciale ID-kaart die elk object in de kamer krijgt.

In plaats van de robot te dwingen om direct één naam te kiezen, doet UPPM drie dingen:

Verzamelt de aanwijzingen: Het verzamelt al die verschillende beschrijvingen die de AI aan het object gaf over de tijd heen ("rond", "houten", "eettafel", "bruin").
Vindt de "Echte" Naam: Het gebruikt een slimme zoekopdracht om de meest passende standaard categorie te vinden (bijv. "Tafel"). Het wijst ook een standaard grootte aan (bijv. "Medium").
Houdt de details vast: Zelfs als het weet dat het object een "Tafel" is, houdt het een notitie bij van alle mooie beschrijvingen die het heeft gehoord ("rond", "houten", enz.) op de ID-kaart.

3. Hoe het de kaart bouwt

De robot bouwt een 3D-kaart bestaande uit kleine blokjes (als een gigantische 3D-Lego-structuur).

Het "Unified" deel: Wanneer de robot de "ronde houten tafel" ziet en later de "eettafel", beseft hij dat ze hetzelfde blokje zijn in de 3D-Lego-structuur. Het voegt ze samen tot één solide object.
Het "Promptable" deel: Omdat de ID-kaart al die extra beschrijvingen bevat, kun je de robot vragen: "Laat me de ronde houten tafel zien," of "Laat me de eettafel zien," en hij zal naar exact hetzelfde object wijzen. Hij begrijpt dat deze verschillende woorden naar hetzelfde ding verwijzen.

4. Het opruimen van de rommel

Het paper vermeldt ook een paar "huishoudelijke" trucs om de kaart beter te maken:

De "Wazige Foto" Filter: Als de camera van de robot schudt of het beeld wazig is, slaat het systeem dat frame over. Het is alsof een fotograaf een wazige foto negeert zodat deze het uiteindelijke album niet verpest.
De "Duplicaat Detector": Soms wordt de AI enthousiast en tekent twee kaders rond dezelfde stoel. Het systeem heeft een speciale regel (Custom NMS) om deze bijna identieke duplicaten op te sporen en de extra te verwijderen, zodat de robot niet denkt dat er twee stoelen zijn waar er slechts één is.

De Resultaten

De auteurs hebben dit systeem getest op drie verschillende datasets (gesimuleerde en echte kamers). Ze kwamen tot de volgende conclusies:

Betere Kaarten: De 3D-kaarten waren nauwkeuriger en vollediger dan eerdere methoden.
Beter Begrip: De robot kon objecten correct identificeren, zelfs wanneer de AI het ze met vreemde of variërende namen gaf.
Geen Extra Training: Het systeem werkt "out of the box" met bestaande AI-modellen; het hoeft niet opnieuw getraind te worden voor elke nieuwe kamer.

Kortom: UPPM is als het geven van een slimme assistent aan een robot die in staat is om naar veel verschillende manieren te luisteren waarop een object wordt beschreven, te begrijpen wat het object daadwerkelijk is, en een verslag bij te houden van al die interessante details, terwijl het tegelijkertijd een perfecte 3D-kaart van de wereld bouwt.

Technische Samenvatting: Unified Promptable Panoptic Mapping met Dynamische Labeling met behulp van Foundation Models

Probleemstelling
Panoptische mapping is essentieel voor het in staat stellen van robots om zowel over geometrie als over semantiek te redeneren in gestructureerde omgevingen. Bestaande systemen kampen echter met een kritieke afweging: traditionele methoden die vertrouwen op vooraf gedefinieerde categorie-sets (closed-vocabulary) missen semantische expressiviteit, terwijl recente open-vocabulary benaderingen vaak inconsistente labels genereren. Open-vocabulary modellen genereren vaak nauw verwante of synonieme labels (bijv. "eettafel", "houten tafel", "keukentafel") voor hetzelfde object. Wanneer deze inconsistente labels in een 3D-kaart worden gefuseerd, fragmenteren ze panoptische entiteiten, verslechteren ze de volumetrische consistentie en falen ze in het oplossen van hoe open-vocabulary voorspellingen te verzoenen met volumetrische priors of objectschaal. Huidige oplossingen vereisen ofwel per scène offline training, vertrouwen op graafgebaseerde redenering, of falen in het verenigen van synoniemen tot een consistente categorische structuur terwijl de geometrische nauwkeurigheid behouden blijft.

Methodologie
Het voorgestelde Unified Promptable Panoptic Mapping (UPPM) framework pakt deze uitdagingen aan door een Dynamic Descriptor mechanisme te introduceren dat open-vocabulary perceptie overbrugt met consistente 3D panoptische mapping. De pijplijn werkt zonder per scène training of neural radiance fields, en maakt gebruik van off-the-shelf foundation models in een meerfasig proces:

Visual-Linguistic Feature Extraction++ (VLFE++): Het systeem verwerkt RGB-inputs met behulp van Tag2Text om beeldonderschriften en object-specifieke tags te genereren. Deze worden geparst met behulp van Part-of-Speech (POS) tagging en lemmatisering om morfologische varianten te normaliseren (bijv. "stoelen" naar "stoel"), wat een set open-vocabulary kandidaat-labels creëert.
Semantic Retrieval (SR): Om labelfragmentatie op te lossen, mapt SR de open-vocabulary labels naar een vaste set verenigde semantische categorieën (gebaseerd op COCO-Stuff klassen) met behulp van cosinus-gelijkenis met MPNet-embeddings. Cruciaal is dat elke verenigde categorie een geïnheredeerde volumetrische grootteprior draagt (Klein, Medium of Groot). Deze stap produceert Elementary Descriptors ( $e_i = \langle o_i, \hat{c}_i, \hat{\nu}_i \rangle$ ), die het originele open-vocabulary label, de verenigde categorie en de grootteprior bevatten.
Open-Vocabulary Panoptic Segmentation: Grounding-DINO detecteert objecten met behulp van de open-vocabulary labels, en het Segment Anything Model (SAM) genereert segmentatiemaskers. Een Custom Non-Maximum Suppression (NMS) strategie wordt toegepast om duplicaten te behandelen die voortkomen uit semantisch vergelijkbare prompts. In tegen tegenstelling tot traditionele IoU-gebaseerde NMS, gebruikt deze methode een coördinaat-gebaseerd nabijheidscriterium om bijna identieke bounding boxes te onderdrukken en containment-gebaseerde onderdrukking voor geneste boxen, wat redundante associaties aanzienlijk vermindert.
Unified Panoptic Fusion (UPF): Het systeem fuseert geometrie en semantiek in een multi-resolutie multi-TSDF kaart. Tijdens de fusie worden elementary descriptors geassocieerd met dezelfde 3D submap (object) geaggregeerd tot een enkele Dynamic Descriptor. Deze descriptor accumuleert alle geobserveerde open-vocabulary labels over tijd, terwijl een enkele, stabiele verenigde categorie en grootteprior behouden blijft. Associatie wordt bepaald door Intersection-over-Union (IoU) tussen voorspelde en gerenderde maskers, met een minimale drempelwaarde om spookachtige links te vermijden.

Belangrijkste Bijdragen

Panoptic Dynamic Descriptor Mechanisme: UPPM introduceert een nieuw datastructuur die open-vocabulary labels op objectniveau aggregeert tijdens fusie in plaats van tijdens detectie. Dit stelt het systeem in staat om rijke, open-vocabulary expressiviteit te behouden (wat queries mogelijk maakt zoals "lichtbruine tafel" of "eettafel") terwijl het categorische consistentie (het verenigen van deze onder "tafel") en geometrische grootteprior afdwingt.
Training-Vrije Pijplijn: Het systeem construeert 3D panoptische kaarten die geometrisch accuraat en semantisch consistent zijn zonder per scène training, graafgebaseerde redenering of neural radiance fields te vereisen, wat het geschikt maakt voor real-time robotica-toepassingen.
Uitgebreide Evaluatie en Ablatie: De auteurs evalueren UPPM over drie regimes (Segmentation-to-Map, Map-to-Map, en Segmentation-to-Segmentation) op de ScanNet v2, RIO, en Flat datasets. Ablatiestudies bevestigen dat de verenigde semantiek, de custom NMS en de blurry-frame filtering componenten cruciaal zijn voor de prestaties van het systeem.

Resultaten
Experimentele resultaten tonen aan dat UPPM een superieure algehele prestatie bereikt vergeleken met state-of-the-art closed-set en open-vocabulary baselines:

Geometrische Reconstructie: Op de Flat dataset behaalde UPPM een nauwkeurigheid van 0,61 cm en een volledigheid van 1,10 cm, waarmee het concurrenten zoals Kimera en PanMap overtrof. Op de ruisgevoelige, real-world RIO dataset toonde UPPM robuustheid tegen bewegingsonscherpte, met een Chamfer-afstand van 5,65 cm en een Hausdorff-afstand van 10,05 cm, wat aanzienlijk beter is dan andere open-vocabulary methoden.
Panoptische Segmentatiekwaliteit: UPPM behaalde de hoogste Panoptic Quality (PQ: 0,414) en Recognition Quality (RQ: 0,475) op de Flat dataset.
Ablatie-inzichten: Het verwijderen van verenigde semantiek (PPM) leidde tot ambigue labeling en lagere reconstructienauwkeurigheid. De custom NMS verbeterde de completion ratio met 8,27% en verminderde false negatives met 16,9% in open-vocabulary settings. Blurry frame filtering verbeterde de prestaties op de ruisgevoelige RIO dataset aanzienlijk.
Efficiëntie: Hoewel UPPM met 2,28 FPS werkt (langzamer dan closed-set baselines vanwege vision-language verwerking), ruilt het frame rate in voor open-vocabulary capaciteit en verbeterde panoptische kwaliteit zonder hertraining.

Significantie
Het artikel beweert dat UPPM een paradigmaverschuiving vertegenwoordigt van detectie-tijd labeling naar fusie-tijd semantische aggregatie. Door de long-tailed semantiek van foundation models te verzoenen met de consistentie-eisen van panoptische mapping, stelt UPPM robots in staat om persistente, querybare 3D-kaarten te onderhouden. Het systeem behoudt de interpreteerbaarheid van open-vocabulary prompts — waardoor taal-geconditioneerde objectretrieval met synoniemen en parafrases mogelijk is — terwijl het sterke geometrische nauwkeurigheid levert en de fragmentatie van instanties voorkomt die bestaande open-vocabulary mapping benaderingen teistert. De auteurs positioneren dit als een stap naar robuuste, real-time scenario-begrip die niet afhankelijk is van zware per-scène optimalisatie.