CrossMaps: Confidence-Aware Open-Vocabulary Semantic Mapping for Rover Navigation

Technische Samenvatting: CrossMaps – Vertrouwensbewuste Open-Vocabulary Semantische Mapping voor Rover-navigatie

Probleemstelling
Autonome rovers die opereren in ongestructureerde omgevingen worden geconfronteerd met aanzienlijke uitdagingen bij het behouden van ruimtelijke representaties die zowel geometrisch accuraat als semantisch betekenisvol zijn. Traditionele navigatiesystemen vertrouwen op SLAM-gebaseerde geometrische kaarten, die de ruimtelijke structuur vastleggen maar de semantische verstandhouding missen die vereist is voor open-vocabulary interactie. Hoewel recente Vision-Language Models (VLM's) open-vocabulary semantische mapping mogelijk hebben gemaakt (bijv. VLMaps), blijft de implementatie van deze systemen op mobiele rovers moeilijk. Belangrijke problemen zijn ruisachtige en viewpoint-afhankelijke observaties, variërende embeddings door verlichting en perspectief, en de noodzaak om de stabiliteit van de kaart over lange tijdlijnen te balanceren met de adaptiviteit die nodig is om nieuwe informatie te integreren. Bestaande methoden fuseren vaak alle bewijslast in een enkele representatie met beperkte behandeling van onzekerheid, wat hen vatbaar maakt voor sensorruis en dynamische veranderingen in de omgeving.

Methodologie: De CrossMaps Pipeline
CrossMaps pakt deze uitdagingen aan via een real-time, vertrouwensbewuste open-vocabulary semantische mapping pipeline die is ontworpen voor mobiele rovers. Het systeem integreert multi-schaal CLIP-embeddings met een dual-memory architectuur en vertrouwensbewuste datafusie-mechanismen.

1. Multi-schaal Embedding Extractie:
   De pipeline verwerkt binnenkomende RGB-D data door RGB-frames op te delen in multi-schaal tegels (tiles). Elke tegel wordt gecodeerd met behulp van een vooraf getrainde CLIP visual transformer (ViT-L/14) om semantische embeddings te genereren die zijn uitgelijnd met natuurlijke taal. Deze tegel-gebaseerde aanpak vermijdt de computationele kosten van dense, pixel-gewijze embeddings terwijl de robuustheid tegen camerabeweging behouden blijft.

2. Ruimtelijke Projectie en Fusie:
   Met behulp van dieptebeelden ($D_t$) en rover-viewpoints ($T_t$) die door SLAM zijn geschat, projecteert het systeem dieptepixels terug in de 3D-ruimte. Deze 3D-punten worden geassocieerd met de semantische embeddings van de bijbehorende beeldtegels. De observaties worden geaccumuleerd in een top-down ruimtelijke gridkaart.

3. Vertrouwensbewuste Short-Term Memory (STM):
   De STM fungeert als een dynamische gridkaart die recente observaties aggregeert. Het modelleert perceptie-onzekerheid expliciet door vertrouwenswaarden toe te wijzen aan observaties op basis van drie aanwijzingen:

• Geometrisch Vertrouwen: Houdt rekening met sensorafstand en zichtbaarheid, waarbij afstand-gebaseerde decay wordt toegepast op verre observaties.
• Semantisch Vertrouwen: Meet de overeenstemming tussen nieuwe embeddings en de huidige cel-evidence via cosine similarity in de CLIP-ruimte. Inconsistente observaties worden lager gewogen.
• Temporeel Vertrouwen: Past tijd-gebaseerde decay toe op het vertrouwen in zelden geobserveerde regio's, waardoor de kaart kan adapteren aan veranderingen.

Fusie binnen de STM wordt uitgevoerd via vertrouwensgewogen aggregatie. Elke cel onderhoudt een semantische accumulator ($S_C$) en een vertrouwensaccumulator ($W_C$). Nieuwe observaties worden zachtjes gefilterd op basis van semantische consistentie voordat ze aan de embedding van de cel worden toegevoegd.

4. Dual-Memory Architectuur (STM naar LTM Promotie):
   Om stabiliteit te garanderen, gebruikt CrossMaps een Long-Term Memory (LTM) die persistente semantische landmarks opslaat. Cellen in de STM worden alleen gepromoveerd naar de LTM als ze aan drie strikte criteria voldoen:

• Hoog Vertrouwen: De geaccumuleerde vertrouwenswaarde ($W_C$) moet een drempelwaarde ($\tau_c$) overschrijden.
• Semantische Coherentie: De norm van het gemiddelde van de gefuseerde embeddings binnen een cel moet een drempelwaarde ($\tau_h$) overschrijden, wat ervoor zorgt dat conflicterende observaties de langetermijnkaart niet corrumperen.
• Viewpoint Diversiteit: De cel moet vanuit meerdere verschillende viewpoints zijn geobserveerd (bijgehouden via een bitmask), wat de betrouwbaarheid buiten een enkel perspectief bevestigt.

5. Natuurlijke Taal Querying:
   De resulterende kaart ondersteunt open-vocabulary queries. Een natuurlijke taal query wordt gecodeerd in een CLIP tekst-embedding en vergeleken met cel-embeddings met behulp van cosine similarity. De output is een ruimtelijke heatmap waarbij de matchingscore wordt gewogen door cel-coherentie. Dit stelt hoog-vertrouwde cellen in staat om als betrouwbare landmarks te fungeren, terwijl potentieel nuttige laag-vertrouwde regio's nog steeds worden geaccentueerd.

Kernbijdragen
Het artikel presenteert vier primaire bijdragen:

1. Een vertrouwensbewust open-vocabulary semantisch mapping framework dat punt- en cel-niveau vertrouwen toekent aan CLIP-gebaseerde observaties met behulp van geometrische, semantische en temporele aanwijzingen tijdens map-fusie.
2. Een dual-memory semantische kaartrepresentatie die observaties aggregeert in een short-term gridkaart (STM) en alleen voldoende vertrouwde, coherente en door meerdere viewpoints ondersteunde cellen promoot naar een persistente langetermijn landmark kaart (LTM).
3. Een real-time semantische mapping pipeline die multi-schaal, tegel-gebaseerde CLIP-embeddings fuseert met SLAM-gebaseerde ruimtelijke uitlijning om taal-querybare 3D-kaarten op te bouwen onder rover-beweging.
4. Een vertrouwens- en coherentie-gebaseerd promotie- en query-mechanisme dat intra-cel overeenstemming gebruikt om heatmaps en celselectie vorm te geven, terwijl cel-wijze vertrouwen wordt gebruikt om langetermijn-promotie en navigatietargets te reguleren.

Resultaten en Demonstratie
De auteurs hebben CrossMaps geïmplementeerd als een modulaire ROS 2 node op een Waveshare UGV uitgerust met een NVIDIA Jetson Orin GPU en een RGB-D camera. Het systeem werkt samen met RTAB-Map voor lokalisatie.

• Real-Time Operatie: De pipeline verwerkt succesvol RGB-D streams om in real-time semantische kaarten te bouwen.
• Query Prestaties: Het systeem genereert ruimtelijke heatmaps voor natuurlijke taal queries (bijv. "plant", "hamer").
• Ruis Mitigatie: Visualisaties tonen aan dat hoewel de STM ruisachtige observaties bevat, de LTM deze effectief wegfiltert, wat resulteert in spaarzame en betrouwbare suggesties. Bijvoorbeeld, queries voor "hamer" tonen ruisachtige STM-heatmaps, maar schonere, meer betrouwbare LTM-heatmaps, wat de effectiviteit van de vertrouwen- en coherentie-gating mechanismen valideert.

Betekenis en Claims
Het artikel claimt dat CrossMaps de haalbaarheid aantoont van het combineren van open-vocabulary perceptie met vertrouwensbewuste fusie en een dual-memory representatie om rovers in staat te stellen taal-querybare semantische kaarten te bouwen terwijl perceptuele ruis wordt gemitigeerd. Door onzekere observaties (STM) te scheiden van stabiele structuren (LTM), bereikt het systeem een balans tussen plasticiteit en robuustheid. De auteurs positioneren dit werk als een stap naar veiligere rover-navigatie bij partiële observabiliteit, waarbij toekomstig werk gepland is om segmentatie-gebaseerde feature extractie te integreren en het framework uit te breiden naar multi-agent kennisdeling en neuro-symbolische redenering voor scenario's waarbij veiligheid cruciaal is.