Technische Samenvatting: Onzekerheidsbewuste Gaussische Kaart voor Visueel-Taal Navigatie

Probleemstelling

Visueel-Taal Navigatie (VLN) vereist dat geëmbodieerde agenten door 3D-omgevingen navigeren door natuurlijke taal instructies te volgen. Hoewel bestaande agenten zijn geëvolueerd van sequence-to-sequence modellen naar kaartgebaseerde paradigma's en wereldmodellen, blijft een kritieke beperking bestaan: ze negeren doorgaans perceptuele onzekerheid tijdens het besluitvormingsproces. In navigatie in de echte wereld komen agenten frequent ambiguïteiten tegen, zoals onvoldoende visueel bewijs voor betrouwbare gronding (bijvoorbeeld het onderscheiden van visueel vergelijkbare deuren) of occlusies die ruimtelijke aanwijzingen verbergen. Bestaande trainingsrecepten prikkelen agenten vaak om acties te voorspellen ongeacht het vertrouwen, wat leidt tot onbetrouwbare gronding en onveilige trajecten wanneer de perceptie ambigu is. Dit werk adresseert de noodzaak om onzekerheid expliciet te modelleren en te benutten om onderbouwde besluitvorming te ondersteunen.

Methodologie

Het voorgestelde kader, de Onzekerheidsbewuste Gaussische Kaart, integreert drie distincte vormen van perceptuele onzekerheid in een geünificeerde 3D-representatie. De pijplijn werkt als volgt:

1. Constructie van de Semantische Gaussische Kaart (SGM)

De agent bouwt een Semantische Gaussische Kaart (SGM) op vanuit multi-view RGB-D observaties bij elk waypoint.

• Initialisatie: Multi-view observaties worden getransformeerd in een schaars pseudo-lidar puntwolk. Elk punt initialiseert een differentieerbaar 3D-Gaussisch primitief, geparametriseerd door positie ($\mu$), covariantie (schaal $E$ en rotatie $R$), opaciteit ($\alpha$), kleur (sferische harmonischen) en semantische eigenschappen.
• Semantische Verrijking: Semantische attributen worden geëxtraheerd met behulp van SAM2 voor ruimtelijke segmentatie en CLIP-embeddings, waarbij object- of regi-semantiek aan de Gaussians wordt gekoppeld.
• Optimalisatie: De SGM wordt verfijnd via differentieerbare rendering, waarbij de primitieven worden geoptimaliseerd om de waargenomen kleur, diepte en semantische kenmerken te matchen. Primitieven met een verwaarloosbare bijdrage (kleine schaal of lage opaciteit) worden weggekaapt om ruis te reduceren.

2. Schatting van Perceptuele Onzekerheid

Op basis van de SGM schat de agent drie specifieke onzekerheidstypen:

• Geometrische Onzekerheid ($U_g$): Beoordeelt structurele betrouwbaarheid door de positie- en schaalparameters van elke Gaussian als stochastische variabelen te modelleren. Met behulp van variatie-inferentie benadert de agent de posterior-verdeling van verstoringen aan deze parameters. De onzekerheid wordt gekwantificeerd als de standaardafwijking van deze geleerde verstoringen, waardoor de agent onbetrouwbare structurele primitieven kan identificeren en minder zwaar kan wegen.
• Semantische Onzekerheid ($U_s$): Vangt ambiguïteit in object- en regi-interpretaties. Net als bij geometrische onzekerheid worden de semantische attributen van Gaussians verstoord via variatie-inferentie. De resulterende variabiliteit in de posterior-verdeling onthult ambiguïteit in semantische aanwijzingen, waardoor de agent onbetrouwbare semantische informatie tijdens de besluitvorming kan verwaarlozen.
• Uiterlijke Onzekerheid ($U_a$): Karakteriseert de gevoeligheid van gerenderde observaties voor variaties op Gauss-niveau, voortvloeiend uit factoren zoals occlusies, textuurinconsistenties en verlichting. Dit wordt gekwantificeerd met behulp van Fisher Informatie, benaderd als de log-determinant van de blok-diagonale Hessiaan van de reconstructieverliesfunctie met betrekking tot de Gaussian-parameters. Hoge Fisher Informatie geeft aan dat kleine verstoringen grote variaties in de perceptuele ruimte veroorzaken.

3. 3D Waardekaart en Besluitvorming

De geschatte onzekerheden worden geïntegreerd in de SGM om een geünificeerde 3D Waardekaart te vormen.

• Representatie: Elke Gaussian wordt aangevuld met zijn geometrische, semantische en uiterlijke onzekerheidsscores, waardoor een verrijkte representatie ontstaat die zowel de structuur van de omgeving als de betrouwbaarheid daarvan codeert.
• Beleid: Deze aangevulde Gaussians worden geprojecteerd in een kenmerkruimte en geaggregeerd tot een globale representatie. Deze representatie, gecombineerd met de instructie-embedding, wordt verwerkt door een multi-layer transformer om actieprobabiliteiten te voorspellen over kandidaat-waypoints. De onzekerheidssignalen fungeren als affordances en beperkingen, waardoor de agent wordt geleid naar betrouwbare paden en weg wordt gehouden van ambiguïteiten of onveilige gebieden.

Belangrijkste Bijdragen

1. Expliciete Onzekerheidsmodellering: Het werk modelleert expliciet geometrische, semantische en uiterlijke onzekerheid binnen de context van VLN, en gaat voorbij aan de impliciete of genegeerde onzekerheid van eerdere agenten.
2. Semantische Gaussische Kaart (SGM): Introduceert een differentieerbare 3D-Gaussische representatie verrijkt met semantische eigenschappen, die dient als fundamentele ondergrond voor onzekerheidsschatting.
3. Geünificeerde 3D Waardekaart: Stelt een nieuw mechanisme voor om onzekerheidsschattingen om te zetten in een ruimtelijk waardenveld, waarbij ze worden verankerd als uitvoerbare beperkingen en affordances voor navigatie.
4. Variatie- en Fisher-gebaseerde Schatting: Past variatie-inferentie toe voor geometrische en semantische onzekerheid en Fisher Informatie voor uiterlijke onzekerheid, waardoor een hanteerbare en interpreteerbare manier wordt geboden om perceptuele betrouwbaarheid te kwantificeren.

Experimentele Resultaten

De agent werd geëvalueerd op drie standaard VLN-benchmarks: R2R, RxR en REVERIE.

• R2R: De agent behaalde een 78% Succesratio (SR) en 66% Succes, gewogen op Padlengte (SPL) op de val unseen split, een verbetering ten opzichte van de vorige state-of-the-art (VER) met 2% in SR en 1% in SPL.
• RxR: Op de val unseen split leverde de methode een 65,2% SR en 65,6% genormaliseerde Dynamic Time Warping (nDTW) op, presterend beter dan BEVBert.
• REVERIE: De agent behaalde significante winsten in Remote Grounding Success (RGS) en RGSPL, met 37,65% RGS en 27,01% RGSPL op de val unseen split, waarmee de best gerapporteerde resultaten (BEVBert) met ongeveer 3% op beide metrieken werden overtroffen.

Ablatiestudies bevestigden dat zowel de SGM-structuur als de integratie van alle drie de onzekerheidstypen noodzakelijk zijn voor optimale prestaties. Het verwijderen van onzekerheidssignalen leidde tot een significante daling in prestaties, met name in complexe scènes met hoge perceptuele ambiguïteit.

Betekenis en Claims

Het artikel beweert dat de agent door expliciete modellering en integratie van perceptuele onzekerheid beter onderbouwde beslissingen kan nemen, waardoor ambiguïteiten die eerdere agenten deden falen, effectief worden opgelost. De auteurs tonen aan dat onzekerheid niet louter een bijproduct van perceptie is, maar een waardevol signaal dat kan worden gecodeerd als ruimtelijke beperkingen (bijvoorbeeld het vermijden van geblokkeerde paden) en affordances (bijvoorbeeld prioriteit geven aan betrouwbare herkenningspunten).

Het werk benadrukt dat bestaande agenten vaak falen onder omstandigheden van beperkt bewijs of occlusie omdat ze mechanismen missen om onbetrouwbaarheid te herkennen en daarop te reageren. Door geometrische, semantische en uiterlijke onzekerheid te consolideren in een geünificeerde 3D Waardekaart, stelt dit kader agenten in staat robuuster te navigeren, met consistente verbeteringen over diverse benchmarks. De auteurs positioneren dit als een stap richting veiligere en betrouwbaardere geëmbodieerde AI, waarbij agenten onderscheid kunnen maken tussen zelfverzekerde en onzekere percepties in plaats van blindelings acties uit te voeren.