Technische Samenvatting: PSG-Nav: Probabilistische Scenegraaf-navigatie via Multiversum-besluitvorming

Probleemdefinitie

Open-vocabulaire navigatie in complexe, onbekende omgevingen vereist dat belichaamde agenten navigeren met behulp van vrij vormgegeven tekstdoelen (bijv. "zoek een blauwe bank"). Een kritieke uitdaging in dit domein is perceptuele onzekerheid, voortkomend uit de semantische ambiguïteit van fysieke objecten en fouten in perceptiemodellen. Bestaande benaderingen vertrouwen vaak op deterministische representaties, waarbij ruisgevoelige perceptuele outputs worden behandeld als absolute feiten en worden toegewezen aan enkele vaste labels (bijv. een object strikt labelen als "bed" of "bank"). Deze aanpak verwerpt de volledige semantische distributie, wat leidt tot:

1. Onlogische Lay-outs: Onnauwkeurige kaarten waarbij objecten in semantisch inconsistente contexten zijn geplaatst (bijv. een bed in een woonkamer).
2. Overmoedige Beslissingen: Agenten nemen onomkeerbare beslissingen op basis van ruisgevoelige gegevens, wat leidt tot vals positieven waarbij de agent een episode voortijdig beëindigt nabij een onjuist doel.
3. Falen door Domeinverschuiving: Veelvuldige misidentificaties als gevolg van de kloof tussen real-world pre-training en gesimuleerde omgevingen.

Het artikel stelt dat het beheren van deze onzekerheid cruciaal is voor taaksucces, aangezien het behandelen van ruisgevoelige outputs als feiten leidt tot informatieverlies en onbetrouwbare paden.

Methodologie

De auteurs stellen PSG-Nav voor, een verenigd framework dat is ontworpen om robuust te navigeren onder semantische ambiguïteit. Het systeem bestaat uit drie kerncomponenten:

1. 3D Probabilistische Scenegraaf (3D-PSG)

In tegenstelling tot traditionele scenegrafen die harde labels toekennen, behoudt de 3D-PSG een volledige categorische distributie voor elk objectknooppunt.

• Hiërarchische Structuur: De graaf is georganiseerd in drie niveaus: Object-knooppunten, Groep-knooppunten (clusters van ruimtelijk nabije objecten) en Ruimte-knooppunten.
• Probabilistische Representatie: Elk objectknooppunt $o_i$ behoudt een geloofsdistributie $P(o_i = c_k)$ die wordt bijgewerkt via een "stem"-accumulatiestrategie (het tellen van detectiestemmen over de tijd) in plaats van instabiele Bayesiaanse updates met Dirichlet-priors.
• Hiërarchische Factorisatie: Om de combinatorische explosie van een globale gezamenlijke distributie te voorkomen, wordt onzekerheid hiërarchisch gefactoriseerd. Groepsknooppunten berekenen de gezamenlijke waarschijnlijkheden van hun constituerende objecten, en Ruimte-knooppunten aggregeren de groepdistributies.
• Logische Pruning: Tijdens de constructie enumereert het systeem potentiële semantische combinaties en gebruikt een Large Language Model (LLM) als logische filter om configuraties met semantische conflicten (bijv. een toilet in een woonkamer) te verwijderen, wat zorgt voor globale semantische coherentie.

2. Multiversum Besluitvormingsframework

Om de probabilistische graaf operationeel te maken voor planning, genereert het framework een set discrete, deterministische "werelden" uit de gezamenlijke distributie van de 3D-PSG.

• Wereld Sampling: Het systeem genereert $K$ verschillende wereld-instantiaties ($G^{(1)} \dots G^{(K)}$), die elk een logisch consistente interpretatie van de omgeving vertegenwoordigen.
• Intrinsieke Onzekerheidsbewuste Exploratie: De agent evalueert kandidaat-landmarks (afgeleid van Generalized Voronoi-grafen en frontiers) op basis van twee metrieken:
  • Ruimtelijke Informatiewinst ($I_{spa}$): De verwachte dekking van onbekende ruimte.
  • Semantisch Disambiguatiepotentieel ($I_{sem}$): De verwachte reductie in semantische entropie (Shannon-entropie) van nabijgelegen objecten.
• Stochastische Paarsgewijze Vergelijking: In plaats van landmarks te rangschikken op een enkele ruisgevoelige kaart, voert de agent $M$ rondes van evaluatie uit. In elke ronde wordt een wereld gesampled, en de LLM fungeert als een voorkeursorakel om paren van landmarks te vergelijken op basis van hun waarschijnlijkheid om het doel binnen die specifieke wereld te bereiken.
• Besluit Aggregatie: De uiteindelijke voorkeursscore wordt afgeleid door de paarsgewijze winsten over het gehele multiversum te marginaliseren, waardoor de gekozen route robuust is tegen perceptuele ruis.

3. Evidential Experience Calibrator (EEC)

Om vals positieven veroorzaakt door epistemische onzekerheid te mitigeren, fungeert de EEC als een Retrieval-Augmented Generation (RAG) gebaseerde verificatiemodule.

• Probabilistisch Contextgeheugen: Het systeem houdt twee geheugenbanken bij: een Positieve Bank ($B^+$) van succesvolle doeldetecties en een Negatieve Bank ($B^-$) van historische vals positieven. De vermeldingen bevatten visuele embeddings en structurele context (ruimte- en groepsemantische distributies).
• Confidence Calibratie: Wanneer een kandidaatobject wordt gedetecteerd, haalt de EEC vergelijkbare contexten op uit beide banken. Het berekent een kalibratiemarge op basis van de gelijkenis met succesvolle versus falende gevallen.
• Dynamische Aanpassing: De ruwe detectiescore wordt aangepast door deze marge. De agent beëindigt de episode pas als de gekalibreerde score de validatiedrempel overschrijdt, wat effectief detecties onderdrukt die lijken op bekende foutmodi.

Belangrijkste Bijdragen

1. 3D Probabilistische Scenegraaf: Een hiërarchische representatie die volledige semantische distributies behoudt over object-, groep- en ruimteniveaus, waardoor het onomkeerbare informatieverlies dat gepaard gaat met deterministische labeling wordt voorkomen.
2. Multiversum Besluitvorming: Een nieuwe planningsstrategie die meerdere plausibele werelden samplet om navigatie-landmarks te evalueren, waardoor de agent perceptuele ruis kan marginaliseren en stabiele beslissingen kan nemen.
3. Evidential Experience Calibrator: Een online, lifelong learning-module die detecties kruis-valideert tegen een geheugen van eerdere successen en mislukkingen om vertrouwen dynamisch te kalibreren en voortijdige beëindiging te voorkomen.
4. State-of-the-Art Prestaties: Het framework vestigt nieuwe benchmarks op standaard datasets en demonstreert praktische inzetbaarheid op fysieke robots.

Experimentele Resultaten

De auteurs hebben PSG-Nav geëvalueerd op drie veelgebruikte benchmarks: MP3D, HM3D en HSSD.

• Succesratio's (SR):
  • HM3D: 66,1% (PSG-Nav) vs. 65,4% (ASCENT, de vorige SOTA).
  • MP3D: 44,8% (PSG-Nav) vs. 44,5% (ASCENT).
  • HSSD: 67,9% (PSG-Nav).
• Zero-Shot Prestaties: De variant zonder de EEC (strikte zero-shot) behaalde nog steeds 63,5% SR op HM3D, waarmee het methoden zoals BeliefMapNav (61,4%) en ApexNav (59,6%) versloeg.
• Ablatie-studies:
  • Het verwijderen van de 3D-PSG (terugkeren naar deterministische labels) veroorzaakte een significante daling in prestaties (bijv. -9,4% SR op HSSD).
  • Het verwijderen van de groep-hiërarchie maakte de gezamenlijke waarschijnlijkheid van globale configuraties verwaarloosbaar, waardoor world sampling onuitvoerbaar werd.
  • De EEC bleek 76,9% van de vals positieve stops in een specifieke foutmodus-subset te onderscheppen, waardoor 30,3% van de voorheen mislukte episodes werd hersteld.
• Real-World Deployment: Het systeem werd succesvol ingezet op een fysieke robot (Agilex SCOUT MINI) in binnenomgevingen, waarbij het correct een visueel vergelijkbare bank afwees als doel voor een stoel en de exploratie voortzette om het werkelijke doel te vinden.

Betekenis en Claims

Het artikel beweert dat PSG-Nav "deterministische instorting" in open-vocabulaire navigatie aanpakt door omgevingen expliciet te modelleren als probabilistische structuren. Door volledige semantische distributies te behouden en historisch ervaren te gebruiken voor kalibratie, maakt het framework betrouwbaardere besluitvorming mogelijk in complexe omgevingen.

De auteurs positioneren hun werk als een stap naar betrouwbare en capabele autonome agenten die de inherente onzekerheid van de fysieke wereld kunnen hanteren. Ze merken op dat hoewel hun aanpak de robuustheid aanzienlijk verbetert, deze momenteel afhankelijk is van 2D-occupatiekaarten, wat de mogelijkheid beperkt om verticale navigatie (trappen, structuren met meerdere verdiepingen) expliciet te behandelen. Toekomstig werk wordt voorgesteld om het framework uit te breiden naar volumetrische planning en hiërarchische scene-grafen op verdiepingsniveau.