Technische Samenvatting: VANDERER

Probleemstelling

Autonome mobiele agenten vereisen efficiënte exploratiestrategieën om ongeziene omgevingen in kaart te brengen en taken te plannen. Traditionele benaderingen vertrouwen op het construeren van globale bezettingskaarten, wat nauwkeurige lokalisatie en hoogwaardige sensoren (bijv. LiDAR, IMU's, dieptecamera's) vereist. Deze hardware-eisen leggen aanzienlijke beperkingen op, met name in scenario's waar agenten beperkt zijn tot monoculaire camera's. Bovendien kunnen in buitenomgevingen geometrische hiaten onterecht worden geïdentificeerd als begaanbare fronten, en kunnen semantische of juridische beperkingen (bijv. verkeersregels) beweging beperken, ongeacht de geometrische toegankelijkheid.

Bestaande leergestuurde methoden, met name die gebruikmaken van Reinforcement Learning (RL), vereisen vaak uitgebreide omgeving-specifieke training en grote datasets. Hoewel diffusiebeleid (diffusion policies) een veelbelovend alternatief zijn voor generalisatie, vertrouwen ze doorgaans op beleidsvariantie voor ontdekking en missen ze de globale informatie die nodig is voor exploratie met een lange horizon. Een fundamentele uitdaging blijft: hoe train je modellen met een grote capaciteit om exploratief gedrag te vertonen zonder te vertrouwen op expliciete expert-exploratiegegevens, die schaars zijn en moeilijk te definiëren als één optimale gedragsvorm.

Methodologie

Het artikel stelt VANDERER voor, een kaartvrij exploratiekader ontworpen voor buitenomgevingen met uitsluitend monoculaire RGB-data. Het systeem maakt gebruik van een "genereer-dan-optimaliseer"-aanpak, waarbij gebruik wordt gemaakt van een vooraf getraind diffusiebeleid dat wordt gestuurd door een Visual Curiosity Module (VCM).

Kerncomponenten

1. Diffusiebeleid (Diffusion Policy):

   • Het beleid is getraind om trajectgegevens te imiteren, waarbij het haalbare en veilige actievolgordes voorspelt (waypoints in een 2D top-down projectie) direct vanuit RGB-observaties.
   • Het maakt gebruik van een Variational Autoencoder (VAE) om huidige en historische frames te coderen naar latente toestanden.
   • Een contexttransformer verwerkt deze toestanden om een UNet-stijl diffusiemodel te conditioneren, dat iteratief een latente actiesequentie de-noist.

2. Visual Curiosity Module (VCM):

   • Toekomstige Toestand Voorspelling: De VCM maakt gebruik van een Navigation World Model (NWM) om de toekomstige latente toestanden te voorspellen die voortvloeien uit kandidaat-actievolgordes gegenereerd door het diffusiebeleid.
   • Curiosity-gebaseerde Kostenfunctie: Om de "exploratieve waarde" van voorspelde toestanden te kwantificeren zonder globale kaarten, vergelijkt het systeem de voorspelde toekomstige toestand met een database van eerder geobserveerde toestanden ($S$). Nieuwheid wordt beoordeeld met behulp van fast reciprocal nearest neighbor matching op patch-niveau kenmerken (via MASt3R). De kosten ($L_c$) worden gedefinieerd als de minimale afstand tussen de voorspelde toestand en de meest gelijkaardige toestand in de database. Lagere kosten duiden op hogere nieuwheid.
   • Diffusie-sturing (Diffusion Guidance): In plaats van gulzig de beste actie te selecteren, stuurt de VCM het diffusieproces door de initiële ruisverdeling te optimaliseren. Met behruik van een sampling-gebaseerde strategie (Cross-Entropy Method) evalueert het systeem meerdere ruis-samples, selecteert de best presterende kandidaten op basis van de nieuwheidskosten, en werkt het gemiddelde en de variantie van de ruisverdeling bij. Dit stuurt het samplingproces aan richting acties die de omgevingsdekking maximaliseren terwijl de generatiestabiliteit behouden blijft.

Inferentiestrategie

Tijdens de inferentie genereert de agent meerdere actiekandidaten vanuit het diffusiebeleid. De VCM voorspelt de uitkomsten van deze acties, berekent de nieuwheidskosten en verfijnt de ruisverdeling die voor sampling wordt gebruikt. Dit stelt het vooraf getrainde beleid in staat om zich aan te passen aan exploratie-objectieven zonder aanvullende training of gespecialiseerde expert-data.

Belangrijkste Bijdragen

1. Nieuw Kader: Een end-to-end framework voor kaartvrije exploratie in de buitenlucht met een visuele nieuwsgierigheid-gestuurde diffusiebeleid, waardoor complexe mapping en dure sensoren overbodig worden.
2. Visual Curiosity Module: Een module die de gevolgen van acties voorspelt via een wereldmodel en het diffusiebeleid stuurt om outputs te genereren met een groter exploratief potentieel door de ruisverdeling te optimaliseren op basis van nieuwheidskosten.
3. Optimalisatie tijdens de Inferentiefase: Een strategie die vooraf getrainde diffusiemodellen aanpast voor efficiënte exploratie zonder dat extra training of gespecialiseerde exploratie-datasets nodig zijn.
4. Empirische Validatie: Uitgebreide experimenten die aantonen dat VANDERER superieur is aan de huidige state-of-the-art baselines wat betreft exploratie-efficiëntie.

Resultaten

De methode werd geëvalueerd in vijf diverse "Town" omgevingen binnen de CARLA-simulator, waarbij VANDERER werd vergeleken met gevestigde baselines: NoMaD (een RGB-only diffusiemethode), NoMaD* (een aangepaste versie van NoMaD met een vergelijkbare architectuur voor een eerlijke vergelijking) en DP-RND (gebruikmakend van Random Network Distillation als selectiemetriek).

• Exploratie-efficiëntie: VANDERER presteerde consequent beter dan alle baselines. Over vijf omgevingen verkende het gemiddeld 13,4% meer oppervlakte dan NoMaD.
• Area Per Path Length (APL): VANDERER behaalde de hoogste APL-scores, wat wijst op een efficiëntere dekking relatief aan de afgelegde afstand.
• Robuustheid: Hoewel NoMaD in sommige gevallen een iets hogere dekking liet zien, leed het aan een aanzienlijk hoger beleidsfalen (botsingen) vergeleken met VANDERER. VANDERER behield een laag faalpercentage (ongeveer 0,046%), vergelijkbaar met de aangepaste NoMaD*.
• Ablatie-studies:
  • Het verwijderen van de fast reciprocal matching module resulteerde in een prestatiedaling, wat bevestigt dat deze noodzakelijk is voor het afhandelen van geometrische variaties in visuele gelijkenis.
  • Het vervangen van het diffusiebeleid door een standaard Gaussische verdeling (die enkel steunt op CEM-optimalisatie) leidde tot suboptimale acties, frequente botsingen en een 4x toename in executietijd, wat het belang van de diffusie-prior onderstreept.
  • Vergelijkingen met een greedy selection baseline toonden aan dat gulzige benaderingen vaak leiden tot repetitieve lussen en oscillatie, terwijl de sturingsmechanismen van VANDERER de noodzakelijke stochasticiteit voor robuuste exploratie behouden.

Betekenis en Claims

Het artikel claimt dat VANDERER de kritieke beperkingen van sensor-beperkte exploratie aanpakt door aan te tonen dat visuele nieuwsgierigheid een krachtige metriek is voor het drijven van exploratie in afwezigheid van globale kaarten of odometrie. Het werk legt een direct verband tussen visuele en geometrische nieuwsgierigheid in buitenomgevingen, en bewijst dat agenten effectief gebruik kunnen maken van deze relatie voor efficiënte exploratie met enkel monoculaire camera's.

Bovendien benadrukken de auteurs het potentieel van vooraf getrainde diffusiemodellen om gestuurd te worden naar complexe exploratie-objectieven zonder de noodzaak van gespecialiseerde expert-data. Door het optimalisatieproces tijdens de inferentie aan te passen in plaats van het model opnieuw te trainen, biedt VANDERER een schaalbare oplossing voor autonome agenten die opereren in grootschalige, ongekaarte buitenomgevingen met beperkte hardwarebronnen.