Technische Samenvatting: BeliefDiffusion voor Navigatie in Gedeeltelijk Observeerbare Omgevingen

Probleemstelling

Autonome navigatie in gedeeltelijk observeerbare omgevingen (Partially Observable Environments, POEs) vormt een fundamentele uitdaging: agenten moeten een doel bereiken zonder voorafgaande kennis van de globale kaart, waarbij ze uitsluitend vertrouwen op beperkte lokale sensorische informatie. Traditionele benaderingen vertrouwen vaak op Partially Observable Markov Decision Processes (POMDPs) om een "belief state" (overtuigingsstaat) te onderhouden, die de waarschijnlijkheidsverdeling over mogelijke omgevingstoestanden representeert. Echter, bestaande op belief gebaseerde methoden vereenvoudigen deze verdelingen vaak tot unimodale punt-schattingen (bijv. de meest waarschijnlijke enkele toestand). Deze vereenvoudiging slaagt er niet in de inherente multimodaliteit van belief-ruimtes te vangen, met name in scenario's met perceptuele aliasing (waarbij verschillende locaties identiek lijken) en hoog-dimensionale toestandsruimtes. Bijgevolg kunnen agenten suboptimale beslissingen nemen door te wedden op één enkele gok in plaats van in te dekken tegen meerdere plausibele realiteiten.

Hoewel generatieve modellen een manier bieden om complexe toestandsverdelingen te modelleren, vereisen zij doorgaans uitgebreide expert-demonstraties of offline trajecten en missen zij vaak expliciete mechanismen voor langetermijnplanning. Daartegenover staat Model Predictive Control (MPC), dat effectief is voor planning, maar traditioneel expliciete transitie-modellen vereist die moeilijk te verkrijgen zijn in onbekende settings.

Methodologie: BeliefDiffusion

De auteurs stellen BeliefDiffusion voor, een framework dat de generatieve capaciteiten van diffusiemodellen integreert met de planningsstrengeheid van Model Predictive Control (MPC). Het systeem werkt volgens een tweestaps "stel je voor en plan"-lus:

1. Belief Generatie via Diffusiemodellen

In plaats van één enkele kaart te voorspellen, gebruikt het framework een diffusiemodel om expliciet de multimodale verdeling van plausibele configuraties van de omgeving (lokale kaarten) te karakteriseren, geconditioneerd op de observatiegeschiedenis van de agent.

• Input: De observatiegeschiedenis van de agent ($\tau$), die lokale observaties en relatieve doelcoördinaten bevat.
• Embedding: Om variabele geschiedenislengtes te verwerken, aggregeert het model het verleden van elke cel in de grid met behulp van multi-head attention. Dit creëert conditionele embeddings die het model in staat stellen om te focussen op relevante gegevens uit het verleden voor specifieke kaartlocaties.
• Training: Een U-Net backbone wordt getraind met behulp van Denoising Diffusion Probabilistic Models (DDPM). In tegenstelling tot standaard ruisvoorspelling, is het model getraind om direct de originele binaire kaart ($m_0$) te voorspellen vanuit ruizige inputs.
• Conditionering: Het model maakt gebruik van Classifier-Free Guidance (CFG) om het generatieproces te controleren, waardoor het diverse, plausibele kaartlay-outs kan samplen die consistent zijn met de gedeeltelijke observaties van de agent.

2. Planning via Model Predictive Control (MPC)

Zodra het diffusiemodel een set van $N$ plausibele kaart-samples genereert, worden deze geïntegreerd in een MPC-framework om de optimale actie te bepalen.

• Geaggregeerde Dynamica: Om de transitiefunctie te schatten, aggregeert het systeem de $N$ gesamplede kaarten tot één "consensus"-kaart ($m_{agg}$). Een cel wordt alleen gemarkeerd als een obstakel in $m_{agg}$ als deze als obstakel verschijnt in een hoog percentage ($\ge N \cdot \lambda_p$) van de samples. Dit zorgt ervoor dat de planner paden vermijdt die in een redelijke hypothese waarschijnlijk geblokkeerd zijn.
• Actievoorstel: Het systeem genereert kandidaat-paden voor elke individuele gesamplede kaart met behulp van een A*-zoekalgoritme.
• Selectie: Alle kandidaat-paden worden geëvalueerd tegen het geaggregeerde dynamica-model ($m_{agg}$). Paden die de consensuskaart schenden, ontvangen een beloning van nul. Het pad met de hoogste beloning over de set van hypothesen wordt geselecteerd als het uiteindelijke plan.
• Executie: De agent voert de eerste actie van het geselecteerde pad uit, observeert de nieuwe omgeving en herhaalt de generatie-planning-cyclus.

Belangrijkste Bijdragen

1. Multimodale Belief Modellering: Een nieuw diffusie-gebaseerd benadering die expliciet multimodale belief-representaties modelleert in navigatie, waarbij verder wordt gegaan dan unimodale punt-schattingen om de volledige verdeling van plausibele omgevingen te vangen.
2. Geïntegreerd Planning Framework: Een belief-space MPC-framework dat gegenereerde kaartlay-outs gebruikt om robuuste besluitvorming uit te voeren, waarbij generatie en planning effectief worden gecombineerd.
3. Sample Efficiëntie: Empirisch bewijs dat deze aanpak superieure prestaties levert met aanzienlijk minder trainingsdata vergeleken met model-vrije reinforcement learning (RL) methoden en unimodale generatieve benaderingen.

Experimentele Resultaten

De auteurs evalueerden BeliefDiffusion in synthetische 2D-gridomgevingen (64x64 kaarten) tegen verschillende baselines:

• Baselines:
  • LSTM-PPO: Een sterke model-vrije RL-baseline getraind met Proximal Policy Optimization.
  • Deterministische Voorspelling: Een supervised learning model (U-Net) dat één meest waarschijnlijke kaart voorspelt.
  • Trajectory Diffusion: Een transformer-gebaseerd model dat direct toekomstige trajecten voorspelt.
  • Goal-Follower: Een eenvoudige baseline die rechtstreeks naar het doel beweegt.
• Metrieken: Success Rate (SR) en Success weighted by Path Length (SPL).
• Bevindingen:
  • Prestaties: BeliefDiffusion behaalde een Success Rate van 47,3% en een SPL van 37,0% met 10M trainingsstappen. Dit presteerde beter dan de beste LSTM-PPO agent (45,5% SR, 35,5% SPL), die 500M interactiestappen nodig had om vergelijkbare prestaties te bereiken.
  • Data Efficiëntie: De voorgestelde methode bereikte hoge prestaties met een datasetgrootte die slechts 1/500e is van die van de beste LSTM-PPO baseline.
  • Generatief vs. Deterministisch: De diffusie-gebaseerde aanpak presteerde significant beter dan zowel het deterministische voorspellingsmodel (20,4% SR) als de traject-diffusie baseline (9,4% SR), wat de noodzaak onderstreept om de distributie van de kaartlay-out te modelleren in plaats van enkel trajecten of enkelvoudige toestanden te voorspellen.
  • Hyperparameters: Een inferentie kaartgrootte van 8x8 en een aantal samples ($N$) van 10 bleken optimaal. Het verhogen van $N$ boven de 10 leverde afnemende meeropbrengsten op, terwijl grotere kaartgroottes de computationele kosten verhoogden zonder significante prestatiewinsten.

Betekenis en Claims

Het artikel claimt dat het expliciet opnemen van multimodale belief-representaties in planning de sleutel is tot robuuste navigatie in gedeeltelijk observeerbare settings. Door verschillende plausibele versies van de onziene wereld te "verbeelden" en acties te plannen die goed presteren over deze bundel van mogelijkheden, wordt de agent robuust tegen perceptuele aliasing en wordt het risico op catastrofale fouten (bijv. tegen een muur lopen omdat een enkele hypothese onjuist was) verminderd.

De auteurs benadrukken dat hun methode niet de uitgebreide trainingsdata vereist die typisch is voor reinforcement learning. In plaats daarvan maakt het gebruik van de generatieve kracht van diffusiemodellen om een gestructureerde latente ruimte van mogbare werelden te creëren, wat geïnformeerde besluitvorming mogelijk maakt in complexe, onbekende omgevingen. Het werk suggereert dat het behandelen van kaartlay-out inferentie als een conditioneel generatief probleem een effectievere strategie is voor navigatie dan het vertrouwen op unimodale benaderingen of directe trajectvoorspelling.