RAY-TOLD: Ray-Based Latent Dynamics for Dense Dynamic Obstacle Avoidance with TDMPC

1. Probleemstelling

Autonome mobiele robots staan voor aanzienlijke uitdagingen bij het navigeren door dichte, dynamische menigten. Bestaande benaderingen lijden aan specifieke beperkingen:

• Puur reactieve methoden (bijv. MPPI): Model Predictive Path Integral (MPPI)-regeling is robuust voor korte-termijn kinematische haalbaarheid en botsingsvermijding. Het is echter afhankelijk van een beperkt voorspellingshorizon. In complexe scenario's (bijv. U-vormige obstakels of samenvloeiende menigten) komt MPPI vaak vast te zitten in lokale minima, omdat het geen langetermijn ruimtelijk bewustzijn heeft en toekomstige obstakelgedragingen buiten zijn korte rollout-venster niet kan anticiperen.
• Puur versterkingsleren (RL): Hoewel RL uitblinkt in redeneren op lange horizon, worstelen end-to-end modelvrije benaderingen vaak met het afdwingen van harde veiligheidsbeperkingen en lijden ze aan inefficiënte exploratie in veiligheidskritieke fysieke systemen.
• Het gat: Er is behoefte aan een hybride architectuur die de veiligheid en kinematische beperkingen van op fysica gebaseerde MPC combineert met het langetermijn vooruitzicht van geleerde modellen om te navigeren in stochastische, hoogdichte omgevingen.

2. Methodologie: RAY-TOLD

De auteurs stellen RAY-TOLD (Ray-based Task-Oriented Latent Dynamics) voor, een hybride regelingkader dat LiDAR-gerichte latente dynamiek integreert met op steekproeven gebaseerde MPPI.

A. Kernarchitectuur

Het systeem werkt in twee parallelle modaliteiten:

1. Op fysica gebaseerde planner (MPPI): Verwerkt korte-horizon ($H$) trajectrollouts met behulp van een differentieerbaar kinematisch fietsmodel om directe kinematische haalbaarheid en botsingsvermijding te waarborgen.
2. Latent dynamisch model (TOLD): Een geleerd wereldmodel dat hoogdimensionale sensordata codeert naar een compacte latente ruimte om langetermijnrichting te bieden.

B. Belangrijke componenten

• Staatrepresentatie: De invoerstatvector $x_t$ omvat voertuigkinematica ($s_t$), relatieve doelpositie ($s_{goal}$) en LiDAR-metingen ($s_{ray}$). De LiDAR-data is "occlusiebewust", wat betekent dat stralen worden afgekapt bij het eerste geraakte obstakel, waarmee realistische zichtlijnbeperkingen worden gesimuleerd.
• Latente encoder en dynamiek:
  • Een encoder $h_\theta$ comprimeert hoogdimensionale invoer naar een laagdimensionale latente staat $z_t$.
  • Een latent dynamisch model $d_\phi$ voorspelt statetransities in de latente ruimte.
  • Een beloningsvoorspeller $R_\psi$ en een Terminal Value Function $C_\omega$ worden getraind om respectievelijk directe beloningen en onbeperkte horizon-opbrengsten te schatten.
• Beleidsprior ($\pi_\xi$): Een beleidsnetwerk dat is getraind om doelgerichte acties voor te stellen binnen de latente ruimte.

C. Strategie voor menging van beleidssteekproeven

De kerninnovatie ligt in hoe RAY-TOLD het MPPI-steekproefproces aanpast om lokale minima te overwinnen:

• Standaard MPPI: Steekproeft acties puur uit een Gaussische verdeling gecentreerd rond de vorige oplossing (onbevooroordeelde ruis).
• RAY-TOLD: Gebruikt een mengsteekproefstrategie. Een fractie $\alpha$ van de $K$ kandidaattrajecten wordt gezaaid met acties afgeleid van het geleerde beleidsprior $\pi_\xi$ (ontrold in de latente ruimte), terwijl de resterende $(1-\alpha)$ worden gestoken via standaard MPPI-ruis.
  • Formule: $a^{(k)} \sim \mathcal{N}(a^\pi, \Sigma)$ als $k < \alpha K$, anders $\mathcal{N}(a^{MPPI}, \Sigma)$.
• Evaluatie: De kosten van elk traject worden berekend als de som van korte-horizon beloningen plus een geleerde eindwaarde $C_\omega(z_{t+H})$, die de kosten tot het einde schat buiten het planningshorizon.

3. Belangrijkste bijdragen

1. Hybride architectuur: Naadloze integratie van LiDAR-gerichte latente dynamiek met MPPI, waardoor de robot kan navigeren door dichte dynamische menigten door zowel op fysica gebaseerde beperkingen als geleerde intentie te benutten.
2. Menging van beleidssteekproeven: Een nieuwe techniek die de MPPI-kandidatenpopulatie aanvult met geleerde beleidstrajecten. Dit elimineert de kwetsbaarheid van MPPI voor lokale minima zonder handgemaakte heuristieken te vereisen.
3. Integratie van eindwaarde: Het gebruik van een geleerde eindwaardefunctie stelt de planner in staat om "vooruit te kijken" buiten de fysieke rollout-horizon, waardoor de robot effectief uit doodlopende straten wordt geleid.
4. Empirische validatie: Uitgebreide tests in sterk stochastische omgevingen die aanzienlijke reducties in botsingspercentages aantonen ten opzichte van standaard baselines.

4. Experimentele resultaten

De methode werd geëvalueerd in een omgeving van 20m $\times$ 10m met 40–60 dynamische obstakels die bewegen volgens een gemodificeerd Social Force Model (SFM).

• Basisprestaties: Standaard MPPI behaalde een slaagpercentage van 89,0% met een botsingspercentage van 11,0%. Het faalde frequent in scenario's met samenvloeiende obstakels of reflecties van muren vanwege steekproefsparsiteit.
• Prestaties van RAY-TOLD:
  • RAY-TOLD ($\alpha=0$): (Alleen waardenfunctie, geen beleidsrichting) Behaalde hetzelfde slaagpercentage als MPPI, maar verbeterde de veiligheidsmarge, wat de capaciteit van de waardenfunctie valideert om eindtoestanden te beoordelen.
  • RAY-TOLD ($\alpha=0,1$): (Optimale mix) Behaalde het hoogste slaagpercentage van 94,0% en verlaagde het botsingspercentage naar 6,0% (een verbetering van ongeveer 45% ten opzichte van de baseline). Deze configuratie balanceerde langetermijnrichting met korte-termijn reactie.
  • RAY-TOLD ($\alpha=0,2$): (Sterke richting) Het slaagpercentage daalde licht naar 91,0%, wat suggereert dat overmatige afhankelijkheid van het beleidsprior bias kan introduceren in sterk stochastische randgevallen.
• Kwalitatieve analyse:
  • Fig. 3: Visualisaties tonen dat RAY-TOLD succesvol navigeert door samenvloeiende obstakels en muurreflecties anticipeert (waar MPPI faalde).
  • Fig. 4 (t-SNE): De visualisatie van de latente ruimte onthult een gladde topologische overgang van "gevaarlijke" (rode) naar "veilige" (blauwe) toestanden, wat bewijst dat het model fysiek betekenisvolle representaties van botsingsrisico leert in plaats van ruwe sensordata te memoriseren.

5. Betekenis

RAY-TOLD vertegenwoordigt een aanzienlijke vooruitgang in robotnavigatie door het "lokale minima"-probleem op te lossen dat inherent is aan reactieve planners, zonder veiligheid op te offeren.

• Veiligheid en betrouwbaarheid: Door het zoeken te verankeren in op fysica gebaseerde rollouts, terwijl geleerde langetermijnintentie wordt ingebracht, waarborgt het systeem kinematische haalbaarheid terwijl het kortzichtige beslissingen vermijdt.
• Generalisatie: Het gebruik van een latent wereldmodel stelt de robot in staat om te generaliseren naar ongezette obstakelconfiguraties en dynamisch gedrag (bijv. reflecties) in plaats van specifieke paden te memoriseren.
• Praktijktoepasbaarheid: De methode werkt met 50 Hz in een geparalleliseerde simulatie, wat haalbaarheid voor realtime implementatie in mensgerichte omgevingen aantoont.

Concluderend overbrugt RAY-TOLD effectief de kloof tussen de robuustheid van Model Predictive Control en het vooruitzicht van Reinforcement Learning, en biedt een robuuste oplossing voor autonome navigatie in de meest uitdagende, dichte en dynamische omgevingen.