Multistep Belief Space Dynamics Learning For Risk-Aware Control

Technische Samenvatting: Multistep Belief Space Dynamics Learning voor Risicobewuste Besturing

Probleemstelling
Naarmate autonome voertuigen overgaan van gecontroleerde onderzoeksomgevingen naar praktische, real-world inzet, bestaat er een aanzienlijke kloof tussen menselijk rijgedrag en de prestaties van autonome systemen, met name in ongestructureerde off-road omgevingen. Huidige plannings- en besturingssystemen worstelen vaak met dynamische onzekerheid, wat leidt tot óf te conservatief gedrag óf agressief falen. De kernuitdaging ligt in het voorspellen hoe dynamische onzekerheid in de tijd evolueert en het optimaliseren van plannen die rekening houden met deze evolutie, zonder te vertrouwen op overmatige heuristieken of handmatige afstelling. Bestaande methoden, zoals op steekproeven gebaseerde Model Predictive Path Integral (MPPI)-besturing, missen vaak robuuste propagatie van onzekerheid of falen in het generaliseren over diverse terreinen en omstandigheden.

Methodologie
De auteurs stellen een risicobewuste planningsarchitectuur voor die gebaseerd is op Model Predictive Control (MPC) en een geleerd, distributief dynamisch model integreert. De aanpak combineert parametrische, op fysica gebaseerde vergelijkingen met neurale netwerkkomponenten om een hybride architectuur te creëren.

• Distributief Dynamisch Leren: Het systeem modelleert de voertuigdynamica als een discreet-tijd niet-lineair systeem waarbij onzekerheid wordt weergegeven als een Gaussische verdeling. De dynamica worden benaderd door een parametrische functie $\hat{f}$ (gebaseerd op bekende fysica zoals bandmodellen en kinematica) aangevuld met een geleerde compensatieterm $\zeta$ (een neurale netwerk).

  • Voorspelling van het Gemiddelde: De gemiddelde dynamica worden voorspeld in krachtenruimte in plaats van toestandsruimte om gebruik te maken van geometrische transformaties en de nauwkeurigheid te verbeteren. Een hybride architectuur maakt gebruik van geïnitieerde LSTMs (I-LSTMs), waarbij een initialisatienetwerk de verborgen- en celtoestanden van een voorspellend netwerk voorspelt op basis van historische buffers.
  • Propagatie van Onzekerheid: De procesruis-matrix $\hat{Q}$ wordt voorspeld met een gestructureerde aanpak. Deze wordt opgesplitst in een gestructureerd onderdeel (afgeleid van parametrische vergelijkingen en Jacobianen) en een ongestructureerd onderdeel (voorspeld als een boven-diagonale matrix). Dit zorgt ervoor dat de geleerde onzekerheid de fysieke relaties tussen variabelen respecteert.
  • Benadering van Gesloten Lus: Om te voorkomen dat er aan het einde van de trajecten onrealistisch grote onzekerheden ontstaan (een veelvoorkomend probleem bij open-lus voorspellingen), past het systeem tijdens runtime feedbackversterkingen toe op de toestands-Jacobian, waardoor heuristisch een benadering van de onzekerheidsreductie in een gesloten lus wordt gerealiseerd.

• Besturingsarchitectuur (MPPI): De planningsstapel maakt gebruik van Colored MPPI, een op steekproeven gebaseerde stochastische optimizer.

  • Unscented Transform: Om niet-lineaire kostenfuncties af te handelen zonder de overhead van Monte Carlo-steekproeven, maakt het systeem gebruik van de Unscented Transform (UT). Dit genereert een set sigma-punten vanuit de Gaussische geloofstoestand, die parallel op een GPU worden gepropageerd door de dynamica en kostenfuncties.
  • Risicomaatstaf: De kosten van een traject worden geëvalueerd met Conditional Value-at-Risk (CVaR) of de maximale kosten van de sigma-punten, in plaats van alleen het gemiddelde. Hierdoor kan het systeem direct hoge-risico uitkomsten bestraffen.
  • Kostenfunctie: De kostenfunctie bevat op roostercellen gebaseerde doorgankelijkheidskosten, op fysica gebaseerde beperkingen (bijv. omrolrisico, ophangingkrachten), zachte boetes voor agressief gedrag (glijden, versnelling) en snelheidslimieten die zijn afgeleid van de terreingeometrie.

Belangrijkste Bijdragen

1. Nieuw Kader: Een computatie-efficiënt kader voor het leren van distributieve dynamica op algemene niet-lineaire systemen, dat parametrische structuur combineert met neurale netwerkcompensatie.
2. Rigorieuze Ablatiestudie: Een uitgebreide analyse op een groot dataset van real-world off-road rijdata. Deze studie evalueert de impact van structurele keuzes (bijv. voorspelling in krachtenruimte, hybride ruismodelleren, initialisatienetwerken) en toont aan dat gestructureerd leren aanzienlijk beter presteert dan puur geleerde of ongestructureerde benaderingen.
3. Hardware Validatie: Inzet van het geleerde model en de planningsstapel op een volledig formaat Polaris S4 1000 RZR-voertuig. Het systeem heeft succesvol kilometers aan diverse, uitdagende off-road terreinen afgelegd zonder ingrijpen, wat contextbewust emergent gedrag demonstreert.

Resultaten

• Ablatiebevindingen: De studie onthulde dat het voorspellen van dynamica in krachtenruimte en het gebruik van een hybride structuur voor procesruis (combinatie van parametrische Jacobianen met geleerde componenten) de beste prestaties opleverde. Ook werd vastgesteld dat het initialiseren van de LSTM-verborgen toestanden op basis van historische context de nauwkeurigheid van de gemiddelde voorspelling aanzienlijk verbeterde, terwijl de specifieke grootte van het initialisatienetwerk een minimaal effect had.
• Hardware Prestaties: Het voertuig demonstreerde intelligente snelheidsregulatie, agressief rijdend in open gebieden en vertragen in beperkte of onzekere omgevingen.
  • Lange Doorloop: Het systeem voltooide een traject van 3,5 km in ongeveer 8,7 minuten, met een gemiddelde snelheid van 6,2 m/s, en paste zich aan aan diverse terreinen, waaronder dichte vegetatie, greppels en hellingen.
  • Casestudies: In specifieke scenario's, zoals het navigeren door smalle kieren tussen bomen en greppels, vertraagde de onzekerheidsbewuste planner het voertuig om de onzekerheidsellips door de kieren te laten passen, waardoor omrollen werd voorkomen dat optrad bij eerdere heuristiek-gebaseerde systemen. Omgekeerd hield het systeem in open modder hoge snelheden aan en herstelde het van slides zonder te stoppen, aangezien de risicobeleiding gekoppeld was aan botsing met obstakels en niet aan de loutere aanwezigheid van onzekerheid.
  • Risico-Afstelling: Experimenten toonden aan dat het afstellen van de onzekerheidsinflatieparameter ($c_\sigma$) de agressiviteit direct beïnvloedde. Een lagere $c_\sigma$ resulteerde in hogere gemiddelde snelheden (10,75 m/s versus 9,5 m/s) op paden, wat de capaciteit van het systeem demonstreert om risico in te wisselen voor snelheid op basis van één enkele parameter.

Betekenis
Het artikel stelt dat de voorgestelde architectuur een enkele, geünificeerde setup biedt die kilometers aan diverse off-road rijomstandigheden aankan zonder de noodzaak voor omgevings-specifieke herafstelling of expliciete moduswisseling. Door distributieve dynamica te leren die directioneel en specifiek is voor besturingsbeperkingen, bereikt het systeem een niveau van risicobewust gedrag dat menselijk rijden nabootst: het reguleert op natuurlijke wijze de snelheid op basis van de complexiteit van de omgeving. Het werk benadrukt dat het integreren van principiële benaderingen (op fysica gebaseerde beperkingen) met geleerde onzekerheid robuuste generalisatie mogelijk maakt in het gezichte van real-world ruis en complexiteit, een cruciale stap naar de inzet van autonome systemen voor rampenbestrijding, landbouw en extraterrestrische exploratie.