3D RL-DWA: A Hybrid Reinforcement Learning and Dynamic Window Approach for Goal-Directed Local Navigation in Multi-DoF Robots

Technische Samenvatting: 3D RL-DWA voor Navigatie van Robots met Hoge Vrijheidsgraden

Probleemstelling
Autonome navigatie in complexe, beperkte 3D-omgevingen blijft een aanzienlijke uitdaging voor robotsystemen met een hoog aantal vrijheidsgraden (DoF), vooral bij werking onder omstandigheden met schaarse sensorische gegevens. Traditionele methoden voor globaal plannen falen vaak in dynamische, deels bekende omgevingen, terwijl standaard lokale planners zoals de Dynamic Window Approach (DWA) afhankelijk zijn van vaste parameterinstellingen die de aanpasbaarheid beperken. Bovendien hebben bestaande hybride benaderingen die Reinforcement Learning (RL) en DWA combineren zich voornamelijk gericht op 2D-beweging in gestructureerde settings, waardoor er een gat bestaat in oplossingen voor 3D-besturing van vervormbare robots met hoge DoF (zoals microrobots) die gelijktijdig beweging en vorm moeten optimaliseren om zich door kronkelige structuren zoals vasculaire netwerken te navigeren.

Methodologie
De auteurs stellen 3D RL-DWA voor, een hybride raamwerk dat Reinforcement Learning (RL) integreert met een aangepaste 3D Dynamic Window Approach (DWA) voor de lokale navigatie van een vervormbare robot met 9 DoF. Het systeem wordt gemodelleerd als een ellipsoïde met 6 DoF voor pose (positie en oriëntatie) en 3 DoF voor vormvervorming langs de symmetrieassen.

• Besturingsarchitectuur: Het raamwerk werkt in een gesloten lus waarbij een RL-agent de omgeving observeert (taakstatus en schaarse laserscandata) en twee soorten commando's output:

  1. DWA-parameters: De agent past dynamisch de wegingsfactoren ($\alpha, \beta, \gamma, \zeta$) van de DWA-kostfunctie aan, die snelheid, richting, obstakelruimte en doeluitlijning in evenwicht brengt.
  2. Snelheidscommando's: De agent output direct hoeksnelheid ($\omega_x$) en vervormingssnelheden ($\dot{\delta}$).
     De DWA-module gebruikt deze parameters vervolgens om de optimale lineaire snelheid te selecteren uit een toelaatbare set, waarbij botsingsvrije trajecten binnen een 3D-dynamisch venster worden gewaarborgd.

• Formulering van Reinforcement Learning: Het probleem wordt geformuleerd als een Markov-besluitproces (MDP) met behulp van het Soft Actor-Critic (SAC)-algoritme. De agent wordt getraind om een dichte beloningsfunctie te maximaliseren die voorwaartse vooruitgang, botsingsvermijding en het maximaliseren van het door de robot ingenomen volume binnen het vat stimuleert. De observatieruimte omvat de vervormingsstatus van de robot, genormaliseerde snelheid, verplaatsingsvector naar het doel en $N$ laserscan-afstanden.

• Kinematica: De beweging van de robot wordt beheerst door een vereenvoudigd kinematisch model, geïnspireerd op ferrofluidische systemen. Een belangrijke beperking is dat de x-as van de robot is uitgelijnd met de bewegingsrichting, waardoor het regelbare rotatie-DoF wordt gereduceerd tot één as ($\omega_x$), terwijl de overige rotatiecomponenten passief worden geïnduceerd door uitlijningsbeperkingen.

Belangrijkste Bijdragen

1. Nieuw Hybride Raamwerk: Het artikel introduceert de eerste toepassing van een RL-DWA-hybride specifiek voor 3D-lokale navigatie van vervormbare robots met hoge DoF, waarmee het gat in 3D-bewegingsbesturing voor dergelijke systemen wordt gedicht.
2. Aanpasbare Parameterinstelling: In tegenstelling tot traditionele DWA, die handmatige afstelling vereist, gebruikt de voorgestelde methode RL om de gewichten van de DWA-kostfunctie in real-time dynamisch aan te passen op basis van omgevingsomstandigheden en sensor-schaarste.
3. Gelijktijdige Bewegings- en Vormbesturing: Het raamwerk optimaliseert pose en vormvervorming gezamenlijk, waardoor de robot in staat is zijn volumebeslag te maximaliseren tijdens het navigeren door beperkte ruimtes.
4. Robuustheid tegen Schaarse Sensing: Het systeem is expliciet geëvalueerd onder variërende niveaus van exteroceptieve data (15, 25 en 50 sensorelementen), wat aanpasbaarheid aantoont in omstandigheden die typerend zijn voor biomedische toepassingen waar hoge-resolutie sensing beperkt is.

Experimentele Resultaten
Het raamwerk werd geëvalueerd in een gesimuleerde vasculaire netwerk-omgeving met 1.080 experimentele proeven verspreid over training en onbekende testsituaties.

• Prestatievergelijking: De 3D RL-DWA presteerde aanzienlijk beter dan zowel een pure RL-baseline (SAC) als een modelgebaseerde controller (met gebruik van Delaunay-triangulatie en Voronoi-grafen).
  • Trajectvoltooiing: In onbekende testsituaties met hoge-resolutie sensing ($N=50$) bereikte 3D RL-DWA een bijna perfecte trajectvoltooiing (mediaan ~99,22%), terwijl de pure RL-baseline worstelde (mediaan ~45,75%) en de modelgebaseerde methode volledig faalde bij lagere resoluties.
  • Vervorming: De hybride aanpak behield hoge vervormingscapaciteiten (mediaan ~53-57% volumebeslag) over alle resoluties, terwijl pure RL bij lagere sensordichtheid een verslechterde vervormingsprestatie vertoonde als gevolg van navigatiefalen.
• Invloed van Sensorresolutie: Hogere sensorresolutie ($N=50$) verbeterde de convergentiesnelheid en reproduceerbaarheid. Het systeem toonde echter ook robuustheid bij intermediaire resoluties ($N=25$), terwijl $N=15$ leidde tot verminderde navigatiebetrouwbaarheid maar enige vervormingscapaciteit behield.
• Berekenings-efficiëntie: Het systeem toonde geschiktheid voor real-time gebruik met gemiddelde inferentietijden die consistent onder de 2 ms per besturingsstap bleven. De RL-component was constant in tijd, terwijl de DWA-component lineair schaarde met het aantal sensorelementen maar efficiënt bleef.
• Robuustheid tegen Ruis: Onder toenemende Gaussische ruis behield de 3D RL-DWA superieure trajectvoltooiingspercentages in vergelijking met baselines, hoewel de prestaties natuurlijk degradeerden met de ruis. Vervormingsbesturing bleek inherent robuuster tegen sensorruis dan navigatie.

Betekenis en Claims
De auteurs claimen dat het 3D RL-DWA-raamwerk effectief de kloof overbrugt tussen de aanpasbaarheid van op leren gebaseerde methoden en de gestructureerde begeleiding van klassieke planners. De hybride aanpak wordt gepresenteerd als een oplossing die een evenwicht bereikt dat noch pure learning, noch puur modelgebaseerde methoden kunnen bieden in beperkte 3D-omgevingen.

Het artikel benadrukt dat deze methode bijzonder effectief is voor opkomende biomedische toepassingen, zoals de autonome besturing van microrobots voor minimaal invasieve ingrepen, waarbij robots zich moeten verplaatsen door ongestructureerde omgevingen met schaarse sensing. De resultaten suggereren dat het integreren van RL om DWA-parameters af te stellen, leidt tot robuuste, aanpasbare navigatie die goed generaliseert naar onbekende waypoint-sequenties en sensoronzekerheden, waardoor het een levensvatbare kandidaat is voor real-time implementatie in complexe 3D-ruimtes.