3D RL-DWA: A Hybrid Reinforcement Learning and Dynamic Window Approach for Goal-Directed Local Navigation in Multi-DoF Robots

Technische Zusammenfassung: 3D RL-DWA für die Navigation von Robotern mit hohem Freiheitsgrad

Problemstellung
Die autonome Navigation in komplexen, eingeschränkten 3D-Umgebungen bleibt eine erhebliche Herausforderung für robotische Systeme mit hohem Freiheitsgrad (DoF), insbesondere beim Betrieb unter spärlichen sensorischen Bedingungen. Traditionelle globale Planungsmethoden versagen häufig in dynamischen, teilweise bekannten Umgebungen, während Standard-Lokalplaner wie der Dynamic Window Approach (DWA) auf eine feste Parametereinstellung angewiesen sind, die die Anpassungsfähigkeit einschränkt. Darüber hinaus haben bestehende hybride Ansätze aus Reinforcement Learning (RL) und DWA sich vorwiegend auf 2D-Bewegungen in strukturierten Umgebungen konzentriert, wodurch eine Lücke bei Lösungen für die 3D-Steuerung verformbarer Roboter mit hohem Freiheitsgrad (wie Mikroroboter) besteht, die gleichzeitig Bewegung und Form optimieren müssen, um sich durch gewundene Strukturen wie Gefäßnetzwerke zu navigieren.

Methodik
Die Autoren schlagen 3D RL-DWA vor, ein hybrides Framework, das Reinforcement Learning (RL) mit einem angepassten 3D Dynamic Window Approach (DWA) für die lokale Navigation eines verformbaren Roboters mit 9 DoF integriert. Das System wird als Ellipsoid modelliert, das 6 DoF für die Pose (Position und Orientierung) und 3 DoF für die Formverformung entlang seiner Symmetrieachsen aufweist.

• Steuerungsarchitektur: Das Framework arbeitet in einem geschlossenen Regelkreis, bei dem ein RL-Agent die Umgebung beobachtet (Aufgabenstatus und spärliche Laserscandaten) und zwei Arten von Befehlen ausgibt:

  1. DWA-Parameter: Der Agent passt dynamisch die Gewichtungsfaktoren ($\alpha, \beta, \gamma, \zeta$) der DWA-Kostenfunktion an, welche Geschwindigkeit, Richtung, Hindernisfreiheit und Zielausrichtung ausbalanciert.
  2. Geschwindigkeitsbefehle: Der Agent gibt direkt die Winkelgeschwindigkeit ($\omega_x$) und Verformungsgeschwindigkeiten ($\dot{\delta}$) aus.
     Das DWA-Modul nutzt diese Parameter anschließend, um die optimale lineare Geschwindigkeit aus einer zulässigen Menge auszuwählen und so kollisionsfreie Trajektorien innerhalb eines 3D-dynamischen Fensters sicherzustellen.

• Reinforcement-Learning-Formulierung: Das Problem wird als Markov-Entscheidungsprozess (MDP) unter Verwendung des Soft Actor-Critic (SAC)-Algorithmus formuliert. Der Agent wird trainiert, eine dichte Belohnungsfunktion zu maximieren, die Vorwärtsbewegung, Kollisionsvermeidung und die Maximierung des vom Roboter eingenommenen Volumens innerhalb des Gefäßes fördert. Der Beobachtungsraum umfasst den Verformungszustand des Roboters, die normalisierte Geschwindigkeit, den Verschiebungsvektor zum Ziel und $N$ Laserscan-Entfernungen.

• Kinematik: Die Bewegung des Roboters wird durch ein vereinfachtes kinematisches Modell gesteuert, das von ferrofluidischen Systemen inspiriert ist. Eine wesentliche Einschränkung besteht darin, dass die x-Achse des Roboters mit der Bewegungsrichtung ausgerichtet ist, wodurch die steuerbare Rotations-Freiheitsgrade auf eine einzige Achse ($\omega_x$) reduziert werden, während die verbleibenden Rotationskomponenten passiv durch Ausrichtungsbeschränkungen induziert werden.

Hauptbeiträge

1. Neues hybrides Framework: Die Arbeit stellt die erste Anwendung eines RL-DWA-Hybrids speziell für die 3D-Lokalnavigation verformbarer Roboter mit hohem Freiheitsgrad vor und schließt die Lücke in der 3D-Bewegungssteuerung für solche Systeme.
2. Adaptive Parametereinstellung: Im Gegensatz zum traditionellen DWA, das eine manuelle Einstellung erfordert, nutzt das vorgeschlagene Verfahren RL, um die Gewichte der DWA-Kostenfunktion in Echtzeit basierend auf Umweltbedingungen und Sensor-Spärlichkeit dynamisch anzupassen.
3. Simultane Bewegungs- und Formsteuerung: Das Framework optimiert Pose und Formverformung gemeinsam, wodurch der Roboter in der Lage ist, seine Volumeneinnahme zu maximieren, während er sich durch eingeschränkte Räume bewegt.
4. Robustheit gegenüber spärlicher Sensorik: Das System wurde explizit unter variierenden Levels exterozeptiver Daten (15, 25 und 50 Sensorelemente) evaluiert und zeigt Anpassungsfähigkeit unter Bedingungen, die typisch für biomedizinische Anwendungen sind, bei denen hochauflösende Sensorik begrenzt ist.

Experimentelle Ergebnisse
Das Framework wurde in einer simulierten Gefäßnetzwerk-Umgebung unter Verwendung von 1.080 experimentellen Versuchen über Trainings- und ungesehene Testszenarien hinweg evaluiert.

• Leistungsvergleich: Der 3D RL-DWA übertraf sowohl eine reine RL-Baseline (SAC) als auch einen modellbasierten Controller (unter Verwendung von Delaunay-Triangulierung und Voronoi-Graphen) signifikant.
  • Pfadabschluss: In ungesehenen Testszenarien mit hochauflösender Sensorik ($N=50$) erreichte der 3D RL-DWA einen nahezu perfekten Pfadabschluss (Median ~99,22 %), wohingegen die reine RL-Baseline Schwierigkeiten hatte (Median ~45,75 %) und die modellbasierte Methode bei niedrigeren Auflösungen vollständig versagte.
  • Verformung: Der hybride Ansatz behielt über alle Auflösungen hinweg hohe Verformungsfähigkeiten bei (Median ~53–57 % Volumeneinnahme), während die reine RL bei niedrigeren Sensordichten aufgrund von Navigationsfehlern eine verschlechterte Verformungsleistung zeigte.
• Einfluss der Sensorauflösung: Eine höhere Sensorauflösung ($N=50$) verbesserte die Konvergenzgeschwindigkeit und Reproduzierbarkeit. Das System zeigte jedoch auch bei mittleren Auflösungen ($N=25$) Robustheit, während $N=15$ zu einer verringerten Navigationszuverlässigkeit führte, aber dennoch einige Verformungsfähigkeiten bewahrte.
• Recheneffizienz: Das System erwies sich als für Echtzeitanwendungen geeignet, mit mittleren Inferenzzeiten, die konsistent unter 2 ms pro Steuerungs-Schritt lagen. Die RL-Komponente war zeitkonstant, während die DWA-Komponente linear mit den Sensorelementen skalierte, aber dennoch effizient blieb.
• Robustheit gegenüber Rauschen: Unter zunehmendem Gaußschen Rauschen behielt der 3D RL-DWA im Vergleich zu Baselines überlegene Pfadabschlussraten bei, obwohl die Leistung mit dem Rauschen natürlich abnahm. Die Verformungssteuerung erwies sich als inhärent robuster gegenüber Sensorrauschen als die Navigation.

Bedeutung und Behauptungen
Die Autoren behaupten, dass das 3D RL-DWA-Framework effektiv die Lücke zwischen der Anpassungsfähigkeit lernbasierter Methoden und der strukturierten Führung klassischer Planer schließt. Der hybride Ansatz wird als Lösung präsentiert, die ein Gleichgewicht erreicht, das weder reine Lernverfahren noch rein modellbasierte Methoden in eingeschränkten 3D-Umgebungen bieten können.

Die Arbeit betont, dass diese Methode besonders effektiv für aufkommende biomedizinische Anwendungen ist, wie etwa die autonome Steuerung von Mikrorobotern für minimal-invasive Eingriffe, bei denen Roboter unstrukturierte Umgebungen mit spärlicher Sensorik navigieren müssen. Die Ergebnisse deuten darauf hin, dass die Integration von RL zur Feinabstimmung der DWA-Parameter eine robuste, adaptive Navigation ermöglicht, die sich gut auf ungesehene Wegpunktsequenzen und Sensorunsicherheiten verallgemeinert, was sie zu einem vielversprechenden Kandidaten für den Echtzeit-Einsatz in komplexen 3D-Räumen macht.