3D RL-DWA: A Hybrid Reinforcement Learning and Dynamic Window Approach for Goal-Directed Local Navigation in Multi-DoF Robots

Résumé technique : RL-DWA 3D pour la navigation de robots à haut degré de liberté

Énoncé du problème
La navigation autonome dans des environnements 3D complexes et contraints reste un défi majeur pour les systèmes robotiques à haut degré de liberté (DoF), en particulier lorsqu'ils opèrent dans des conditions sensorielles éparses. Les méthodes de planification globale traditionnelles échouent souvent dans des environnements dynamiques et partiellement connus, tandis que les planificateurs locaux standards comme l'approche de fenêtre dynamique (DWA) reposent sur un réglage de paramètres fixe qui limite l'adaptabilité. De plus, les approches hybrides existantes combinant l'apprentissage par renforcement (RL) et la DWA se sont principalement concentrées sur le mouvement 2D dans des environnements structurés, laissant un vide dans les solutions pour le contrôle 3D de robots déformables à haut DoF (tels que les microrobots) qui doivent optimiser simultanément le mouvement et la forme pour naviguer dans des structures tortueuses comme les réseaux vasculaires.

Méthodologie
Les auteurs proposent 3D RL-DWA, un cadre hybride intégrant l'apprentissage par renforcement (RL) à une approche de fenêtre dynamique 3D (DWA) personnalisée pour la navigation locale d'un robot déformable à 9 DoF. Le système est modélisé comme un ellipsoïde avec 6 DoF pour la pose (position et orientation) et 3 DoF pour la déformation de forme le long de ses axes de symétrie.

• Architecture de contrôle : Le cadre fonctionne en boucle fermée où un agent RL observe l'environnement (état de la tâche et données de balayage laser éparces) et émet deux types de commandes :

  1. Paramètres DWA : L'agent ajuste dynamiquement les facteurs de pondération ($\alpha, \beta, \gamma, \zeta$) de la fonction de coût DWA, qui équilibrent la vitesse, la direction, la dégagement des obstacles et l'alignement vers l'objectif.
  2. Commandes de vitesse : L'agent émet directement la vitesse angulaire ($\omega_x$) et les vitesses de déformation ($\dot{\delta}$).
     Le module DWA utilise ensuite ces paramètres pour sélectionner la vitesse linéaire optimale parmi un ensemble admissible, garantissant des trajectoires sans collision dans une fenêtre dynamique 3D.

• Formulation de l'apprentissage par renforcement : Le problème est formulé comme un processus de décision markovien (MDP) en utilisant l'algorithme Soft Actor-Critic (SAC). L'agent est entraîné à maximiser une fonction de récompense dense qui encourage la progression vers l'avant, l'évitement des collisions et la maximisation du volume occupé par le robot dans le vaisseau. L'espace d'observation inclut l'état de déformation du robot, la vitesse normalisée, le vecteur de déplacement vers l'objectif et les $N$ distances de balayage laser.

• Cinématique : Le mouvement du robot est régi par un modèle cinématique simplifié inspiré des systèmes ferrofluidiques. Une contrainte clé est que l'axe x du robot est aligné avec la direction du mouvement, réduisant les DoF de rotation contrôlables à un seul axe ($\omega_x$), tandis que les composantes de rotation restantes sont induites passivement par des contraintes d'alignement.

Contributions clés

1. Nouveau cadre hybride : L'article présente la première application d'un hybride RL-DWA spécifiquement pour la navigation locale 3D de robots déformables à haut DoF, comblant le vide dans le contrôle du mouvement 3D pour de tels systèmes.
2. Réglage adaptatif des paramètres : Contrairement à la DWA traditionnelle qui nécessite un réglage manuel, la méthode proposée utilise le RL pour ajuster dynamiquement les poids de la fonction de coût DWA en temps réel en fonction des conditions environnementales et de la parcimonie des capteurs.
3. Contrôle simultané du mouvement et de la forme : Le cadre optimise conjointement la pose et la déformation de forme, permettant au robot de maximiser son occupation de volume tout en naviguant dans des espaces contraints.
4. Robustesse face à la perception éparse : Le système est explicitement évalué sous différents niveaux de données extéroceptives (15, 25 et 50 points de capteur), démontrant une adaptabilité dans des conditions typiques des applications biomédicales où la détection à haute résolution est limitée.

Résultats expérimentaux
Le cadre a été évalué dans un environnement simulé de réseau vasculaire utilisant 1 080 essais expérimentaux répartis sur des scénarios d'entraînement et des scénarios de test inédits.

• Comparaison des performances : Le 3D RL-DWA a nettement surpassé à la fois une base RL pure (SAC) et un contrôleur basé sur un modèle (utilisant la triangulation de Delaunay et les graphes de Voronoï).
  • Complétion du trajet : Dans des scénarios de test inédits avec une détection à haute résolution ($N=50$), le 3D RL-DWA a atteint une complétion de trajet quasi parfaite (médiane ~99,22 %), tandis que la base RL pure a peiné (médiane ~45,75 %) et que la méthode basée sur un modèle a échoué complètement à des résolutions inférieures.
  • Déformation : L'approche hybride a maintenu de fortes capacités de déformation (médiane ~53-57 % d'occupation de volume) à travers les résolutions, tandis que le RL pur a montré une performance de déformation dégradée à des densités de capteurs plus faibles en raison d'échecs de navigation.
• Impact de la résolution des capteurs : Une résolution de capteur plus élevée ($N=50$) a amélioré la vitesse de convergence et la reproductibilité. Cependant, le système a démontré une robustesse même à des résolutions intermédiaires ($N=25$), tandis que $N=15$ a entraîné une fiabilité de navigation réduite mais a préservé une certaine capacité de déformation.
• Efficacité computationnelle : Le système a démontré une adéquation en temps réel avec des temps d'inférence moyens constamment inférieurs à 2 ms par étape de contrôle. La composante RL était constante dans le temps, tandis que la composante DWA évoluait linéairement avec les points de capteurs mais restait efficace.
• Robustesse au bruit : Sous un bruit gaussien croissant, le 3D RL-DWA a maintenu des taux de complétion de trajet supérieurs par rapport aux bases, bien que les performances se soient naturellement dégradées avec le bruit. Le contrôle de la déformation s'est avéré intrinsèquement plus robuste au bruit des capteurs que la navigation.

Importance et affirmations
Les auteurs affirment que le cadre 3D RL-DWA comble efficacement le fossé entre l'adaptabilité des méthodes basées sur l'apprentissage et le guidage structuré des planificateurs classiques. L'approche hybride est présentée comme une solution qui atteint un équilibre que ni l'apprentissage pur ni les méthodes purement basées sur des modèles ne peuvent fournir dans des environnements 3D contraints.

L'article souligne que cette méthode est particulièrement efficace pour les applications biomédicales émergentes, telles que le contrôle autonome de microrobots pour des interventions mini-invasives, où les robots doivent naviguer dans des environnements non structurés et à perception éparse. Les résultats suggèrent que l'intégration du RL pour régler les paramètres DWA permet une navigation robuste et adaptative qui se généralise bien à des séquences de points de passage inédites et à des incertitudes de capteurs, en faisant un candidat viable pour un déploiement en temps réel dans des espaces 3D complexes.