Résumé technique : Navigation par apprentissage pour robots mobiles d'intérieur

Énoncé du problème

La navigation des robots mobiles en intérieur repose généralement sur une architecture hiérarchique comprenant un planificateur global pour la génération de trajectoires au niveau de la carte et un planificateur local pour l'évitement d'obstacles en temps réel. Bien que les méthodes classiques telles que A* et le Dynamic Window Approach (DWA) soient largement utilisées, elles reposent souvent sur des règles de recherche et des fonctions de coût faites à la main. Par conséquent, ces planificateurs peuvent produire des mouvements conservateurs ou éprouver des difficultés d'efficacité dans des environnements encombrés. L'article traite de la nécessité d'un cadre de navigation qui améliore la qualité du chemin et la fluidité du mouvement tout en maintenant les contraintes de faisabilité et de sécurité inhérentes aux systèmes robotiques réels.

Méthodologie

Le cadre proposé intègre un planificateur global neuronal supervisé avec un planificateur local basé sur l'apprentissage qui opère dans l'espace d'action structuré de DWA.

1. Module de planification de chemin global

Le planificateur global est conçu pour générer des itinéraires réalisables au niveau de la carte sur des cartes de coût (costmaps) d'intérieur connues.

• Données d'entraînement : Le planificateur est entraîné via un apprentissage supervisé utilisant des trajectoires générées par un expert A* sensible au coût. Cet expert planificateur étend les voisins à 8 connexions sur une carte de coût 2D, minimisant une fonction de coût $f(n) = g(n) + h(n)$ qui inclut des pénalités pour les pas, les rotations et les cellules à coût élevé.
• Architecture du réseau : Le planificateur utilise un réseau de politique convolutionnel ($\pi^G_\theta$) qui prend en entrée un tenseur à cinq canaux (encodant l'occupation des obstacles, les valeurs de la carte de coût, les masques d'espace inconnu et les positions du robot/but).
• Sortie : Le réseau prédit l'action de l'étape suivante comme l'une des huit directions discrètes (N, NE, E, SE, S, SW, W, NW).
• Objectif d'entraînement : Le modèle est entraîné pour minimiser une fonction de perte combinée composée d'une perte de classification d'action (entropie croisée par rapport aux actions de l'expert) et d'une perte de masque de chemin auxiliaire pour fournir une supervision spatiale dense.
• Déploiement : Lors de l'exécution, le planificateur opère de manière autorégressive dans l'espace de la grille, prédisant les actions, masquant les mouvements invalides et mettant à jour l'état jusqu'à ce que l'objectif soit atteint ou qu'une limite d'horizon soit atteinte.

2. Module de planification de chemin local (DWA basé sur l'apprentissage)

Le planificateur local génère des commandes de vitesse en temps réel $(v, \omega)$ pour le suivi de trajectoire et l'évitement d'obstacles. Contra lieu aux approches de bout en bout qui prédisent directement des vitesses continues, cette méthode effectue une sélection de candidats discrets sur le réseau d'actions standard de DWA.

• Espace d'observation : L'entrée comprend un vecteur de contexte global (position du but, erreur de cap, vitesses, distances) et des caractéristiques par candidat pour $N=63$ candidats DWA (vitesse, coûts et drapeaux de validité).
• Entraînement en deux étapes :
  1. Imitation de comportement (BC) : La politique est initialisée en imitant les décisions d'un expert DWA conventionnel. Le réseau produit des logits pour les $N$ candidats, et un ajustement de logit sensible à la validité est appliqué lors de l'inférence pour masquer les candidats infaisables.
  2. Raffinement par PPO : La politique initialisée par BC est ensuite affinée à l'aide de l'optimisation de politique proximale (PPO). La fonction de récompense favorise la progression, la sécurité et la fluidité, avec des pénalités pour les collisions et les dépassements de délai. Crucialement, le raffinement PPO conserve le masquage sensible à la validité, garantissant que la politique reste contrainte à l'espace de candidats faisable de DWA.

Principales contributions

L'article présente trois contributions principales :

1. Cadre hybride : Un système de navigation déployable intégrant un planificateur global neuronal supervisé avec un sélecteur de candidats local basé sur DWA, préservant la structure sensible aux contraintes de DWA.
2. Politique locale à deux étapes : Une stratégie de planification locale entraînée d'abord par imitation de comportement puis raffinée par PPO, utilisant un masquage d'action sensible à la validité pour assurer la sécurité.
3. Validation empirique : Une évaluation complète dans des environnements simulés et réels démontrant une amélioration de la qualité du chemin et de la fluidité du mouvement par rapport au DWA conventionnel.

Résultats expérimentaux

Le cadre a été évalué sur un robot à entraînement différentiel équipé d'un LiDAR 2D et d'un ordinateur embarqué, en utilisant à la fois des simulations Gazebo et un environnement intérieur réel.

• Performance du planificateur global :

  • Lors de la validation hors ligne, le meilleur point de contrôle a atteint un taux de succès de déploiement de 91,94 %.
  • Les comparaisons en temps de fonctionnement ont montré que le Neural A* basé sur GPU (environ 80 ms) est nettement plus rapide que l'inférence sur CPU (environ 12,6 s) et compétitif avec l'A* classique (environ 68 ms).
  • Dans les environnements riches en obstacles, le Neural A* a obtenu un taux de victoire de chemin de 67 % contre 33 % pour l'A* classique, indiquant une qualité de chemin supérieure dans des contextes complexes.

• Performance du planificateur local :

  • Scénarios statiques : Le DWA basé sur l'apprentissage a réduit l'erreur quadratique moyenne (RMSE) de suivi de trajectoire de 0,1044 m (DWA conventionnel) à 0,0633 m et a considérablement abaissé le jerk linéaire (0,8230 contre 1,7673), résultant en un mouvement plus fluide. Cependant, il était légèrement plus lent (36,0 s contre 31,8 s pour atteindre le but).
  • Scénarios avec obstacles : Dans les environnements encombrés, la politique apprise a démontré un évitement plus anticipatif, atteignant une longueur de chemin plus courte (8,12 m contre 8,39 m) et un mouvement angulaire plus fluide (jerk angulaire RMS plus faible) par rapport au DWA conventionnel.
  • Simulation vs Monde Réel : Le système a démontré un taux de succès de 100 % en simulation et a été déployé avec succès sur un robot réel, naviguant dans des environnements intérieurs avec des routes globales réalisables et des commandes locales fiables.

Signification et affirmations

Les auteurs affirment que le cadre proposé intègre efficacement la planification globale basée sur l'apprentissage avec le contrôle local affiné par apprentissage par renforcement. La principale signification réside dans la capacité à générer des itinéraires globaux réalisables et des commandes de mouvement locales fiables qui sont plus sûres et plus fluides que les méthodes conventionnelles, particulièrement en présence d'obstacles.

L'article souligne qu'en sélectionnant des actions à partir du réseau d'actions DWA plutôt qu'en apprenant des commandes continues non contraintes, le système préserve les garanties de faisabilité de DWA tout en exploitant l'apprentissage automatique pour améliorer l'adaptabilité et la qualité du mouvement. Les auteurs notent que bien que l'approche basée sur l'apprentissage produise des trajectoires plus fluides et un meilleur respect du chemin, elle peut être plus conservatrice en termes de temps de traversée par rapport à la base de référence basée sur des règles. Le travail fournit des preuves initiales de généralisation à travers des cartes simulées et un transfert réussi vers un robot réel, bien que les auteurs reconnaissent qu'une évaluation supplémentaire sous divers agencements, obstacles dynamiques et bruit de capteur est nécessaire.