Path Planning and Reinforcement Learning-Driven Control of On-Orbit Free-Flying Multi-Arm Robots

Titre

Planification de trajectoire et contrôle piloté par l'apprentissage par renforcement pour des robots multi-bras libres en orbite.

1. Problématique

Les missions d'ingénierie spatiale (assemblage de structures, maintenance de satellites, nettoyage de débris) nécessitent des robots capables d'opérer dans des environnements non déterministes, caractérisés par la microgravité, des perturbations orbitales et des retards de communication.
Les défis majeurs identifiés sont :

• Couplage dynamique : Le mouvement des bras d'un robot multi-articulé affecte la position et l'orientation de sa base (corps principal), rendant le contrôle complexe.
• Incertitudes de modélisation : Les modèles dynamiques précis sont difficiles à obtenir en raison de l'environnement spatial et des variations de masse (carburant).
• Limites des approches classiques : Les méthodes de planification basées sur l'optimisation (TO) dépendent souvent de modèles précis et échouent face aux perturbations réelles. À l'inverse, le contrôle par apprentissage par renforcement (RL) seul peut manquer de précision pour des tâches de haute précision ou consommer trop de ressources computationnelles lors du déploiement.
• Besoin de stabilité : Les robots « rampant » (crawling robots) doivent maintenir leur stabilité tout en se déplaçant sur une surface cible, ce qui exige une gestion fine des forces de contact et de l'équilibre.

2. Méthodologie : Une Approche Hybride

L'article propose une architecture hybride combinant l'Optimisation de Trajectoire (TO) pour la planification globale et l'Apprentissage par Renforcement (RL) pour le contrôle adaptatif en temps réel.

A. Planification par Optimisation de Trajectoire (TO)

• Formulation : Le problème est modélisé comme un Problème de Contrôle Optimal (OCP).
• Paramétrisation : Les trajectoires (base, effecteurs, forces de poussée) sont représentées par des splines polynomiales (cubiques) pour garantir la continuité.
• Variables d'optimisation :
  • Trajectoires de la base (position et orientation).
  • Profils de forces des propulseurs (thrusters) intégrés à la base.
  • Trajectoires des effecteurs terminaux et forces d'interaction avec la surface.
  • Durée des phases de contact et de non-contact (marche).
• Contraintes :
  • Dynamiques et cinématiques complètes (couplage base-bras).
  • Contraintes de contact : fixation de l'effecteur pendant la phase d'appui ($\dot{p}_i = 0$) et respect de la topologie de la surface cible ($z = m(x,y)$).
  • Évitement de collision et limites de portée des bras.
• Fonction de coût : Minimisation des forces de contact, des vitesses de la base et des accélérations pour assurer un mouvement fluide et économe en carburant.
• Résolution : Résolu via un algorithme de programmation non linéaire (IPOPT) avec des dérivées analytiques.

B. Contrôle par Apprentissage par Renforcement (RL)

• Objectif : Suivre la trajectoire de référence générée par le TO tout en compensant les incertitudes, les perturbations et les écarts de modèle (modèle simplifié en TO vs modèle complet en simulation).
• Formulation MDP (Processus de Décision Markovien) :
  • Espace d'observation : Pose et vitesses de la base, positions et vitesses articulaires, actions précédentes, états actuels et désirés des effecteurs.
  • Espace d'action : Positions cibles des articulations (gérées par un contrôleur PD interne) et forces des propulseurs. L'espace d'action est de haute dimension (27 degrés de liberté pour un robot à 4 bras).
  • Fonction de récompense : Combinaison de récompenses de tâche (suivi de trajectoire), de normalisation (lissage des mouvements, économie d'énergie) et de pénalités (collisions, forces excessives).
• Entraînement :
  • Utilisation de l'algorithme PPO (Proximal Policy Optimization).
  • Domain Randomization : Injection de bruit dans les capteurs et randomisation de la masse du système (±10%) pour assurer la robustesse et le transfert Sim-to-Real.
  • Curriculum Learning : Augmentation progressive de la difficulté (distance cible) pour stabiliser l'apprentissage.

3. Contributions Clés

1. Optimisation de trajectoire consciente du contact avec dynamique orbitale complète : Intégration conjointe des trajectoires des effecteurs, des forces des propulseurs et du timing des contacts, permettant un comportement fluide et économe en carburant.
2. Conception de coûts adaptatifs : Ajustement automatique des durées de phase et pénalisation des erreurs de suivi et des forces de contact pour améliorer la sécurité et l'autonomie.
3. Apprentissage de politiques haute dimension : Développement d'une stratégie RL capable de gérer un espace d'action de 27 DoF (4 bras x 6 + 3 propulseurs), gérant efficacement les dynamiques couplées complexes.
4. Cadre RL robuste pour le déploiement spatial : Utilisation de techniques avancées (randomisation de domaine, injection de bruit, shaping de récompense) pour garantir la généralisation face aux incertitudes réelles.

4. Résultats Expérimentaux

Les résultats sont validés via des simulations détaillées dans deux scénarios principaux :

• Cas 1 : Déplacement sur une surface (Contact initial)

  • Scénario : Le robot se déplace de 1,2 m (axe X) puis de 1,5 m (X) et -0,5 m (Y) tout en restant en contact.
  • Résultats TO : L'utilisation des propulseurs réduit considérablement les oscillations de la base et les forces d'interaction aux points d'accrochage par rapport à une méthode sans propulseurs.
  • Résultats RL : La politique RL suit la trajectoire de référence avec une erreur moyenne inférieure à 2,5 cm pour la base et de l'ordre du millimètre pour les effecteurs, surpassant les contrôleurs classiques (IK, contrôle par force) et les méthodes précédentes.

• Cas 2 : Approche à partir d'un état libre (Sans contact initial)

  • Scénario : Le robot est à 0,5 m de la surface et doit utiliser ses propulseurs pour s'approcher avant de commencer la marche.
  • Résultats : Le TO génère une manœuvre d'approche diagonale fluide. La politique RL réussit à suivre cette trajectoire complexe, gérant la transition entre la phase de vol libre (propulseurs) et la phase de marche (bras), démontrant une grande adaptabilité.

Comparaison : Le contrôleur RL proposé affiche une erreur de suivi moyenne de $6,7 \times 10^{-3}$ m, nettement supérieure aux contrôleurs PD, à la cinématique inverse différentielle ($9,2 \times 10^{-2}$ m) et aux méthodes de contrôle optimal classiques.

5. Signification et Impact

• Robustesse et Adaptabilité : Cette approche hybride surmonte les limites des méthodes purement basées sur le modèle (fragiles aux incertitudes) et purement basées sur l'apprentissage (difficiles à planifier pour des tâches complexes). Elle permet au robot de s'adapter aux perturbations dynamiques réelles.
• Efficacité Opérationnelle : L'intégration des propulseurs permet de réduire la charge sur les bras, diminuant l'usure mécanique et les risques de glissement, tout en optimisant la consommation de carburant.
• Faisabilité pour l'Espace : Bien que la TO soit utilisée hors ligne (planification pré-mission), le contrôleur RL est léger en calcul (inférence par multiplication matricielle), ce qui le rend compatible avec les ordinateurs de bord spatiaux à ressources limitées et permet un contrôle en temps réel (>100 Hz).
• Perspectives : Ce travail pose les bases pour des systèmes robotiques spatiaux plus autonomes, capables d'assemblage complexe et de maintenance, et ouvre la voie à des modules de replanification locale en temps réel.

En conclusion, l'article démontre qu'une synergie entre l'optimisation mathématique rigoureuse et l'apprentissage par renforcement adaptatif est la voie la plus prometteuse pour le contrôle de robots multi-bras dans les environnements spatiaux dynamiques et incertains.