Résumé Technique : CrazyMARL

Énoncé du Problème

Le transport collaboratif de charges suspendues par des câbles par des équipes de véhicules aériens sans pilote (UAV) offre un potentiel significatif pour augmenter la capacité de charge et s'adapter à des charges irrégulières. Cependant, le contrôle de tels systèmes est complexe en raison de la dynamique de pendule complexe, du couplage de tension et de la transition entre les modes de câbles « détendus » (slack) et « tendus » (taut). Les stratégies de contrôle existantes présentent des limitations spécifiques :

• Les approches basées sur des modèles reposent souvent sur des hypothèses de tiges rigides pour les câbles, ce qui ne parvient pas à capturer les dynamiques hybrides (transitions détendu-tendu) et limite l'agilité. Les méthodes centralisées souffrent de goulots d'étranglement en matière de scalabilité et de points de défaillance uniques, tandis que les contrôleurs basés sur des modèles décentralisés peuvent manquer de garanties de performance ou éprouver des difficultés avec la communication itérative.
• Les approches d'Apprentissage par Renforcement (RL) ont montré des promesses dans des scénarios à agent unique et dans certaines tâches multi-agents, mais les travaux antérieurs dans le transport de charges par multi-UAV se sont largement appuyés sur des hypothèses de liaisons rigides ou sur des architectures d'entraînement centralisé avec exécution décentralisée (CTDE) nécessitant une surcharge de communication.
• Contraintes Matérielles : La plupart des méthodes existantes ne traitent pas le contrôle de plusieurs robots opérant sur des microcontrôleurs embarqués à ressources limitées (par exemple, Crazyflie 2.1) proches de leurs limites d'actionnement, où les faibles rapports poussée/poids rendent fréquente l'opération proche de la saturation des moteurs.

Méthodologie

Les auteurs proposent CrazyMARL, un cadre d'apprentissage par renforcement multi-agents (MARL) décentralisé conçu pour le transport aérien coopératif avec des dynamiques de câbles réalistes.

1. Cadre et Architecture

• Algorithme : Le système utilise l'Optimisation de Politique Proximale Indépendante (IPPO) avec partage de paramètres. Cela suit un régime d'exécution complètement décentralisé où chaque agent agit sur la base d'observations locales sans communication inter-robots, évitant ainsi les goulots d'étranglement de scalabilité.
• Pipeline d'Entraînement : L'entraînement est réalisé de bout en bout en utilisant JAX et MuJoCo MJX sur des GPU, permettant des milliers d'environnements parallèles. Cette configuration à haut débit permet une randomisation de domaine (DR) étendue dans un délai court (2 milliards d'étapes en 70 minutes).
• Espace d'Observation : Chaque agent $i$ reçoit une observation locale $o^i_t$ comprenant :
  • L'erreur de la charge ($e^P_t$) et sa vélocité ($v^P_t$).
  • La position relative ($\delta^i_t$), l'orientation ($vec(R^i_t)$), et les vélocités ($v^i_t, \omega^i_t$) de l'agent.
  • L'action précédente de l'agent ($a^i_{t-1}$).
  • Les positions relatives des coéquipiers ($\{\delta^j_t\}_{j \neq i}$) pour la coordination.
• Espace d'Action : Les agents produisent des commandes de moteur normalisées directement mappées sur des cycles de travail de Modulation de Largeur d'Impulsion (PWM) à 250 Hz. La politique contourne les contrôleurs à cascade basse de niveau (ex: PID ou mélange de poussée) en se mappant directement sur l'actionnement des moteurs pour opérer efficacement près des limites physiques.

2. Simulation et Dynamique

• Modèle de Câble Hybride : Contrairement aux travaux précédents utilisant des tiges rigides, la simulation emploie des tendons MuJoCo pour modéliser des câbles qui n'exercent une tension que lorsqu'ils sont tendus et une force nulle lorsqu'ils sont détendus. Cela capture les dynamiques hybrides détendu-tendu essentielles pour les manœuvres agiles.
• Randomisation de Domaine (DR) : Pour assurer le transfert sim-vers-réel (sim-to-real), l'entraînement incorpore la randomisation de :
  • États initiaux (incluant les départs au sol et les câbles détendus).
  • Paramètres d'actionneur (caps de poussée, constantes de temps, décalages moteurs).
  • Bruit d'observation et perturbations externes stochastiques (vent, poussées).
  • Positions cibles.

3. Conception de la Récompense

Une fonction de récompense modulaire et composite $r = r_{track} \cdot r_{stable} + r_{safe}$ est utilisée :

• Suivi ($r_{track}$) : Minimise l'erreur de la charge et aligne la vélocité de la charge avec la cible.
• Stabilité ($r_{stable}$) : Pénalise l'oscillation excessive, l'inclinaison et la vélocité, tout en encourageant des câbles tendus.
• Sécurité ($r_{safe}$) : Encourage des actions fluides, une poussée moteur équilibrée et l'évitement de collisions.
  Les termes de récompense sont bornés entre [0, 1] pour faciliter les gradients lisses et empêcher l'agent d'apprendre à terminer les épisodes prématurément.

Principales Contributions

1. Contrôle Décentralisé de Bout en Bout : La première démonstration d'une politique MARL entièrement décentralisée pour le transport par câble suspendu multi-UAV qui produit des commandes PWM de moteur directes sans cascades de bas niveau, spécifiquement adaptée aux plateformes à ressources limitées comme le Crazyflie 2.1.
2. Dynamique de Câble Hybride : Le cadre modélise explicitement et apprend à contrôler les transitions entre les modes de câbles détendus et tendus, une capacité auparavant non traitée dans les contextes multi-UAV qui supposaient généralement des liaisons rigides.
3. Transfert Sim-vers-Réel Zero-Shot : Déploiement réussi de la politique apprise sur du matériel réel (Crazyflie 2.1) sans ajustement fin (fine-tuning), démontrant une robustesse contre le vent, les poussées externes et les conditions initiales difficiles.
4. Pipeline d'Entraînement à Haut Débit : Un pipeline JAX/MJX parallélisé sur GPU qui entraîne des politiques multi-robots complexes en quelques minutes, accélérant considérablement le cycle d'itération par rapport aux méthodes traditionnelles.

Résultats Expérimentaux

Simulation

• Rejet de Perturbations : Dans des scénarios de récupération difficiles (états initiaux randomisés, incluant des départs au sol et des câbles détendus), la politique CrazyMARL a atteint un taux de récupération de 80 % (797/1000 essais), surpassant de manière significative un contrôleur de référence basé sur un modèle (taux de succès de 44 %).
• Agilité : La politique apprise a maintenu une vitesse moyenne de 0,58 m/s contre 0,27 m/s pour le modèle de référence, avec un amortissement plus rapide de l'oscillation de la charge et des trajectoires plus directes.
• Généralisation : La politique s'est bien généralisée aux variations de longueur de câble, de masse de la charge et de bruit d'observation, bien que la performance ait diminué avec des câbles très longs (>1m) ou des échelles de bruit extrêmes.
• Scalabilité : Le système a réussi à passer de 1 à 3 quadrotors. Des équipes de 6 quadrotors ont montré des limites de coordination (terminaison précoce), mais le cadre a démontré un partage de charge et une récupération efficaces pour des équipes plus petites.

Matériel (Monde Réel)

• Plateforme : Déployé sur deux quadrotors Crazyflie 2.1 transportant une charge de 10g.
• Performance : Le système a exécuté des décollages autonomes et a maintenu un vol stable sous des vitesses de vent moyennes de 3,5 m/s.
• Précision : La politique a maintenu une erreur quadratique moyenne (RMSE) de maintien de position de 0,077 m dans le vent, une augmentation marginale par rapport au RMSE de 0,064 m dans des conditions calmes.
• Robustesse : Les robots ont réussi à récupérer de fortes poussées externes et à maintenir des trajectoires en huit avec la charge, des capacités que le contrôleur de référence ne pouvait pas atteindre.

Signification et Revendications

L'article affirme que CrazyMARL fournit une solution scalable et résiliente pour la manipulation aérienne coopérative dans des environnements non structurés. En combinant l'exécution décentralisée avec le contrôle direct du moteur et des dynamiques de câble hybrides réalistes, ce travail permet à des équipes d'UAV d'opérer près de leurs limites d'actionnement physiques tout en rejetant les perturbations. Les auteurs positionnent cela comme une étape vers des équipes autonomes capables de missions de transport de charges complexes là où les contrôleurs traditionnels basés sur des modèles peinent en raison des inexactitudes de modélisation et des surcharges de communication. Le transfert réussi zero-shot vers le matériel avec des robots à faible rapport poussée/poids souligne la viabilité pratique des politiques de RL de haute fréquence et de bout en bout dans des scénarios réels.