Résumé technique : Apprentissage par renforcement avec estimateur de dynamique en boucle interne pour la manipulation aérienne sous incertitude

Énoncé du problème

Les manipulateurs aériens, qui intègrent des drones multirotors à des bras robotiques, sont essentiels pour l'interaction physique dans des environnements 3D complexes. Cependant, parvenir à une manipulation aérienne directe de tout le corps fiable reste un défi majeur. La difficulté centrale réside dans le couplage fort entre la base aérienne sous-actionnée et le bras manipulateur. Les mouvements rapides du bras, les changements de charge utile (saisie/relâchement) et les perturbations externes provoquent des décalages transitoires du centre de gravité, de l'inertie et du couplage dynamique. Ces incertitudes sont difficiles à modéliser analytiquement, ce qui fait d'un contrôle stable et précis sous des conditions opérationnelles variables un problème largement non résolu. Les méthodes existantes reposent souvent sur des modèles linéaires simplifiés ou des stratégies de contrôle découplées qui ne parviennent pas à prendre en compte ces dynamiques non linéaires et couplées, entraînant une dégradation des performances lors de manœuvres agressives ou de variations de charge utile.

Méthodologie

Les auteurs proposent un cadre de contrôle hiérarchique qui combine l'apprentissage par renforcement (RL) pour la coordination de haut niveau avec un estimateur de dynamique en boucle interne pour la compensation des incertitudes de bas niveau. Le système fonctionne sans nécessiter de modèle dynamique couplé entièrement précis dans la couche de politique.

1. Architecture hiérarchique

• Boucle externe (Politique RL) : Une politique apprise associe une pose cible de l'effecteur final en 6-DOF à des commandes coordonnées de tout le corps. L'espace d'observation (33 dimensions) comprend les erreurs géométriques dans l'espace de tâche, les états de la base (position, vitesse, attitude) et les états des articulations. L'espace d'action (10 dimensions) produit l'accélération linéaire désirée de la base, le lacet désiré, les vitesses de rotation corporelles désirées et les positions articulaires désirées.
  • Entraînement : La politique est entraînée à l'aide de l'optimisation de politique proximale (PPO) dans une simulation vectorisée accélérée par GPU (Aerial Gym) avec une randomisation de domaine (variation de la masse de la charge utile, des longueurs de liaison, des constantes de temps des moteurs, etc.).
  • Façonnage de la récompense (Reward Shaping) : La fonction de récompense utilise un façonnage exponentiel à deux échelles pour équilibrer la convergence globale (atteindre la cible) avec la précision locale (maintenir la stabilité et la fluidité). Une récompense de progression temporelle encourage le mouvement vers l'objectif tout en pénalisant le mouvement arrière pour éviter les oscillations.
• Boucle interne (Contrôleur basé sur un estimateur) : Cette couche suit les commandes de haut niveau générées par la politique RL. Elle emploie un estimateur de dynamique basé sur le délai pour compenser les décalages inertiels transitoires et les couplages non modélisés sans connaissance préalable du système.
  • Le contrôleur traite la dynamique inconnue regroupée (incluant les termes de couplage, les forces de Coriolis et les perturbations) comme une fonction d'incertitude $\bar{H}_\eta$.
    la l'aide d'une matrice d'inertie nominale diagonale $\bar{M}_\eta$ et d'un délai $L$, le contrôleur estime l'incertitude $\hat{\bar{H}}_\eta(t)$ à partir des états et des entrées de commande passés : $\hat{\bar{H}}_\eta(t) = \tau_\eta(t-L) - \bar{M}_\eta \ddot{\eta}(t-L)$.
  • La loi de commande combine un terme de suivi standard avec cette incertitude estimée pour générer des commandes de couple de bas niveau pour le corps du quadrotor et les articulations du manipulateur.

2. Implémentation du système

Le cadre a été validé sur une plateforme matérielle personnalisée composée d'un quadrotor Tarot-450, d'un manipulateur à 3 degrés de liberté (Dynamixel) et d'un Jetson Orin Nano Super pour le calcul de haut niveau. La politique RL s'exécute à 100 Hz, tandis que le contrôleur de la boucle interne fonctionne à 300 Hz.

Principales contributions

1. Architecture hiérarchique : Une intégration novatrice de la génération de commandes de tout le corps par RL avec un processus d'estimation en boucle interne pour le suivi et la compensation des incertitudes.
2. Couche d'exécution sans modèle : Une couche d'exécution par estimation de la dynamique capable de gérer les changements de couplage UAV-bras transitoires, y compris les variations d'inertie dues aux événements de saisie/relâchement et aux mouvements rapides du manipulateur, sans nécessiter de modèle de système a priori.
3. Évaluation robuste : Évaluation complète sous des conditions hors-normes, spécifiquement les variations de charge utile et le couplage dynamique lors du mouvement du bras.
4. Amélioration démontrée : Preuve empirique montrant que la combinaison de la coordination apprise et du retour par estimateur améliore significativement la précision de la régulation de l'effecteur final et sa fluidité sous incertitude dynamique.

Résultats expérimentaux

La méthode proposée a été testée sur une trajectoire plane en forme de huit avec des charges utiles variables (200g et 400g) et des vitesses variables (0,5 m/s et 1,0 m/s), incluant des actions de ramassage et de dépôt en plein vol. Elle a été comparée à deux bases : RL+PID et RL+INDI+PID (contrôle adaptatif indirect).

• Précision de suivi : La méthode proposée a obtenu l'erreur quadratique moyenne (RMSE) la plus faible dans toutes les conditions testées.
  • Comparée à RL+PID, elle a réduit la RMSE moyenne de 40,9 %.
  • Comparée à RL+INDI+PID, elle a réduit la RMSE moyenne de 26,4 %.
• Taux de succès : La méthode proposée a démontré des taux de réussite des tâches plus élevés, particulièrement dans des scénarios agressifs (ex: charge de 400g à 1,0 m/s), où les bases ont montré une dégradation significative des performances.
• Reproductibilité : L'écart type de la RMSE était le plus bas pour la méthode proposée (0,024 m) par rapport aux bases (0,038 m et 0,062 m), indiquant une reproductibilité supérieure face à la variabilité du matériel.

Signification et affirmations

L'article affirme que l'approche proposée répond efficacement au défi ouvert de la manipulation aérienne directe de tout le corps sous des changements brusques de charge utile et des incertitudes dynamiques. Les auteurs soutiennent que la coordination apprise de tout le corps est plus efficace lorsqu'elle est couplée à une compensation de bas niveau par estimateur. Cette combinaison permet au système de :

• Générer des commandes de niveau tâche sans dépendre d'un modèle analytique précis de la dynamique couplée.
• Compenser les décalages inertiels transitoires et les perturbations non modélisées en temps réel.
• Améliorer la précision, la robustesse et la reproductibilité dans les régimes de haute vitesse et de forte charge là où les approches traditionnelles basées sur des modèles ou des approches d'apprentissage simplifiées peinent.

Les résultats sont présentés comme une preuve empirique solide soutenant l'efficacité de ce design hiérarchique, bien que les auteurs notent que l'étude est limitée à l'expérience spécifique du matériel en forme de huit et n'inclut pas de test de signification formel.