Résumé technique : Une approche heuristique pour le réglage des performances dans le contrôle de quadricoptères basé sur l'apprentissage par renforcement

Énoncé du problème

Bien que l'apprentissage par renforcement (RL) ait démontré des capacités impressionnantes dans des tâches de quadricoptères à haute vitesse et agiles, telles que les courses de drones et la navigation dans des environnements encombrés, il manque souvent la capacité de fournir des manœuvres réglables, précises et contrôlées requises pour des applications comme l'inspection d'infrastructures. Les configurations d'entraînement RL typiques sont rigides, rendant difficile l'ajustement itératif des comportements résultants pour répondre à des métriques spécifiques de théorie du contrôle (par exemple, temps d'établissement, dépassement, erreur en régime permanent) sans engendrer de coûts computationnels prohibitifs. De plus, contrairement aux contrôleurs classiques Proportionnel-Intégral-Dérivé (PID), qui offrent des heuristiques de réglage intuitives, les fonctions de récompense RL sont souvent complexes et difficiles à mapper vers des exigences spécifiques de performance transitoire et en régime permanent.

Méthodologie

Les auteurs proposent une approche heuristique novatrice pour atteindre des performances réglables dans le contrôle de quadricoptères de bout en bout basé sur le RL en manipulant la conception de la récompense et les conditions d'arrêt. Le système est modélisé comme un Processus de Décision Markovien Partiellement Observable (POMDP) en utilisant l'algorithme d'Optimisation de Politique Proximale (PPO).

1. Système et observation

• Plateforme : L'étude utilise un quadricoptère Crazyflie 2.1 en configuration $X$.
• Dynamique : Le système utilise des quaternions unitaires pour l'orientation afin d'éviter les singularités, modélisant la dynamique du corps rigide incluant la poussée, le couple et la gravité.
• Espace d'observation : L'agent observe un vecteur de 17 dimensions comprenant l'erreur de position, l'erreur de quaternion, la vitesse linéaire, la vitesse angulaire et l'action précédente. Du bruit gaussien est injecté dans tous les composants de l'état (sauf l'action précédente) pour améliorer la robustesse face au bruit des capteurs en temps réel.
• Espace d'action : La politique sort des valeurs de RPM de moteur normalisées, mappant directement sur les quatre moteurs du drone.

2. Conception de la fonction de récompense

Une fonction de récompense multi-composantes est conçue pour guider la politique vers un contrôle stabilisant :
$$R(t) = s_R + \lambda_1 e^R_{xy} + \lambda_2 e^R_{z} + \lambda_3 v_R + \lambda_4 \theta_R - \lambda_5 a^P_{\Delta}$$

• Récompense de survie ($s_R$) : Incite l'agent à éviter les crashes ou les états dangereux.
• Récompenses d'erreur de position ($e^R_{xy}, e^R_z$) : Utilise des récompenses exponentielles à double bande passante. Cette structure divise la récompense en coefficients influençant la réponse précoce ($\alpha$) et la précision en régime permanent ($\beta$).
• Récompenses de vitesse et d'angle ($v_R, \theta_R$) : Récompense la réduction de la vitesse linéaire et de l'erreur d'orientation (mesurée via l'angle géodésique).
• Pénalité de régularité ($a^P_{\Delta}$) : Pénalise la norme euclidienne au carré de la différence entre les actions consécutives, agissant comme un terme d'amortissement pour encourager un comportement de contrôle de type dérivé.

3. Conditions d'arrêt et de troncature

Les auteurs définissent des conditions d'échec spécifiques (par exemple, descendre en dessous de 10 cm, accélération excessive) et des horizons de troncature. Ces conditions sont réglées pour contraindre le comportement du quadricoptère, influençant l'agilité et le caractère amorti critique de la réponse.

4. Règles heuristiques de réglage

La contribution principale est un ensemble d'heuristiques intuitives pour ajuster les poids de récompense, les coefficients exponentiels et les bornes d'arrêt afin de décaler les performances entre trois modes distincts :

• Référence : Une réponse amortie critique avec une faible erreur en régime permanent.
• Acrobatique (Plus rapide) : Atteinte en augmentant la bande passante de réponse précoce des erreurs de position et en assouplissant les contraintes de vitesse, permettant des temps d'établissement plus rapides.
• Inspection (Plus lente) : Atteinte en réduisant les bornes d'arrêt de vitesse, en augmentant la netteté des récompenses d'erreur de position et en assouplissant les récompenses de survie pour éviter les minima locaux, résultant en des transitoires plus lisses et plus lents.

Contributions clés

1. Structure de récompense novatrice : Introduction de récompenses exponentielles à double bande passante qui atteignent une réponse de référence amortie critique avec de faibles erreurs en régime permanent dans le suivi de consigne.
2. Heuristiques réglables : Un cadre de règles intuitives pour ajuster les poids de récompense et les conditions d'arrêt afin de produire des temps d'établissement « de type acrobatique » (rapides) et « de type inspection » (lents) tout en conservant les caractéristiques d'erreur en régime permanent de la référence.
3. Efficacité d'échantillonnage : Démonstration que les performances souhaitées peuvent être atteintes en environ 6 millions d'étapes temporelles en utilisant PPO, sans nécessiter d'architectures hybrides complexes (par exemple, RL en cascade avec PID).
4. Validation statistique : Validation sur 100 essais avec des conditions initiales aléatoires, démontrant des performances cohérentes dans le suivi de position et de lacet.

Résultats

Les auteurs ont entraîné trois politiques distinctes (Référence, Acrobatique, Inspection) en utilisant des hyperparamètres PPO identiques.

• Efficacité de l'entraînement : Toutes les politiques ont atteint la saturation de la récompense à 6 millions d'étapes temporelles. La variance entre les graines aléatoires était faible, indiquant une stabilité.
• Métriques de performance :
  • Temps d'établissement : La politique Acrobatique a constamment atteint des temps d'établissement plus courts, tandis que la politique Inspection a présenté des transitoires plus longs et plus lisses par rapport à la Référence.
  • Dépassement : Les variables de position x, y et z ont présenté un Intervalle Interquartile (IQR) nul en dépassement, indiquant qu'au moins 75 % des essais ont atteint la réponse amortie critique prévue. Le dépassement de lacet était plus important, attribué aux conditions initiales randomisées.
  • Erreur en régime permanent : Les trois politiques ont maintenu des erreurs en régime permanent dans la bande prescrite de 2 % pour la position et le lacet.
• Actionnement des moteurs : La politique Inspection a nécessité moins d'actionnement moteur et s'est stabilisée plus rapidement en termes de stabilisation des RPM par rapport à la politique Acrobatique plus agressive.

Importance et affirmations

L'article affirme que l'approche heuristique proposée constitue une méthodologie fiable et pratique pour concevoir des contrôleurs de quadricoptères basés sur le RL avec des performances de stabilisation réglables. Contrairement aux approches hybrides précédentes qui se concentrent sur l'entraînement d'une seule politique avec des attentes fixes, ce travail fournit un mécanisme pour contrôler les caractéristiques de performance de la politique (transitoire vs régime permanent) par des ajustements de paramètres intuitifs.

Les auteurs soulignent que cette approche comble le fossé entre la flexibilité du RL et la prévisibilité de la théorie du contrôle classique, permettant la génération de contrôleurs adaptés à diverses applications allant des courses à haute vitesse à l'inspection précise d'infrastructures. Le travail est modeste dans son ampleur, se concentrant sur une validation basée sur la simulation avec du bruit gaussien, et identifie explicitement le transfert sim-to-réel, la randomisation de domaine, la latence et les limitations computationnelles embarquées comme des domaines nécessaires pour les travaux futurs.