Aerial Inspection Behaviors via RL-based Quadrotor Control for Under-canopy Forest Environments

Résumé Technique : Comportements d'Inspection Aérienne via un Contrôle de Quadricoptère Basé sur l'Apprentissage par Renforcement pour les Environnements Forestiers Sous-Canopée

Énoncé du Problème
Ce papier aborde le défi du déploiement de quadricoptères autonomes pour des missions d'inspection au sein d'environnements forestiers sous-canopée. Bien que les quadricoptères soient bien adaptés aux espaces confinés et encombrés, les pipelines d'autonomie conventionnels reposent généralement sur une pile de contrôle structurée (par exemple, PID ou suivi géométrique) combinée à des planificateurs de mouvement. Les auteurs investiguent si un contrôleur de niveau moteur appris, de bout en bout, peut servir de couche d'exécution pratique alternative au sein d'une pile d'autonomie guidée par un planificateur. Le problème spécifique consiste à réaliser un suivi simultané de la référence de position et de lacet (suivi de la pose de vue) pour soutenir divers comportements d'inspection, tels que la navigation point-à-point, le balayage circulaire et les trajectoires hélicoïdales, tout en opérant sous bruit de mesure d'état et perturbations externes.

Méthodologie
La solution proposée utilise une architecture d'autonomie hiérarchique comprenant trois couches distinctes :

1. Navigation de Haut Niveau (Planificateur TSP) : Étant donné une carte connue de la forêt et un ensemble de régions d'inspection définies par l'utilisateur, un planificateur du Problème du Voyageur de Commerce (TSP) calcule la séquence optimale pour visiter ces cibles. La fonction de coût est basée sur la distance euclidienne, ignorant l'altitude et le lacet pour la génération initiale de la séquence.
2. Planification de Trajectoire de Niveau Intermédiaire (Planificateur RRT) :* Un planificateur RRT* (Rapidly-exploring Random Tree Star) 3D informé génère des trajectoires sans collision entre les cibles séquentielles définies par le TSP. Ce planificateur respecte les limitations spécifiques de suivi et les limites de sécurité du contrôleur de bas niveau (par exemple, s'assurant que les points de passage sont dans un rayon de 3 mètres pour tenir compte des conditions de terminaison de l'entraînement). Il produit une séquence de points de passage sans collision et de profils de cap.
3. Exécution de Bas Niveau (Contrôleur RL) : La contribution principale est une politique d'Apprentissage par Renforcement (RL) profonde qui mappe les observations d'état directement aux commandes de régime moteur (RPM).
   • Formulation : Le problème est modélisé comme un Processus de Décision Markovien Partiellement Observable (POMDP).
   • Espace d'Observation : Inclut l'erreur de position bruitée, l'erreur de quaternion, la vitesse linéaire, la vitesse angulaire et l'action précédente (pour maintenir les propriétés de Markov). Du bruit gaussien est injecté pendant l'entraînement pour améliorer la robustesse.
   • Espace d'Action : La politique produit des RPM moteurs normalisés, qui sont convertis en valeurs RPM brutes dans la simulation.
   • Façonnage de la Récompense : Une fonction de récompense multi-composantes encourage la survie (évitant les crashes), le suivi précis de la position (utilisant des récompenses exponentielles à double bande passante pour les erreurs horizontales et verticales), la minimisation de la vitesse, le suivi précis de l'angle géodésique (lacet), et la douceur de l'action (pénalisant les changements rapides dans les commandes moteur).
   • Architecture : La politique est un Perceptron Multicouche (MLP) avec 17 entrées et 4 sorties, entraîné en utilisant la bibliothèque Stable-Baselines3 dans un environnement Gym-PyBullet-Drones.

Contributions Clés
Les auteurs présentent trois contributions principales :

1. Politique de Contrôle de Bout en Bout : Un contrôleur de bas niveau basé sur le RL qui mappe les observations d'état directement aux RPM moteurs pour un suivi simultané de la position et du lacet, éliminant le besoin d'une décomposition explicite en contrôle de position en boucle externe et de contrôle d'attitude en boucle interne.
2. Intégration Système : Une démonstration que ce contrôleur appris peut être déployé de manière fiable en tant que module d'exécution au sein d'un cadre de navigation de haut niveau (TSP + RRT*) pour des missions longue distance sous-canopée.
3. Validation : Le système complet est validé à travers cinq scénarios d'inspection distincts, prouvant la viabilité du contrôleur RL dans des environnements complexes de type forêt.

Résultats et Validation
Le système a été évalué dans un environnement forestier simulé contenant 200 troncs d'arbres cylindriques. La validation a couvert cinq scénarios spécifiques :

1. Navigation Sous-Canopée : Le quadricoptère a navigué avec succès entre huit cibles d'inspection, le TSP déterminant l'ordre et le RRT* générant la trajectoire. Le contrôleur RL a suivi les points de passage sans collision résultants.
2. Suivi de la Pose de Vue : Le drone a inspecté cinq arbres à des altitudes variables, maintenant une distance de sécurité de 1 mètre et pointant son axe x corporel vers chaque arbre.
3. Balayage de Scène Stationnaire : Le quadricoptère a maintenu une position fixe tout en effectuant une rotation de 360 degrés pour balayer une zone spécifique.
4. Suivi de Trajectoire Circulaire : Le drone a suivi une trajectoire circulaire autour d'un tronc d'arbre à une altitude constante et à une distance horizontale de 50 cm.
5. Suivi de Trajectoire Hélicoïdale : Le drone a exécuté une trajectoire hélicoïdale autour d'un arbre, variant son lacet pour maintenir une vue du centre du tronc tout au long de l'ascension/descente.

Dans tous les scénarios, le contrôleur a démontré un mouvement fluide et précis avec de faibles erreurs de suivi de position et de lacet. Les résultats indiquent que le contrôleur basé sur le RL gère efficacement l'exécution de comportements d'inspection complexes générés par les planificateurs de haut niveau.

Signification et Revendications
Le papier revendique qu'un contrôleur stabilisateur de niveau moteur appris, lorsqu'il est soutenu par une couche de guidage de navigation, est un module d'exécution de bas niveau viable et efficace pour l'inspection forestière sous-canopée. Le travail suggère que les politiques de bout en bout peuvent réduire le besoin d'une décomposition de contrôleur conçue à la main tout en préservant les garanties de sécurité fournies par les planificateurs de haut niveau. Les auteurs restent modestes concernant le déploiement immédiat, notant que le travail actuel est une validation basée sur la simulation. Ils déclarent que les travaux futurs se concentreront sur le transfert sim-to-réalité et la validation sur matériel réel pour évaluer l'applicabilité du contrôleur dans des missions d'inspection aérienne pratiques et réelles.