Deep deterministic policy gradient with symmetric data augmentation for lateral attitude tracking control of a fixed-wing aircraft

Cet article propose une méthode d'apprentissage par renforcement hors ligne basée sur l'algorithme DDPG et l'augmentation de données symétriques, exploitant la symétrie du système dynamique d'un avion à voilure fixe pour améliorer l'efficacité de l'échantillonnage et accélérer la convergence de la politique de contrôle de l'attitude latérale.

L'essentiel

🛩️ Le Secret du Miroir : Apprendre à un Avion à Voler avec Moins d'Essai

Imaginez que vous apprenez à un robot à piloter un avion. La méthode classique, appelée Apprentissage par Renforcement, ressemble à un enfant qui apprend à faire du vélo : il tombe, se relève, essaie de nouveau, et petit à petit, il trouve l'équilibre.

Le problème ? Dans le ciel, "tomber" coûte cher (en temps de calcul et en énergie). De plus, l'espace où l'avion peut voler est gigantesque. Pour apprendre à bien piloter, le robot devrait théoriquement essayer des millions de combinaisons de mouvements, ce qui prendrait une éternité.

C'est ici que les auteurs de cet article apportent une idée brillante : utiliser le miroir.

1. Le Concept de la Symétrie (Le Miroir Magique)

Les avions sont conçus de manière symétrique. Si vous regardez un avion de face, l'aile gauche est le reflet de l'aile droite.

• L'analogie : Imaginez que vous apprenez à un enfant à lancer une balle. S'il lance la balle vers la droite avec sa main droite, il comprend intuitivement comment lancer vers la gauche avec sa main gauche, sans avoir besoin de s'entraîner des heures de plus.
• Dans l'article : Les chercheurs disent : "Si notre avion apprend à faire une manœuvre vers la gauche, nous savons mathématiquement comment il se comporterait vers la droite." Nous n'avons pas besoin de le faire voler vers la droite pour le savoir ; nous pouvons simplement créer une copie miroir de la manœuvre vers la gauche.

2. L'Augmentation de Données (Le Multiplicateur de Temps)

Normalement, l'avion ne vole que dans la réalité (ou dans une simulation). Il collecte des données : "J'ai tourné à gauche, j'ai gagné du point".

• La méthode proposée : Dès que l'avion fait une action, le système crée instantanément une "action miroir" (l'inverse) et l'ajoute à son carnet de notes.
• Résultat : Au lieu d'apprendre sur 100 expériences réelles, l'avion apprend sur 200 expériences (100 réelles + 100 miroirs). C'est comme si vous doubliez votre temps d'étude sans avoir à rester éveillé plus longtemps.

3. Le Problème du "Mélange" (Pourquoi deux cerveaux ?)

Les chercheurs ont remarqué un petit hic. Si on mélange les vraies expériences et les expériences miroirs dans le même panier d'apprentissage, l'avion peut devenir confus. C'est comme si un élève étudiait ses leçons de mathématiques et de musique en même temps, sans jamais se concentrer sur l'une ou l'autre.

• La solution ingénieuse (DDPG-SCA) : Ils ont créé deux "cerveaux" (critiques) distincts.
  • Le Cerveau A apprend uniquement des expériences réelles (ce que l'avion a vraiment fait).
  • Le Cerveau B apprend uniquement des expériences miroirs (ce que l'avion aurait pu faire).
  • Ensuite, ils utilisent ces deux cerveaux pour guider le "pilote" (l'acteur) de manière plus intelligente. C'est comme avoir un coach qui regarde vos vrais matchs et un autre qui analyse vos entraînements théoriques, pour vous donner la meilleure stratégie possible.

4. Le Résultat : Un Pilote Plus Rapide et Plus Intelligent

Grâce à cette méthode, l'avion apprend beaucoup plus vite.

• L'analogie finale : Imaginez que vous devez apprendre à naviguer dans une ville inconnue.
  • Sans la méthode : Vous devez marcher dans chaque rue, faire des erreurs, et vous perdre pour apprendre le chemin.
  • Avec la méthode : Vous marchez dans la moitié de la ville, et grâce à la symétrie (le miroir), vous "imaginez" instantanément l'autre moitié. Vous connaissez toute la ville en deux fois moins de temps.

En résumé :
Cet article montre comment utiliser la symétrie naturelle des avions pour "tricher" intelligemment. Au lieu de faire voler l'avion partout pour apprendre, on lui donne des leçons supplémentaires basées sur la physique du miroir. Cela permet d'obtenir un pilote automatique plus performant, plus rapide à entraîner et capable de gérer des situations qu'il n'a jamais vraiment rencontrées, simplement parce qu'il a appris à comprendre la symétrie de son propre monde.

Résumé technique

1. Problématique

Le contrôle de vol par apprentissage par renforcement (RL), en particulier pour les aéronefs à voilure fixe, se heurte à un défi majeur : l'efficacité de l'échantillonnage (sample efficiency).

• Coût de l'exploration : L'espace d'état-action des dynamiques d'un avion est de haute dimension et coûteux à explorer. Les algorithmes RL traditionnels (comme le DDPG) nécessitent une grande quantité de données pour converger vers une politique optimale.
• Compromis Exploration-Exploitation : Au fur et à mesure que la politique de contrôle converge, l'agent réduit son exploration, ce qui limite la couverture de l'espace d'état-action. Cela peut entraîner une mauvaise généralisation dans des régions non visitées, dégradant les performances de contrôle.
• Manque de données symétriques : Les systèmes mécaniques comme les avions possèdent des symétries structurelles (réflexionnelles), mais les algorithmes RL standards n'exploitent pas intrinsèquement cette propriété pour générer des données supplémentaires, gaspillant ainsi une information potentielle cruciale.

L'objectif de cet article est de développer une méthode d'apprentissage par renforcement hors ligne (offline RL) qui exploite la symétrie des systèmes dynamiques pour augmenter la taille du jeu de données d'entraînement sans interaction supplémentaire avec l'environnement, accélérant ainsi la convergence de la politique de contrôle.

2. Méthodologie

Les auteurs proposent une approche structurée en plusieurs étapes, combinant la théorie de la symétrie des systèmes dynamiques et l'algorithme DDPG (Deep Deterministic Policy Gradient).

A. Modélisation de la Symétrie

Les auteurs formalisent la symétrie dans le cadre d'un Processus de Décision Markovien (MDP).

• Définition : Un système est symétrique par rapport à un état de référence $x^*$ si, pour tout état $x_t$ et action $a_t$, il existe un état symétrique $x'_t$ et une action symétrique $a'_t = -a_t$ tels que les transitions futures soient également symétriques ($x_{t+1}$ et $x'_{t+1}$).
• Condition théorique : Un théorème est établi pour déterminer quand la symétrie est préservée lors de la transition d'état. Pour un système affine en contrôle $x_{t+1} = F(x_t)x_t + G(x_t)u_t$, la symétrie est garantie si les matrices $F$ et $G$ sont invariantes par rapport à la symétrie des états (ou si $F=I$ pour un état de référence non nul).
• Application au modèle d'avion : Le modèle dynamique latéral de l'avion (roulis, tangage, lacet, dérapage) est vérifié pour satisfaire ces conditions de symétrie par rapport à l'origine ($x^*=0$).

B. Augmentation de Données Symétriques (SDA)

Une fois la symétrie validée, une méthode d'augmentation de données est proposée :

• Pour chaque échantillon exploré $(x_t, a_t, x_{t+1}, r_t)$, un échantillon symétrique artificiel est généré :
  $$s'_t = A s_t + B x^*$$
  où $A$ et $B$ sont des matrices de transformation inversant les signes des états et des actions appropriés.
• Cela permet de doubler virtuellement le nombre d'échantillons disponibles pour l'entraînement, couvrant des régions de l'espace d'état qui n'ont pas encore été explorées par l'agent.

C. Architecture Algorithmique : DDPG-SCA

Pour optimiser l'utilisation de ces données augmentées, les auteurs proposent une modification structurelle du DDPG, nommée DDPG-SCA (Symmetric Critic Augmentation) :

1. Double Mémoire (Replay Buffers) : Les échantillons explorés et les échantillons augmentés sont stockés séparément dans deux tampons ($D_1$ et $D_2$).
2. Deux Critiques (Dual-Critic) : Au lieu d'un seul réseau critique, deux réseaux critiques distincts sont entraînés :
   • Le premier critique ($\psi_1$) est entraîné sur les échantillons explorés ($D_1$).
   • Le second critique ($\psi_2$) est entraîné sur les échantillons augmentés ($D_2$).
3. Itération Approximative en Deux Étapes :
   • Étape 1 : Mise à jour du critique 1 et de l'acteur (politique) sur un mini-lot de $D_1$.
   • Étape 2 : Mise à jour du critique 2 et de l'acteur (à nouveau) sur un mini-lot de $D_2$.
   • Cette approche permet à l'acteur de bénéficier des gradients des deux types de données sans diluer la fréquence de mise à jour, contrairement à un mélange simple des données dans un seul tampon.

D. Régularisation de la Politique (CAPS)

Pour assurer la robustesse et la douceur des commandes, une technique de régularisation (Conditioning for Action Policy Smoothness) est intégrée. Elle ajoute des termes de pénalité pour la régularité spatiale (bruit de mesure) et temporelle (variations brutales entre pas de temps) dans la fonction de perte de l'acteur.

3. Contributions Clés

1. Méthode d'augmentation de données symétriques : Proposition d'une méthode systématique pour générer des échantillons d'entraînement supplémentaires basés sur la symétrie physique du système, applicable aux MDP.
2. Algorithme DDPG-SCA : Développement d'une architecture à double critique et d'une itération de valeur approximative en deux étapes pour maximiser l'efficacité de l'utilisation des données augmentées.
3. Validation théorique et pratique : Analyse rigoureuse de la symétrie du modèle dynamique d'un avion à voilure fixe et démonstration par simulation que cette symétrie peut être exploitée pour le contrôle de vol.

4. Résultats Expérimentaux

Les simulations ont été menées sur un modèle d'avion à voilure fixe pour le suivi de l'angle de roulis (bank angle) avec des références en onde carrée.

• Convergence Accélérée :
  • DDPG-SDA (avec augmentation simple) converge plus rapidement que le DDPG standard durant les premières phases d'entraînement (meilleure pente de retour moyen).
  • DDPG-SCA (avec double critique) montre la convergence la plus rapide, surpassant même une variante DDPG avec deux mises à jour par itération sur le jeu de données original. Le taux de convergence moyen sur les 500 premiers épisodes est significativement plus élevé (14.212 contre 7.489 pour le DDPG standard).
• Généralisation et Robustesse :
  • Lors du test avec des références d'angle de roulis négatives (région non explorée durant l'entraînement standard), le DDPG standard échoue à suivre la référence car il n'a jamais vu de données dans cette zone.
  • Les approches symétriques (DDPG-SDA et DDPG-SCA) maintiennent une performance de suivi élevée dans les régions positives et négatives, grâce à la capacité de "généralisation par symétrie" apportée par les données augmentées.
• Couverture de l'Espace d'État : L'ajout de données symétriques comble les lacunes de l'exploration, augmentant le taux de couverture de l'espace d'état local de manière significative, même avec un bruit d'exploration (OU noise) faible.
• Précision de Contrôle : Les métriques d'erreur (IAEM) montrent que les méthodes symétriques réduisent considérablement l'erreur de suivi par rapport au DDPG standard, tout en maintenant un effort de contrôle (IACM) comparable.

5. Signification et Impact

Cet article démontre que l'intégration de connaissances physiques (la symétrie) dans les algorithmes d'apprentissage par renforcement profond peut résoudre le problème de l'inefficacité de l'échantillonnage.

• Réduction des coûts : La méthode permet de réduire le temps et les ressources nécessaires à l'exploration de l'environnement, ce qui est crucial pour les applications réelles où les tests de vol sont coûteux et risqués.
• Sécurité et Généralisation : En permettant à l'agent de "s'imaginer" (imagination) les états symétriques non visités, la méthode améliore la robustesse du contrôleur face à des scénarios non rencontrés durant l'entraînement, un aspect critique pour la sécurité des systèmes autonomes.
• Applicabilité : Bien que démontré sur un avion, le cadre théorique est généralisable à d'autres systèmes mécaniques symétriques (robots, véhicules terrestres), offrant une nouvelle voie pour le contrôle de vol sans modèle précis (model-free).

En conclusion, l'approche proposée transforme une contrainte physique (la symétrie) en un atout algorithmique, permettant un apprentissage de politique plus rapide, plus efficace et plus robuste pour le contrôle de vol.