Résumé Technique : Synthèse de Commande par Apprentissage par Renforcement : Une Perspective de Modélisation

Énoncé du Problème

L'article traite de l'écart « sim-to-real » (simulation vers la réalité) dans l'apprentissage par renforcement (RL) pour les systèmes de commande. Bien que le RL offre une voie prometteuse pour la conception de contrôleurs, les politiques entraînées dans des environnements virtuels échouent souvent lors du déploiement sur du matériel physique en raison d'un décalage de modèle. Les auteurs étudient si la conception de contrôleurs utilisant des modèles simplifiés et inexacts (spécifiquement des modèles Linéaires Invariants dans le Temps ou LTI) par rapport à des modèles de haute fidélité fondés sur les principes premiers (modèles de laboratoire) affecte la robustesse et la déployabilité des réseaux de neurones résultants. L'hypothèse centrale est que les contrôleurs entraînés sur des modèles inexacts peuvent bien performer en simulation, mais échouer lors d'expériences physiques en raison de leur sensibilité aux perturbations et aux écarts de paramètres.

Méthodologie

L'étude utilise le système classique du pendule inversé sur un chariot comme référence. La méthodologie comprend trois composantes principales :

1. Modélisation du Système :

   • Modèle de Laboratoire : Un système dynamique de haute fidélité dérivé de la mécanique lagrangienne, incorporant des paramètres détaillés tels que l'amortissement visqueux ($B_c, B_p$), l'inertie du moteur, les rapports de réduction et les constantes électromagnétiques.
   • Modèle Linéaire : Un modèle LTI simplifié obtenu par linéarisation du système autour de l'équilibre vertical et en négligeant l'amortissement visqueux ainsi que l'énergie cinétique de rotation.

2. Cadre d'Apprentissage par Renforcement :

   • Les auteurs utilisent l'algorithme REINFORCE (une méthode de gradient de politique) pour entraîner un contrôleur continu.
   • Le contrôleur est paramétré par un réseau de neurones entièrement connecté à deux couches avec des fonctions d'activation ReLU.
   • Le réseau produit la moyenne ($\mu$) et l'écart-type ($\sigma$) d'une distribution gaussienne à partir de laquelle l'action de tension du moteur est échantillonnée.
   • La fonction de récompense est binaire : +1 si la position du chariot et l'angle du pendule restent dans une plage de $\pm 0,2$ unités par rapport au centre/vertical, et 0 sinon.
   • L'entraînement est effectué séparément dans des environnements simulant le Modèle de Laboratoire et le Modèle Linéaire.

3. Techniques d'Analyse :

   • Validation Expérimentale : Les contrôleurs entraînés sont déployés sur une installation physique de pendule inversé pour observer la stabilité et la robustesse face aux perturbations (ex: tapotements manuels).
   • Analyse de Sensibilité Locale : Une analyse de sensibilité basée sur les dérivées est réalisée à l'aide de la méthode du pas complexe pour évaluer comment les variables d'état répondent aux perturbations des paramètres du modèle. Elle est comparée à la différenciation automatique en mode inverse (JAX).
   • Estimation de la Région d'Attraction (ROA) : Une simulation de Monte Carlo est utilisée pour estimer empiriquement le volume de la région d'attraction pour trois scénarios : (a) contrôleur LTI sur modèle LTI, (b) contrôleur LTI sur modèle de Laboratoire, et (c) contrôleur de Laboratoire sur modèle de Laboratoire.

Résultats Clés

Performance en Simulation vs Physique

• Simulation : Les deux contrôleurs (entraînés sur les modèles LTI et de Laboratoire) stabilisent avec succès le système dans leurs simulations d'entraînement respectives. Le contrôleur entraîné sur le LTI semble stabiliser le modèle de Laboratoire en simulation avec seulement une légère augmentation des oscillations.
• Déploiement Physique :
  • Contrôleur entraîné sur LTI : A échoué dans 3 expériences physiques sur 5. Dans les 2 restantes, le système a présenté des oscillations instables rapides et n'a pas réussi à maintenir l'équilibre pendant des périodes prolongées. Le contrôleur était très sensible au bruit et incapable de gérer l'amortissement inhérent et les non-linéarités du système physique.
  • Contrôleur entraîné sur Laboratoire : A stabilisé avec succès le pendule physique dans tous les essais. Il a démontré une robustesse contre les perturbations externes (ex: un coup de 14 degrés), rétablissant rapidement le pendule en position verticale.

Analyse de Sensibilité

• Sensibilité des Paramètres : L'analyse de sensibilité a révélé que le contrôleur entraîné sur LTI est hautement sensible aux paramètres négligés lors de la réduction de modèle, spécifiquement le coefficient d'amortissement du chariot ($B_c$) et la constante FEM du moteur ($K_m$).
• Écarts de Classement : Dans le système entraîné sur LTI, $B_c$ se classait au 5ème rang des paramètres les plus sensibles, alors que dans le système entraîné sur Laboratoire, il chutait au 9ème rang. Cela suggère que le contrôleur LTI repose sur une absence d'amortissement idéalisée qui n'existe pas en réalité, ce qui le rend fragile lors du déploiement.
• Note Méthodologique : Les auteurs ont noté que bien que la méthode du pas complexe soit efficace pour les fonctions lisses, la non-linéarité introduite par les fonctions d'activation ReLU dans le réseau de neurones entraîne des erreurs d'approximation plus élevées par rapport à la différenciation basée sur JAX, bien que la méthode du pas complexe reste plus rapide en termes de calcul.

Région d'Attraction (ROA)

• L'estimation empirique de la ROA montre une différence significative de robustesse :
  • Contrôleur LTI sur Modèle de Laboratoire : Seuls environ 20 % des conditions initiales échantillonnées ont abouti à un contrôle stable.
  • Contrôleur de Laboratoire sur Modèle de Laboratoire : Environ 57 % des conditions initiales échantillonnées ont abouti à un contrôle stable.
• Le contrôleur entraîné sur Laboratoire possède un bassin d'attraction nettement plus large, indiquant une probabilité beaucoup plus élevée de stabilisation réussie à partir d'une plus grande variété d'états initiaux.

Signification et Revendications

L'article affirme que la fidélité de l'environnement d'entraînement est un déterminant critique du succès du déploiement de la commande par RL. Les auteurs démontrent que :

1. La Haute Fidélité de l'Entraînement est Essentielle : Concevoir des contrôleurs dans des environnements virtuels avec des modèles inexacts (comme les modèles LTI simplifiés) est inapproprié pour un déploiement physique, même si les résultats de simulation semblent concluants.
2. Robustesse via la Modélisation : Les contrôleurs entraînés sur des modèles de haute fidélité dérivés des principes premiers sont robustes face aux perturbations et aux écarts de modèle, ne nécessant aucun ajustement fin lors du déploiement.
3. La Sensibilité comme Outil de Diagnostic : L'analyse de sensibilité locale sert de méthode efficace pour justifier les écarts entre la simulation et la réalité, identifiant les paramètres spécifiques négligés (tels que l'amortissement) qui causent l'échec des modèles simplifiés.
4. Validation Empirique : L'étude fournit des preuves empiriques, à travers des expériences physiques et l'estimation de la ROA, que l'écart « sim-to-real » peut être atténué en alignant le modèle d'entraînement avec la dynamique du matériel physique plutôt qu'en comptant uniquement sur la randomisation de domaine ou des approximations simplifiées.

Les auteurs concluent que bien que le RL soit un outil puissant, sa fiabilité dans les applications du monde réel dépend fortement de l'alignement entre le modèle de simulation et le système physique, mettant en garde contre le déploiement naïf de contrôleurs entraînés sur de mauvaises approximations.