On the Comparison of Reinforcement Learning and Adaptive Control for Linear Systems under Packet Loss and Uncertainty

Résumé Technique : Comparaison de l'Apprentissage par Renforcement et du Contrôle Adaptatif pour des Systèmes Linéaires sous Perte de Paquets et Incertitude

Énoncé du Problème
Cet article traite du contrôle de systèmes linéaires incertains opérant sur des canaux de communication soumis à des pertes de paquets et à une quantification d'entrée. Le défi spécifique consiste à stabiliser un système qui subit un basculement dynamique d'une configuration nominale instable vers une configuration plus instable pendant le fonctionnement. L'étude compare deux paradigmes de contrôle distincts dans ce contexte : le Contrôle Quantifié Adaptatif (AQC), une approche basée sur un modèle utilisant des messages d'accusé de réception, et le Deep Deterministic Policy Gradient (DDPG), une approche d'apprentissage par renforcement (RL) basée sur les données, entraînée sur le modèle nominal sans accusés de réception. Le problème central est d'évaluer le compromis entre la performance transitoire des méthodes d'apprentissage et la robustesse du contrôle adaptatif sous l'effet de l'incertitude du modèle et des contraintes de communication.

Méthodologie
L'étude utilise un modèle de système linéaire discret incertain où le signal de commande est transmis via un canal présentant une probabilité de perte de paquets $\bar{p}$. L'entrée de commande est soumise à une quantification logarithmique, modélisée comme une non-linéarité sectorielle variable dans le temps.

1. Contrôle Quantifié Adaptatif (AQC) :

   • Cadre : Basé sur des travaux antérieurs [11, 12], l'AQC utilise un gain de rétroaction variable dans le temps $K(k)$ et un quantificateur $q(k, u(k))$.
   • Mécanisme : Le contrôleur s'appuie sur des messages d'accusé de réception pour déterminer si un paquet a été reçu avec succès ($\eta(k)=1$) ou perdu ($\eta(k)=0$). Cette information est utilisée pour mettre à jour la loi de commande et les paramètres du quantificateur.
   • Stabilité : La conception est fondée sur la théorie de la stabilité de Lyapunov. Une équation de Riccati est résolue pour déterminer un gain stabilisant, et la loi adaptative garantit que le système reste stable en probabilité même en cas de perte de paquets, à condition que la borne de perte satisfasse une condition spécifique dérivée de la fonction de Lyapunov.

2. Deep Deterministic Policy Gradient (DDPG) :

   • Cadre : Une architecture acteur-critique utilisant des réseaux de neurones à propagation avant (FFNN). L'acteur cartographie directement les états vers des actions de commande continues, tandis que le critique estime la fonction de valeur de l'action.
   • Entraînement : L'agent DDPG est entraîné exclusivement sur le modèle du système nominal (sans perte de paquets ni basculement dynamique) en utilisant une fonction de récompense basée sur l'erreur de poursuite.
   • Implémentation : Lors de l'évaluation, la politique entraînée est appliquée au système avec le même quantificateur variable utilisé pour l'AQC, mais sans accès aux messages d'accusé de réception. L'agent doit généraliser sa politique pour gérer la perte de paquets et le passage à un système plus instable ($A_w$).

Principales Contributions

• Analyse Comparative : L'article fournit une comparaison numérique directe entre un contrôleur adaptatif rigoureusement conçu et un contrôleur moderne d'apprentissage par renforcement profond sous des conditions identiques de quantification d'entrée, de perte de paquets et de basculement dynamique de système.
• Évaluation de la Robustesse : Il étudie la performance des deux méthodes lorsque la dynamique du système change d'un état instable nominal vers un état plus instable, un scénario qui n'est pas présent durant la phase d'entraînement du DDPG.
• Intégration de la Quantification : Les deux stratégies de contrôle sont implémentées avec un quantificateur logarithmique variable dans le temps, permettant une comparaison équitable de la manière dont chaque méthode gère les contraintes de bande passante finie.

Résultats Numériques
Des simulations ont été menées sur un système incertain de second ordre avec des conditions initiales et des temps de basculement ($t_d$) variables.

• Performance de l'Environnement d'Entraînement : En l'absence de perte de paquets et dans la plage dynamique nominale, le contrôleur DDPG a démontré des réponses transitoires plus rapides et un amortissement amélioré par rapport à l'AQC.
• Robustesse sous Incertitude et Perte de Paquets :
  • AQC : A systématiquement stabilisé le système dans tous les scénarios testés, y compris des taux de perte de paquets élevés ($\bar{p} > 0,5$) et des basculements dynamiques. L'utilisation des messages d'accusé de réception a permis au contrôleur de compenser les paquets perdus, maintenant la stabilité telle que garantie par la théorie de Lyapunov.
  • DDPG : Bien qu'efficace pour de petites déviations par rapport à l'environnement d'entraînement, le contrôleur DDPG n'a pas réussi à stabiliser le système lorsqu'il était soumis à une incertitude de modèle significative (basculement vers des dynamiques hautement instables) ou à des taux de perte de paquets élevés. Sans messages d'accusé de réception, le contrôleur ne pouvait pas s'adapter à la perte des signaux de commande, conduisant à l'instabilité.
• Plage de Stabilité : Le Tableau 1 de l'article indique que si le contrôleur DDPG reste stable uniquement pour des variations de paramètres proches de l'ensemble d'entraînement, l'AQC maintient la stabilité sur une plage de paramètres système nettement plus large.

Signification et Revendications
L'article conclut qu'il existe un compromis distinct entre la performance basée sur les données et la robustesse basée sur le modèle.

• Performance vs Robustesse : Le DDPG offre une performance transitoire supérieure lorsque l'environnement opérationnel correspond étroitement à la distribution d'entraînement. Cependant, l'AQC offre une robustesse supérieure et une stabilité garantie en présence d'incertitude de modèle, de perte de paquets et de basculements dynamiques grâce à ses garanties de stabilité de Lyapunov rigoureuses.
• Applicabilité : Les résultats suggèrent que bien que l'apprentissage par renforcement soit prometteur pour les espaces de grande dimension, son applicabilité aux systèmes incertains en réseau est limitée sans mécanismes de stabilité explicites ou sans un entraînement englobant toute la gamme des incertitudes potentielles.
• Orientations Futures : Les auteurs notent que les travaux futurs se concentreront sur l'extension de ces cadres aux systèmes multi-agents en réseau, en abordant spécifement les délais de communication, les interactions distribuées et le développement d'algorithmes de RL dotés de garanties de stabilité rigoureuses pour le contrôle coopératif.