A Data-Driven Algorithm for Model-Free Control Synthesis

1. Problématique

L'article aborde le défi de la synthèse de contrôleurs LQR (Linear Quadratic Regulator) pour des systèmes dynamiques continus, sans nécessiter la connaissance préalable des matrices de dynamique du système ($A$ et $B$).

• Limites des approches classiques : La conception LQR traditionnelle repose sur la connaissance exacte des matrices $A$ et $B$, obtenues soit par modélisation physique directe, soit par linéarisation de modèles non linéaires. Pour de nombreux systèmes complexes (notamment en aéronautique comme les drones subscales), l'identification précise de ces modèles est coûteuse, difficile ou impossible.
• Limites des approches existantes : Les méthodes d'apprentissage par renforcement ou de contrôle adaptatif existantes nécessitent souvent :
  • Des systèmes discrets (alors que beaucoup de systèmes physiques sont continus).
  • Des stratégies « on-policy » (mise à jour en ligne du contrôleur), ce qui est difficile à implémenter sur des processeurs embarqués aux ressources limitées.
  • Des simulations précises du système, ce qui revient à avoir déjà un modèle.
• Objectif : Développer une méthode sans modèle (model-free) capable de synthétiser directement un contrôleur LQR optimal à partir de données d'entrée-sortie finies et bruitées, même pour des systèmes non linéaires autour d'un point d'équilibre.

2. Méthodologie

L'approche proposée repose sur une condition nécessaire dérivée de la théorie du contrôle optimal, formulée sous la forme d'un problème d'optimisation non linéaire (NLP).

A. Condition Nécessaire Fondamentale

Les auteurs établissent un théorème reliant la fonction de valeur optimale $V(x) = x^\top P x$ à la dynamique du système. Pour toute trajectoire arbitraire $(\hat{x}(t), \hat{u}(t))$, la dérivée temporelle de la fonction de valeur satisfait une contrainte dynamique spécifique qui ne dépend pas explicitement de la matrice $A$ :
$$\dot{V}(\hat{x}(t)) = \hat{x}(t)^\top K^\top R K \hat{x}(t) - \hat{x}(t)^\top Q \hat{x}(t) + 2\hat{x}(t)^\top K^\top R \hat{u}(t)$$
où $K$ est le gain de retour d'état optimal et $P$ est la solution de l'équation de Riccati algébrique.

B. Synthèse par Optimisation Contrainte (NLP)

Pour trouver $K$ et $P$ à partir de données discrètes (échantillons de temps $t_k$) :

1. Discrétisation : L'équation différentielle ci-dessus est discrétisée en utilisant une approximation par différences finies (méthode d'Euler d'ordre 1) pour $\dot{V}$.
2. Formulation du problème : Un problème d'optimisation est construit pour minimiser l'erreur entre les mesures observées $y_k$ (bruitées) et les états latents estimés $x_k$, tout en respectant la contrainte dynamique discrétisée.
   • La matrice $P$ est paramétrée comme $P = L^\top L$ pour garantir qu'elle soit semi-définie positive.
   • Le problème résout simultanément les états latents $X$, la matrice $L$ (donc $P$) et le gain $K$.
3. Robustesse au bruit : L'utilisation d'une norme quadratique (maximum de vraisemblance pour un bruit gaussien) et la formulation implicite par rapport aux états rendent l'algorithme robuste aux bruits de mesure.

C. Extensions

• Suivi de référence (Reference Tracking) : L'algorithme est étendu pour calculer simultanément le gain de retour d'état $K$ et un gain de commande prévisionnelle (feedforward) $F$, permettant de suivre une consigne constante $r$ sans erreur statique.
• Modèle Mixte (Mixed-Model) : La méthode gère les cas où une partie de la dynamique est connue (ex: dynamique des actionneurs) et l'autre inconnue. Les états connus sont intégrés dans le vecteur d'état augmenté pour résoudre le problème.

3. Contributions Clés

1. Algorithme sans modèle pour systèmes continus : Première méthode capable de synthétiser un contrôleur LQR infini pour des systèmes continus directement à partir de données, sans identification de modèle intermédiaire.
2. Approche hors-ligne (Offline) : Contrairement aux méthodes adaptatives en ligne, cette méthode utilise des données collectées a priori, évitant les problèmes de stabilité numérique et de ressources de calcul embarqué pendant l'apprentissage.
3. Généralisation au suivi de référence et aux modèles mixtes : Extension de la théorie fondamentale pour couvrir des cas pratiques complexes (suivi de trajectoire, intégration de sous-systèmes modélisés).
4. Validation expérimentale réelle : Application réussie sur un drone réel (UAV subscale) avec des dynamiques non linéaires inconnues et des conditions de vol venteuses.

4. Résultats

L'article présente trois cas de validation :

• Cas 1 : Système linéaire de référence (A-4D Skyhawk) :

  • Les données sont générées à partir d'un modèle linéaire connu (A-4D).
  • Le contrôleur synthétisé sans modèle ($\hat{K}$) est comparé à la solution LQR « ground truth » ($K^*$).
  • Résultat : Les gains sont quasi-identiques (écarts numériques minimes dus à l'approximation par différences finies). La réponse en boucle fermée suit parfaitement la référence.

• Cas 2 : Modèle Mixte (avec dynamique d'actionneur) :

  • Des modèles d'actionneurs connus sont ajoutés au système.
  • L'algorithme résout le problème NLP mixte.
  • Résultat : Le contrôleur obtenu correspond très étroitement à la solution LQR théorique, validant la capacité à intégrer des connaissances partielles.

• Cas 3 : Test de vol réel (Drone Freewing AL37) :

  • Contexte : Un drone subscale (fuselage inspiré du Boeing 737) avec des dynamiques non linéaires inconnues.
  • Procédure :
    1. Collecte de données en vol manuel (TF1) avec des commandes de pilote et des mesures IMU (angle de roulis, vitesse de roulis).
    2. Synthèse du contrôleur LQR sans modèle pour stabiliser l'angle de roulis.
    3. Validation en vol (TF2) avec le contrôleur actif.
  • Résultat : Le contrôleur a réussi à suivre des commandes de roulis complexes (figure de huit) dans des conditions venteuses, avec une erreur statique négligeable et une performance de suivi excellente, démontrant la robustesse de la méthode face au bruit et aux incertitudes.

5. Signification et Impact

Cet article représente une avancée significative dans le domaine du contrôle automatique et de l'apprentissage par renforcement appliqué à l'ingénierie :

• Réduction des coûts et du temps de développement : Il élimine le besoin de modélisation physique complexe et coûteuse pour le contrôle de systèmes aéronautiques, en particulier pour les petits UAVs où les tests en soufflerie ou les simulations CFD sont prohibitifs.
• Robustesse opérationnelle : La capacité à fonctionner avec des données bruitées et à être implémentée hors ligne le rend très attractif pour les systèmes embarqués réels.
• Fondement théorique solide : La dérivation rigoureuse à partir de l'équation de Hamilton-Jacobi-Bellman et de l'équation de Riccati assure des garanties de stabilité et d'optimalité, contrairement à certaines approches purement heuristiques.
• Ouverture vers l'adaptatif : Bien que présenté comme une méthode hors-ligne, les auteurs suggèrent que l'algorithme pourrait être généralisé pour une synthèse en temps réel, ouvrant la voie à des contrôleurs adaptatifs capables de s'ajuster aux changements de conditions de vol.

En résumé, cette méthode offre une voie pratique et mathématiquement justifiée pour passer directement des données brutes à un contrôleur optimal, comblant le fossé entre la théorie du contrôle optimal et les applications industrielles réelles où les modèles sont incertains.