Learning Local Optimal Controller for a Class of Nonlinear Systems via Impulse-Supervised Exploration

Résumé Technique : Apprentissage d'un Contrôleur Optimal Local pour une Classe de Systèmes Non Linéaires via une Exploration Supervisée par Impulsions

Formulation du Problème
L'article traite du défi que représente l'apprentissage de politiques de commande optimales pour une classe de systèmes non linéaires du second ordre en utilisant la programmation dynamique approximative (ADP) en temps continu. Bien que l'ADP et l'apprentissage par renforcement (RL) offrent des cadres puissants pour résoudre les problèmes de commande optimale en approximant la solution de l'équation de Hamilton-Jacobi-Bellman (HJB), un goulot d'étranglement critique subsiste pour les systèmes non linéaires : l'exigence de persistance de l'excitation (PE).

En ADP en temps continu, la PE est nécessaire pour assurer la convergence des poids du réseau de neurones du critique vers leurs valeurs idéales. Cependant, l'imposition de la PE induit généralement de larges déviations de l'état. Pour les systèmes non linéaires, de telles déviations sont problématiques car la fonction de valeur optimale est souvent approximée à l'aide d'une linéarisation locale de la dynamique. Si la trajectoire de l'état est trop éloignée de l'équilibre par le signal d'excitation, l'approximation linéaire locale devient invalide, ce qui peut conduire à l'instabilité du système ou à une « échappée finie » où la trajectoire quitte la région de validité. Les méthodes existantes comme l'apprentissage concomitant reposent sur des données hors ligne riches, qui ne sont pas toujours disponibles. L'objectif de ce travail est d'apprendre une politique de commande localement optimale pour le modèle linéarisé tout en confinant strictement la trajectoire de l'état dans un voisinage où l'approximation linéaire est valide.

Méthodologie
Les auteurs proposent un cadre d'exploration confinée supervisée par impulsions qui intègre l'ADP en temps continu avec une couche de supervision de commande impulsionnelle. La méthodologie centrale comprend les composants suivants :

1. Modèle de Système et Linéarisation Locale : Le système est modélisé par $\dot{x} = F(x) + G(x)u$, où le terme de dérive $F(x)$ est décomposé en une partie linéaire $Ax$ et des termes non linéaires d'ordre supérieur $\phi(x)$. L'objectif de commande est d'apprendre la politique optimale pour l'approximation LTI (linéaire invariant dans le temps) locale $\dot{x} = Ax + Bu$ au sein d'un petit voisinage $S_1$ de l'origine.
2. Cadre ADP : Un réseau de neurones critique approxime la fonction de valeur optimale $J^*(x) \approx \hat{W}^T \sigma(x)$. Les poids $\hat{W}$ sont mis à jour en ligne à l'aide d'une loi de gradient normalisée pour minimiser le résidu de Bellman. Un signal de persistance de l'excitation $u_{PE}$ est ajouté à l'entrée de commande pour satisfaire la condition de PE requise pour la convergence des poids.
3. Couche Supervisée Impulsionnelle : Pour empêcher l'état de quitter la région valide $S_1$ à cause du signal d'excitation, le cadre utilise des entrées de freinage impulsionnelles. Ces entrées sont modélisées comme des fonctions delta de Dirac appliquées à des instants temporels spécifiques $t = \tau_k$.
   • Mécanisme : L'entrée impulsionnelle agit instantanément sur l'état de vitesse ($x_2$), le réinitialisant à zéro ($x_2^+ = 0$) tout en laissant l'état de position ($x_1$) inchangé.
   • Effet : Cette action de « freinage » réduit la valeur d'une fonction de Lyapunov $V(x) = x_1^2 + x_2^2$, garantissant que l'état post-saut reste dans l'ensemble confiné $S_1$.
4. Formulation d'Automate Hybride : Le système en boucle fermée est modélisé comme un automate hybride comportant quatre modes discrets :
   • $q_1, q_2$ : Évolution continue avec commande ADP active et adaptation des poids (à l'intérieur de l'ensemble intérieur $S_2$ et dans l'anneau extérieur $S_1 \setminus S_2$, respectivement).
   • $q_3$ : Régime de bordure où la trajectoire atteint $\partial S_1$.
   • $q_4$ : Phase de récupération post-freinage où la commande et l'adaptation des poids sont suspendues, et où le système évolue de manière autonome sous une dynamique non forcée jusqu'à ce qu'il rentre de nouveau dans $S_2$.
   • Transitions : Des gardes déclenchées par l'état déterminent quand le freinage impulsionnel se produit (lorsque la trajectoire frappe $\partial S_1$ avec une vitesse sortante) et quand le système bascule entre les modes d'apprentissage actif et de récupération.

Contributions Clés

• Exploration Supervisée par Impulsions : L'article introduit un mécanisme novateur où le freinage impulsionnel agit comme une contrainte de supervision pour imposer l'invariance de l'ensemble. Contra�à l'apprentissage par renforcement à contraintes de sécurité qui impose souvent des contraintes strictes sur les entrées de commande, cette approche utilise des réinitialisations discrètes pour confiner l'état, permettant une excitation agressive nécessaire à l'apprentissage sans violer la validité locale du modèle linéaire.
• Dynamique Hybride pour l'Apprentissage : Ce travail établit un cadre théorique combinant l'ADP en temps continu avec des réinitialisations impulsionnelles déclenchées par l'état. Il démontre que le système hybride en boucle fermée résultant rend l'ensemble d'exploration confiné $S_1$ positivement invariant.
• Garanties Théoriques : Les auteurs fournissent une preuve que la carte de freinage impulsionnelle est non-expansive par rapport à la fonction de Lyapunov, garantissant que l'état ne quitte jamais $S_1$. De plus, ils soutiennent que le temps entre deux impulsions consécutives est borné positivement, excluant ainsi le phénomène de Zeno.

Résultats de Simulation
Le cadre proposé a été validé sur un système mécanique non linéaire (un système masse-ressort-amortisseur avec des non-linéarités cubiques).

• Confinement : Les résultats de simulation démontrent que la trajectoire de l'état reste strictement confinée dans l'ensemble $S_1$ tout au long du processus d'apprentissage. Chaque fois que la trajectoire approchait la bordure à cause du signal d'excitation, un freinage impulsionnel était déclenché, réinitialisant la vitesse et ramenant l'état vers l'intérieur.
• Convergence : Les poids du critique ont convergé vers des valeurs correspondant étroitement aux poids optimaux dérivés de l'équation de Riccati algébrique pour le modèle linéaire local. Les poids sont restés constants pendant les phases de récupération (mode $q_4$) et ont été mis à jour pendant les phases d'exploration.
• Comparaison : Une simulation comparative sans la couche de supervision impulsionnelle a montré que la trajectoire quittait la région de validité linéaire, entraînant l'instabilité du système et une échappée finie, soulignant ainsi la nécessité du mécanisme de confinement.

Signification et Revendications
L'article affirme que cette approche comble avec succès le fossé entre le besoin de persistance de l'excitation dans l'ADP et l'exigence de validité locale dans la commande non linéaire. En confinant l'exploration dans un voisinage où l'approximation linéaire est valide, la méthode permet l'apprentissage d'un contrôleur localement optimal qui serait autrement inatteignable en raison du risque de larges déviations de l'état.

Les auteurs notent modestement que le présent travail suppose la connaissance de la dynamique linéaire locale et que les entrées impulsionnelles sont idéalisées. Ils identifient comme directions futures l'extension du cadre à des scénarios sans modèle, à des systèmes de plus haute dimension, et la validation expérimentale utilisant des approximations pratiques des entrées impulsionnelles (par exemple, une rétroaction à gain élevé ou des freins à solénoïde). Le travail se distingue du « safe RL » (apprentissage par renforcement sûr) en se concentrant spécifiquement sur le confinement pour la validité de l'apprentissage plutôt que sur des contraintes de sécurité générales, en utilisant la commande impulsionnelle comme un outil de supervision spécifique à cet effet.