⚡ electrical engineering

Safe Exploration for Nonlinear Processes Using Online Gaussian Process Learning

Cet article présente un cadre de commande sûr basé sur les données pour des systèmes non linéaires à dynamique partiellement connue, qui combine l'apprentissage en ligne par processus gaussiens avec des contraintes de sécurité probabilistes basées sur Lyapunov afin d'assurer la stabilité et le respect des contraintes tout en élargissant de manière adaptative la région de fonctionnement sûre grâce à une exploration informative.

Auteurs originaux : Stefano Tonini, Soroush Rastegarpour, Hamid Reza Feyzmahdavian, Nicola Bastianello, Karl Henrik Johansson

Publié 2026-05-12

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Stefano Tonini, Soroush Rastegarpour, Hamid Reza Feyzmahdavian, Nicola Bastianello, Karl Henrik Johansson

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot à marcher dans une pièce sombre et inconnue, remplie de meubles fragiles. Vous possédez une carte approximative de la pièce (le modèle linéaire), mais vous savez que cette carte est incomplète ; il existe des obstacles cachés et des textures de sol étranges que vous n'avez pas encore vus (les dynamiques non linéaires inconnues).

Si vous laissez le robot errer à l'aveugle pour apprendre la pièce, il pourrait percuter un vase. Si vous le maintenez strictement sur la carte connue, il n'apprendra jamais les nouveaux obstacles. Cet article propose un système ingénieux de « roues d'entraînement » permettant au robot d'explorer en toute sécurité tout en apprenant la vérité sur la pièce en temps réel.

Voici comment le système fonctionne, décomposé en concepts simples :

1. Le Cerveau en Deux Parties

Le cerveau du robot est divisé en deux parties :

Le Vétéran (Le Modèle Linéaire) : Il s'agit des connaissances existantes du robot. Il connaît la physique de base de la façon dont la pièce devrait fonctionner, basée sur une approximation simple et sûre. C'est comme un guide vétéran qui connaît la disposition générale mais admet : « Je ne connais pas les détails de ce coin spécifique. »
L'Apprenti (Le Processus Gaussien) : C'est un apprenant intelligent qui observe les déplacements du robot. Au fur et à mesure que le robot se déplace, l'Apprenti compare ce qui s'est réellement produit à ce que le Vétéran avait prédit. La différence est le « résidu » (la surprise). L'Apprenti utilise un outil statistique appelé Processus Gaussien (GP) pour apprendre ces surprises. Crucialement, l'Apprenti ne se contente pas de deviner ; il calcule également à quel point il est incertain. Il dit : « Je pense que le sol est glissant ici, mais je n'en suis sûr qu'à 95 %. »

2. La Bulle de Sécurité Invisible (Le PCIS)

Pour maintenir le robot en sécurité, le système crée une bulle de sécurité invisible autour de la position actuelle du robot. Cela s'appelle un Ensemble Invariant de Contrôle Probabiliste (PCIS).

Fonctionnement : Le système demande : « Si le robot se déplace dans cette direction, y a-t-il un risque qu'il heurte un mur, même si notre « Apprenti » se trompe ? »
La Marge de Sécurité : Parce que l'Apprenti admet qu'il pourrait se tromper, le système ajoute une « marge de sécurité » autour de la carte connue. Si l'Apprenti est très incertain (incertitude élevée), la bulle de sécurité rétrécit, forçant le robot à rester au centre. Si l'Apprenti est très confiant (incertitude faible), la bulle s'étend, permettant au robot d'explorer plus loin.
La Garantie : L'article démontre mathématiquement que tant que le robot reste à l'intérieur de cette bulle, il ne se crashera pas, même si le modèle est imparfait.

3. Le Conducteur « Curieux mais Prudent »

Le robot ne reste pas simplement immobile ; il doit se déplacer pour apprendre. Le système résout un problème mathématique (un Programme Quadratique) à chaque étape pour décider du mouvement suivant.

L'Objectif : Il tente de trouver un mouvement qui enseigne au robot le plus sur la pièce (maximisant le « gain d'information »).
La Contrainte : Il ne doit jamais sortir de la bulle de sécurité.
Le Résultat : Le robot gravite naturellement vers les zones où il est le plus confus (forte incertitude) pour les apprendre, mais il le fait doucement, s'assurant de ne jamais violer les règles de sécurité. C'est comme un enfant curieux qui veut tout toucher mais qui est attaché par une laisse de sécurité qui ne s'allonge que lorsqu'il prouve qu'il est prudent.

4. La Boucle d'Apprentissage

L'article a testé cela sur deux scénarios :

Un Problème Mathématique 2D Simple : Un robot se déplaçant sur une surface plane avec une courbe complexe.
Un Système à Trois Réservoirs d'Eau : Une installation industrielle complexe avec trois réservoirs d'eau connectés par des tuyaux, où les niveaux d'eau doivent rester dans des limites sûres.

Les Résultats :

Sécurité : Dans chaque test, le robot n'a jamais violé les limites de sécurité (il ne s'est jamais écrasé ni fait déborder les réservoirs).
Apprentissage : Au fur et à mesure que le robot collectait plus de données, son « Apprenti » devenait plus confiant. L'incertitude diminuait, et la bulle de sécurité s'agrandissait, permettant au robot d'explorer davantage de la pièce.
Efficacité : Le système était assez rapide pour fonctionner en temps réel, prenant des décisions en millisecondes.

L'Essentiel

Cet article présente un cadre pour enseigner aux machines des systèmes complexes et imprévisibles sans leur permettre de briser quoi que ce soit. En combinant une « ébauche » connue du système avec un apprenant intelligent conscient de l'incertitude, et en enveloppant le tout dans une bulle de sécurité garantie mathématiquement, le système atteint un équilibre parfait : il apprend vite, mais il ne prend jamais de risques dangereux.

Les auteurs concluent que cette méthode est prête à être utilisée dans le monde réel dans des industries où la sécurité est critique, telles que la robotique et le contrôle de processus, à condition que l'« ébauche » initiale du système soit au moins quelque peu précise.

Résumé Technique : Exploration Sécurisée pour les Processus Non Linéaires par Apprentissage en Ligne de Processus Gaussiens

Énoncé du Problème

L'article aborde le défi du contrôle de systèmes non linéaires à dynamique partiellement connue dans des applications critiques pour la sécurité (par exemple, robotique, aérospatial, industries de procédés). Bien que les méthodes pilotées par les données, telles que l'apprentissage par renforcement, offrent une adaptabilité, elles manquent souvent de garanties rigoureuses sur la stabilité et le respect des contraintes durant la phase d'exploration. Les approches d'apprentissage sécurisé existantes reposent fréquemment sur des hypothèses idéalisées, telles qu'une connaissance complète des dynamiques non linéaires ou des sur-approximations conservatrices de type Lipschitz de l'incertitude, ce qui limite leur applicabilité pratique.

Le problème spécifique traité consiste à concevoir un cadre de contrôle garantissant une exploration sécurisée pour les systèmes non linéaires où :

Seule une approximation linéaire stabilisable du processus est connue.
Les dynamiques non linéaires non modélisées (résidus) doivent être apprises en ligne.
Le système doit satisfaire les contraintes d'état et d'entrée avec une probabilité élevée tout au long du processus d'apprentissage.

Méthodologie

Le cadre proposé intègre la régression par Processus Gaussien (GP), la théorie de la stabilité de Lyapunov et l'optimisation convexe pour réaliser une exploration sûre et informative.

1. Décomposition du Système et Modélisation par GP

Les dynamiques du système sont modélisées comme un système non linéaire affine en commande :
$\dot{x} = Ax + Bu + g(x)$
où $(A, B)$ est une linéarisation connue et stabilisable, et $g(x)$ est un résidu lisse inconnu. Le résidu $g(x)$ est modélisé en ligne à l'aide d'un Processus Gaussien. Au fur et à mesure que les données sont collectées, le GP fournit une moyenne a posteriori $\mu_t(x)$ et un écart-type $\sigma_t(x)$ . Une enveloppe de confiance à haute probabilité est construite de telle sorte que :
$\|g(x) - \mu_t(x)\|_2 \leq \beta_t \sigma_t(x)$
avec une probabilité $1-\delta$ , où $\beta_t$ est un paramètre de confiance variant dans le temps, dérivé de calendriers GP-UCB à échantillons finis.

2. Ensembles Invariants de Contrôle Probabilistes (PCIS)

La sécurité est assurée par un Ensemble Invariant de Contrôle Probabiliste (PCIS) dérivé d'une Fonction de Lyapunov de Contrôle (CLF), $V(x) = x^\top P x$ . Le PCIS est défini comme l'ensemble des états pour lesquels il existe une commande garantissant que la fonction de Lyapunov décroît, même dans le pire des cas d'incertitude GP à l'intérieur de l'enveloppe de confiance.
La condition pour l'ensemble $S_t$ est :
$\nabla V \cdot (Ax + Bu + \mu_t(x)) + \beta_t \sigma_t(x) \|\nabla V\| + \lambda V(x) \leq 0$
Cette construction garantit que si le système démarre à l'intérieur du PCIS, il y reste avec une haute probabilité ( $1-\delta$ ), assurant ainsi la faisabilité récursive des contraintes.

3. Contrôleur Basé sur l'Optimisation

À chaque pas de temps, le contrôleur résout un Programme Quadratique Convexe (QP) pour déterminer la commande $u$ . L'objectif est de maximiser le gain d'information (en encourageant l'excitation dans les directions de forte incertitude) tout en respectant strictement les contraintes de sécurité.
Le QP minimise l'écart par rapport à un contrôleur de stabilisation nominal $u_{lin}$ :
$\min_{u, s \geq 0} \|u - u_{lin}\|_2^2 + \rho s$
sous réserve de la condition de décroissance de Lyapunov (intégrant la borne d'incertitude GP) et des contraintes d'entrée. Une variable d'écart $s$ assure la faisabilité, pénalisée par $\rho$ pour prioriser la sécurité.

4. Expansion Adaptative

Au fur et à mesure que le GP apprend les dynamiques résiduelles, l'incertitude $\sigma_t(x)$ diminue. Cette réduction permet au PCIS de s'étendre de manière adaptative, débloquant progressivement des régions d'exploration plus riches sans violer les garanties de sécurité.

Contributions Clés

L'article présente trois contributions principales :

Décomposition Nominal-Résidu : Un cadre combinant un modèle linéaire connu avec un résidu GP en ligne, permettant un apprentissage sécurisé des non-linéarités inconnues sans nécessiter une connaissance complète du modèle.
Construction de PCIS Basée sur Lyapunov : Une méthode pour construire des ensembles invariants probabilistes intégrant l'incertitude GP, fournissant des garanties probabilistes à échantillons finis pour la stabilité et le respect des contraintes.
Contrôleur Basé sur l'Optimisation : Un contrôleur temps réel résolvant un QP convexe à chaque étape pour équilibrer le gain d'information (exploration) avec des garanties de sécurité strictes (décroissance CLF), évitant le conservatisme de la propagation d'incertitude multi-étapes trouvé dans d'autres formulations de MPC Sécurisé.

Résultats Expérimentaux

Le cadre a été validé sur deux benchmarks : un système polynomial 2D et un procédé de niveau d'eau à trois réservoirs MIMO.

Système Polynomial 2D

Performance d'Apprentissage : Le modèle GP a réalisé des améliorations significatives de précision (RMSE réduit d'environ 1,11 à 0,03) sur 12 itérations.
Calibration de l'Incertitude : La couverture empirique des intervalles de confiance à 95 % est passée de 37 % à 100 % après calibration, garantissant la fiabilité des certificats de sécurité.
Sécurité : Le contrôleur GP-PCIS proposé a maintenu toutes les trajectoires à l'intérieur de l'ensemble sûr certifié avec zéro violation de contrainte. En revanche, une base de référence non sécurisée (LQR sans couches de sécurité) a violé les contraintes d'état.
Expansion de l'Ensemble : Le volume de l'ensemble sûr certifié s'est étendu d'environ 27,7 % à mesure que l'incertitude diminuait, démontrant la nature adaptative du cadre.

Procédé de Niveau d'Eau à Trois Réservoirs

Complexité : Ce système couplé MIMO a testé l'évolutivité du cadre et sa faisabilité en temps réel.
GP Sparse vs Exact : Les approximations GP parcimonieuses (utilisant des points d'induction) se sont révélées viables, offrant des temps d'inférence >1000 fois plus rapides que les GP exacts tout en maintenant une couverture quasi-nomiale (~94,5 %) et un RMSE acceptable.
Sécurité : Sur un horizon d'identification de 2000 secondes, le cadre a obtenu zéro violation des contraintes de niveau d'eau (45 %–87 %), tandis qu'une base de référence non sécurisée a brièvement descendu en dessous de la limite inférieure.
Performance Temps Réel : Les temps médians de résolution du QP par pas étaient dans la gamme de la milliseconde, confirmant la faisabilité pour une mise en œuvre en temps réel.

Importance et Revendications

L'article revendique fournir un cadre unifié et implémentable pour l'exploration sécurisée dans les systèmes non linéaires partiellement connus. Son importance réside dans :

Équilibre entre Traitabilité et Conservatisme : Contrairement aux formulations de MPC Sécurisé multi-étapes qui peuvent devenir excessivement conservatrices, cette approche impose une décroissance de Lyapunov en un pas avec des bornes de confiance GP, résultant en un QP convexe sans explosion d'incertitude multi-étapes.
Praticabilité : Il ne nécessite qu'un modèle linéaire stabilisable (courant en pratique) plutôt que des dynamiques non linéaires exactes, le rendant applicable à des systèmes réels où des effets non modélisés doivent être appris en ligne.
Garanties Théoriques : Il offre des garanties probabilistes de sécurité à échantillons finis, assurant que le système reste stable et dans les contraintes avec une haute probabilité, même durant la phase d'apprentissage actif.

Les auteurs reconnaissent des limitations, notamment le conservatisme des bornes du pire cas en un pas et l'échelle cubique de l'entraînement GP exact, suggérant un travail futur sur les contraintes de chance multi-étapes et les mises à jour GP parcimonieuses pour des tâches de plus haute dimension. Cependant, les résultats démontrent que la méthode proposée permet efficacement une exploration informative tout en respectant strictement les contraintes de sécurité.