⚡ electrical engineering

Learning-Based Stochastic Optimal Control with Infinite-Horizon Probabilistic Constraints

Cet article propose un algorithme d'ascension dual fondé sur l'apprentissage qui reformule les problèmes de contrôle optimal stochastique à horizon infini avec des contraintes de chance conjointes en processus de décision markoviens sans contraintes via l'augmentation d'état, permettant le calcul efficace de politiques déterministes optimales et réalisables pour des espaces d'états et d'entrées continus.

Auteurs originaux : Francesco Cordiano, Kanghui He, Bart De Schutter

Publié 2026-08-04

📖 9 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Francesco Cordiano, Kanghui He, Bart De Schutter

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez le capitaine d'un vaisseau spatial naviguant à travers un champ d'astéroïdes denses. Votre mission est d'atteindre une étoile lointaine tout en utilisant le moins de carburant possible. Mais il y a un piège : vous ne pouvez pas simplement éviter les astéroïdes que vous voyez actuellement ; vous devez garantir que l'intégralité de votre voyage, du lancement à l'atterrissage, reste sûr avec une probabilité très élevée. C'est le cœur d'un domaine appelé contrôle optimal stochastique. C'est la science de la prise de décision optimale lorsque l'avenir est flou et plein de surprises.

Pour comprendre le défi, imaginez deux façons de gérer le danger. La première consiste à vérifier son rétroviseur chaque seconde et à dire : « D'accord, je suis en sécurité pour l'instant. » C'est ce qu'on appelle une vérification « par étape » (stagewise). La seconde approche, beaucoup plus difficile, consiste à regarder l'ensemble de votre trajectoire de vol sur une carte et à dire : « Je promets que chaque point de cette ligne sera exempt d'astéroïdes. » Il s'agit d'une contrainte de chance jointe. C'est une promesse « pour toute la mission ». Le problème est que formuler cette promesse est incroyablement difficile pour les ordinateurs car le chemin futur dépend de chaque choc et de chaque virage survenu auparavant, ce qui fait exploser la complexité mathématique. Généralement, pour rendre les mathématiques gérables, les ingénieurs doivent être excessivement prudents, en prenant des détours larges et lents qui gaspillent du carburant, ou ils doivent supposer que l'univers cesse d'être dangereux après un certain temps.

Ce document, écrit par Francesco Cordiano, Kanghui He et Bart De Schutter, s'attaque au problème de la navigation sur ce chemin infini et dangereux sans être excessivement prudent ou supposer que le danger disparaît. Ils proposent une nouvelle méthode ingénieuse pour apprendre à un ordinateur à prendre ces décisions parfaites, sûres et économes en carburant pour des systèmes qui fonctionnent indéfiniment, comme un réseau électrique ou une voiture autonome sur une autoroute.

Le tour de magie : transformer un problème de mémoire en un problème d'état

Le plus gros casse-tête avec la promesse de sécurité « pour toute la mission » est qu'elle est non markovienne. En langage clair, cela signifie que l'ordinateur doit se souvenir de tout ce qui s'est passé depuis le début des temps pour savoir s'il est toujours en sécurité. Si vous n'avez jamais percuté d'astéroïde, vous êtes en sécurité. Si vous en avez percuté un hier, vous avez déjà « échoué ». Un cerveau informatique standard (une politique de Markov) ne regarde généralement que l'endroit où vous vous trouvez en ce moment même pour décider de la prochaine action. Il n'a pas de mémoire à long terme.

La première percée des auteurs est un « tour de magie » appelé augmentation d'état. Ils inventent un nouvel ensemble de « capteurs virtuels » à attacher au vaisseau spatial.

Le voyant « Tout est OK » (État $\xi$ ) : C'est un interrupteur binaire qui reste sur « ON » (1) tant que le vaisseau n'a jamais percuté d'astéroïde. Au moment où il percute un astéroïde, l'interrupteur passe sur « OFF » (0) et y reste pour toujours.
L'alarme « Premier impact » (État $\psi$ ) : C'est une alarme spéciale qui ne sonne qu'au moment exact où le vaisseau percute son premier astéroïde. Si elle sonne, le système sait : « Ah, c'est le moment où nous avons échoué. »
Le « Cadran temporel » (État $\phi$ ) : Puisque le vaisseau cherche à minimiser la consommation de carburant sur un horizon infini, l'importance de la consommation de carburole future change au fil du temps. Ce cadran suit cette importance changeante.

En ajoutant ces trois capteurs virtuels à la position réelle du vaisseau, l'ordinateur n'a plus besoin de se souvenir de tout l'historique. Il lui suffit de regarder l'état actuel de ces capteurs. Si le voyant « Tout est OK » est sur ON, il sait qu'il est en sécurité jusqu'à présent. S'il est sur OFF, il sait qu'il a déjà échoué. Cela transforme un problème complexe et gourmand en mémoire en un problème standard et gérable que l'ordinateur peut résoudre étape par étape.

L'équilibre : Le prix de la sécurité

Maintenant que le problème est gérable, le prochain défi est la partie « horizon infini ». Le vaisseau doit rester sûr pour toujours, pas seulement pour les 10 prochaines minutes. Les auteurs utilisent un concept mathématique appelé dualité lagrangienne pour résoudre cela.

Imaginez que vous engagiez un robot pour conduire votre voiture. Vous lui dites : « Roule aussi vite que possible, mais ne te plante pas. » Le robot ne sait pas comment équilibrer vitesse et sécurité. Alors, vous introduisez un « Prix de la sécurité ». Vous dites : « Chaque fois que tu t'approches d'un accident, tu devras payer une amende. »

Si l'amende est trop faible, le robot conduit de manière imprudente et s'écrase.
Si l'amende est trop élevée, le robot conduit si lentement qu'il n'avance jamais.

Le papier propose un algorithme qui agit comme un négociateur intelligent. Il commence par une amende faible et laisse le robot rouler. Si le robot s'écrase trop souvent, l'algorithme augmente l'amende. Si le robot conduit trop lentement et de manière trop sûre, il baisse l'amende. Le but est de trouver la « amende Goldilocks » (appelée variable duale, $\lambda$ ) où la stratégie de « meilleure vitesse » du robot est aussi la stratégie la plus sûre.

Les auteurs prouvent que cette négociation fonctionne parfaitement. Ils démontent qu'il existe un prix spécifique où la stratégie de « meilleure vitesse » du robot est aussi la stratégie la plus « sûre ». Cela leur permet de transformer le problème difficile de la « contrainte de sécurité » en un problème plus simple de « minimisation du coût plus l'amende ».

Enseigner au robot avec des réseaux de neurones

La dernière pièce du puzzle est que les systèmes du monde réel (comme les robots ou les réseaux électriques) ont des possibilités infinies d'endroits où ils peuvent se trouver et de ce qu'ils peuvent faire. On ne peut pas écrire une règle pour chaque possibilité. Pour gérer cela, les auteurs utilisent l'apprentissage automatique (machine learning).

Ils entraînent un réseau de neurones (un type de cerveau informatique inspiré par le cerveau humain) pour apprendre la « valeur » de se trouver dans n'importe quelle situation.

D'abord, ils apprennent au réseau ce qui se passe si la règle de sécurité est déjà rompue. Dans ce cas, le robot essaie simplement d'atteindre l'objectif le plus vite possible, en ignorant la sécurité.
Ensuite, ils apprennent au réseau la situation « Tout est OK ». Ici, le réseau apprend à équilibrer la vitesse et l'amende du « Prix de la sécurité ».

L'entraînement se fait hors ligne (offline), ce qui signifie que l'ordinateur fait tout le travail de réflexion difficile avant que le robot ne commence à bouger. Une fois entraîné, le robot peut prendre des décisions en une fraction de seconde (0,01 seconde dans leurs tests) en regardant simplement son état actuel et les conseils du réseau de neurones.

Les résultats : Plus rapides, plus sûrs et plus intelligents

Les auteurs ont testé leur méthode sur une simulation d'un robot « monocycle » (un robot en équilibre sur une seule roue) essayant de naviguer dans un labyrinthe avec un obstacle dangereux au milieu. Ils ont comparé leur méthode à une technique populaire appelée Contrôle Prédictif de Modèle (MPC), qui est comme un robot qui planifie ses prochaines étapes, vérifie si elles sont sûres, puis replanifie.

Les résultats sont impressionnants :

Sécurité : La nouvelle méthode a maintenu le robot en sécurité avec un taux de violation d'environ 4,5 %, ce qui est bien en dessous de la limite autorisée de 10 %. La méthode MPC traditionnelle, même avec des ajustements importants, avait un taux de violation de 17 %, échouant ainsi au test de sécurité.
Performance : La nouvelle méthode a utilisé nettement moins de « carburant » (coût) pour atteindre l'objectif. La nouvelle méthode avait un coût de 528,3, tandis que la méthode MPC avait un coût de 672,0. La nouvelle méthode était plus intelligente dans sa gestion des risques : si elle percutait l'obstacle (dans les rares cas où cela arrivait), elle passait immédiatement au chemin le plus rapide vers l'objectif, alors que la méthode MPC restait bloquée dans une boucle conservatrice.
Vitesse : C'est la plus grande victoire. La méthode MPC traditionnelle mettait en moyenne 2,94 secondes pour décider quoi faire à chaque étape, et atteignait parfois une limite de 10 secondes, causant des retards. La nouvelle méthode ne prenait que 0,01 seconde. Elle était presque 300 fois plus rapide.

Pourquoi cela importe

Ce papier ne se contente pas de dire « nous avons réussi » ; il fournit une preuve mathématique rigoureuse que leur méthode fonctionne et converge vers la meilleure solution possible. Il montre qu'on n'a pas à choisir entre être sûr et être efficace. En utilisant une augmentation d'état ingénieuse et un algorithme d'apprentissage intelligent, on peut construire des systèmes qui sont à la fois incroyablement rapides et rigoureusement sûrs sur un avenir infini.

Les auteurs admettent que leur méthode repose sur des simulations et que le processus d'apprentissage nécessite suffisamment de données pour être précis, surtout près des zones de danger. Cependant, ils démontrent que pour des systèmes continus complexes, cette approche représente un bond en avant massif. Elle transforme un problème qui était auparavant trop difficile à résoudre en un problème qu'un ordinateur peut résoudre en un clin d'œil, ouvissant la voie à des systèmes autonomes plus sûrs et plus efficaces dans le monde réel.

Résumé Technique : Contrôle Optimal Stochastique Fondé sur l'Apprentissage avec Contraintes Probabilistes à Horizon Infini

Formulation du Problème
L'article traite du défi consistant à résoudre des problèmes de contrôle optimal stochastique à horizon infini soumis à des contraintes de chance conjointes. Contrairement aux contraintes de chance individuelles (par étape), qui exigent la sécurité à chaque étape indépendamment, les contraintes de chance conjointes exigent que l'état du système reste dans un ensemble sûr $X$ pour l'ensemble de la trajectoire avec une probabilité d'au moins $1-\varepsilon$ . Cette formulation est critique pour les systèmes de sécurité critique mais présente deux difficultés majeures :

Nature Non-Markovienne : La contrainte dépend de tout l'historique de la trajectoire, rendant les formulations classiques de processus de décision markoviens (MDP) inapplicable.
Intraitabilité Computationnelle : Les méthodes traditionnelles reposent souvent sur des approximations conservatrices (par exemple, l'inégalité de Boole) ou des hypothèses d'horizon fini, ce qui dégrade soit la performance, soit ne permet pas de traiter le cadre à horizon infini sans hypothèses restrictives sur le support des perturbations.

Méthodologie
Les auteurs proposent un cadre qui transforme le problème original non-markovien et contraint en un problème markovien non contraint équivalent, solvable via la programmation dynamique fondée sur l'apprentissage. La méthodologie se déroule en trois étapes principales :

Augmentation de l'État et Reformulation :
Les auteurs introduisent un espace d'état augmenté $S = \mathbb{R}^n \times \{0, 1\}^2 \times [0, 1]$ . L'état original $x_t$ est augmenté de trois variables auxiliaires :
- $\xi_t$ : Un indicateur binaire qui vaut 1 si la trajectoire a respecté les contraintes jusqu'à l'instant $t$ , et 0 sinon.
- $\psi_t$ : Un indicateur binaire qui vaut 1 si l'état actuel $x_t$ est le premier état ayant violé la contrainte, et 0 sinon.
- $\phi_t$ : Une variable scalaire initialisée à 1 et mise à jour selon $\phi_{t+1} = \gamma \phi_t$ pour tenir compte du facteur de remise dans la fonction de coût, éliminant ainsi le décalage temporel entre le coût actualisé et la contrainte non actualisée.
Cette augmentation permet de reformuler la contrainte de chance conjointe comme une contrainte additive sur la somme espérée de $\psi_t$ sur l'horizon infini : $\mathbb{E}[\sum \psi_t] \leq \varepsilon$ .
Cadre de Dualité de Lagrange et Dualité Forte :
Le problème contraint est transposé dans un cadre de dualité de Lagrange. Les auteurs prouvent que la dualité forte est vérifiée pour cette formulation sous la condition de Slater. Cela permet de reformuler le problème contraint en un problème non contraint équivalent où la contrainte de chance est traitée comme un terme de pénalité dans l'objectif. L'objectif résultant est :
$\inf_{\pi} \mathbb{E} \left[ \sum_{t=0}^{\infty} (\phi_t \ell(x_t, u_t) + \lambda \psi_t) \right] - \lambda \varepsilon$
où $\lambda \geq 0$ est la variable duale.
Algorithme d'Ascension Duale et Apprentissage :
Pour résoudre le problème non contraint dans des espaces d'états-actions continus, les auteurs proposent un algorithme d'ascension duale :
- Étape Primal : Pour un $\lambda$ fixé, la minimisation intérieure est un problème de contrôle optimal non contraint résolu par programmation dynamique (DP).
- Étape Duale : La variable duale $\lambda$ est mise à jour via une ascension de gradient projeté basée sur la violation de la contrainte de risque.
Pour gérer les espaces continus, les auteurs développent un cadre fondé sur l'apprentissage utilisant des réseaux de neurones (NN) pour approximer la fonction de valeur. Ils exploitent les propriétés structurelles de l'état augmenté :
- Si une violation est survenue ( $\xi=0$ ), le problème se réduit à une optimisation non contrainte du coût, approximée par un réseau $\hat{W}$ .
- Si aucune violation n'est survenue ( $\xi=1$ ), la fonction de valeur $\hat{J}$ est apprise, intégrant la probabilité de transition vers l'état de violation.
  L'analyse théorique confirme que la fonction de valeur est continue, justifiant l'utilisation d'approximateurs universels comme les réseaux de neurones.

Contributions Clés

Formulation Markovienne Équivalente : L'article étend les techniques d'augmentation d'état de l'horizon fini à l'horizon infini, en posant le problème comme un MDP contraint sans recourir à des approximations conservatrices comme l'inégalité de Boole.
Dualité Forte et Politique Déterministe : Les auteurs prouvent la dualité forte pour le cas à horizon infini. Crucialement, ils démontrent que l'algorithme d'ascension duale proposé converge vers une politique markovienne déterministe qui est à la fois optimale et réalisable. Cela contraste avec les travaux antérieurs qui reposent souvent sur des politiques mixtes ou une faisabilité moyenne sur les itérations d'apprentissage.
Conditions de Faisabilité Assouplies : L'article montre que l'hypothèse de support d'incertitude borné (courante dans la littérature à horizon infini) n'est pas strictement nécessaire ; la faisabilité peut être assurée si la probabilité de la première violation de contrainte décroît suffisamment vite (par exemple, via la stabilité moyenne quadratique).
Solution Fondée sur l'Apprentissage : Un schéma d'entraînement hors ligne dédié est proposé pour approximer la fonction de valeur et la fonction duale, réduisant considérablement la complexité computationnelle de la phase de contrôle en ligne par rapport au MPC (Contrôle Prédictif Fondé sur un Modèle).

Résultats
L'approche a été validée sur un exemple numérique impliquant un unicycle naviguant dans un champ d'obstacles avec une contrainte de chance conjointe ( $\varepsilon = 0.1$ ).

Performance : L'approche fondée sur l'apprentissage a obtenu un coût en boucle fermée plus faible ( $L_{cl} = 528.3$ ) par rapport à un schéma MPC randomisé ( $L_{cl} = 672.0$ ).
Sécurité : Le taux de violation de contrainte empirique pour la méthode proposée était de $0.045$, satisfaisant l'exigence $\varepsilon = 0.1$ . En revanche, le schéma MPC avec 25 échantillons a présenté un taux de violation de $0.17$, échouant à respecter la spécification de sécurité.
Efficacité : Le temps de calcul en ligne pour la méthode proposée était d'environ 0,01 seconde par étape (résolution d'un problème à une étape), tandis que l'approche MPC nécessitait une moyenne de 2,94 secondes (avec une limite de 10 secondes), peinant souvent à trouver des solutions réalisables à proximité des obstacles.
Comportement : La politique apprise a correctement identifié qu'une fois qu'une violation de contrainte survient pour une trajectoire donnée, la stratégie optimale consiste à ignorer la contrainte de sécurité et à minimiser le coût, un comportement que le schéma MPC n'a pas réussi à reproduire efficacement.

Signification
L'article affirme fournir une solution computationnellement efficace et théoriquement rigoureuse à une classe de problèmes qui sont restés des défis ouverts : le contrôle stochastique à horizon infini avec des contraintes de chance conjointes. En évitant les approximations conservatrices et en exploitant la dualité forte, la méthode atteint une meilleure performance et des garanties de sécurité supérieures aux approches MPC de pointe, tout en maintenant une faible complexité computationnelle en ligne. Ce travail comble le fossé entre la théorie des MDP contraints et le contrôle pratique fondé sur l'apprentissage pour les systèmes continus.

Le tour de magie : transformer un problème de mémoire en un problème d'état

L'équilibre : Le prix de la sécurité

Enseigner au robot avec des réseaux de neurones

Les résultats : Plus rapides, plus sûrs et plus intelligents

Pourquoi cela importe

Articles similaires