⚡ electrical engineering

Computing an Optimal Control Policy for an Energy Storage

Cet article présente StoDynProg, une bibliothèque générique de programmation dynamique stochastique pour la résolution de problèmes de commande optimale dans la gestion des énergies renouvelables, et démontre son efficacité en dérivant un modèle stochastique et en calculant une politique optimale pour lisser la production de puissance d'un convertisseur d'énergie houlomotrice.

Auteurs originaux : Pierre Haessig, Thibaut Kovaltchouk, Bernard Multon, Hamid Ben Ahmed, Stéphane Lascaud

Publié 2026-06-04

📖 6 min de lecture🧠 Analyse approfondie

CC BY 3.0

Auteurs originaux : Pierre Haessig, Thibaut Kovaltchouk, Bernard Multon, Hamid Ben Ahmed, Stéphane Lascaud

Article original sous licence CC BY 3.0 (http://creativecommons.org/licenses/by/3.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La vue d'ensemble : Dompter l'océan sauvage

Imaginez que vous essayiez de verser l'eau d'un seau très instable et agité (l'énergie des vagues océaniques) dans un verre délicat (le réseau électrique). Si vous versez directement, l'eau éclaboussera partout, débordant le verre ou le laissant à moitié vide. C'est le problème de l'énergie renouvelable : le vent et les vagues sont imprévisibles, mais le réseau électrique a besoin d'un flux constant et régulier.

Pour corriger cela, les auteurs proposent d'utiliser un « tampon » ou un « réservoir » (un système de stockage d'énergie, comme une batterie géante ou un supercondensateur). Ce réservoir recueille l'excès d'eau lorsque les vagues sont énormes et libère l'eau lorsque les vagues sont petites, lissant ainsi le flux dans le verre.

L'article pose une question spécifique : Comment contrôler ce réservoir parfaitement ? Devons-nous simplement utiliser une règle simple (comme « si le seau est plein, versez davantage ») ? Ou pouvons-nous utiliser un cerveau informatique intelligent pour déterminer la meilleure façon possible de gérer l'eau à chaque seconde ?

Le problème : L'océan est chaotique

Les auteurs ont étudié une machine spécifique appelée SEAREV, qui est un immense pendule flottant qui oscille avec les vagues pour générer de l'électricité.

Le problème : L'énergie qu'elle génère est sauvage. Elle présente des pics et des creux irréguliers car l'océan est aléatoire.
L'objectif : Lisser ces pics pour que la puissance envoyée au réseau soit constante.
La contrainte : Le système de stockage a une limite. Il ne peut contenir qu'une certaine quantité d'énergie (comme une batterie de 10 MJ). Si vous le remplissez trop vite, il déborde ; si vous le videz trop vite, il se retrouve à sec.

La solution : Un « cerveau intelligent » (Programmation dynamique stochastique)

Les auteurs ont créé une bibliothèque de logiciels appelée StoDynProg (pensez à une calculatrice spécialisée pour la prise de décision). Ils ont utilisé une méthode appelée Programmation Dynamique Stochastique (SDP).

L'analogie : Le joueur d'échecs
Imaginez que vous jouez aux échecs, mais que le plateau change aléatoirement à chaque tour (comme les vagues de l'océan). Vous voulez faire le meilleur coup maintenant, mais vous devez aussi réfléchir à ce qui pourrait se passer dans 10 tours.

Heuristique (Règle simple) : Un joueur débutant pourrait simplement dire : « Capture toujours la pièce la plus proche ». Cela fonctionne assez bien, mais ce n'est pas parfait.
Contrôle optimal (Le cerveau intelligent) : La méthode SDP est comme un grand maître qui simule des milliers de futurs possibles. Il regarde l'état actuel (combien d'énergie il y a dans la batterie, à quelle vitesse le pendule oscille) et calcule le meilleur mouvement exact pour minimiser le chaos sur le long terme.

Comment ils ont fait fonctionner le tout

Pour apprendre à l'ordinateur à prédire l'océan, ils ont dû faire un travail de détective :

Modéliser le chaos : Les données brutes de la machine à vagues étaient trop désordonnées pour être prédites directement. Ils les ont donc décomposées en parties plus simples : la vitesse du pendule et son accélération. Ils ont découvert que si la puissance est sauvage, la vitesse du pendule suit un schéma prévisible (comme une courbe en cloche).
L'astuce de la « mémoire » : Pour prédire l'avenir, l'ordinateur doit se souvenir du passé. Ils ont donné à l'ordinateur une « mémoire » des dernières secondes de vitesse et d'accélération. Cela a permis à l'ordinateur de traiter l'océan aléatoire comme un « processus de Markov » prévisible (un système où le futur dépend uniquement de l'état présent).
L'algorithme : Ils ont utilisé un algorithme appelé Itération de politique (Policy Iteration).
- Étape 1 : Commencer par une règle simple et stupide (la « politique linéaire »).
- Étape 2 : Laisser l'ordinateur simuler l'océan des milliers de fois.
- Étape 3 : L'ordinateur dit : « Hé, si la batterie est pleine et que la vague est énorme, ne vous contentez pas de rejeter la puissance. Retenez-en un peu. »
- Étape 4 : Répéter jusqu'à ce que la règle devienne parfaite.

Les résultats : Un lissage plus intelligent

Lorsqu'ils ont testé leur « Cerveau intelligent » contre la « Règle simple » :

La Règle simple : Elle lissait la puissance de manière acceptable, mais elle n'utilisait pas la batterie efficacement. Elle laissait souvent la batterie à moitié pleine alors qu'elle aurait pu être pleine, ou la vidait trop rapidement.
Le Cerveau intelligent : Il a réduit les « bosses » dans le flux de puissance d'environ 20 % par rapport à la règle simple.
- Il savait exactement quand charger et quand décharger en fonction de la vitesse et de l'accélération de la machine, et non pas seulement en fonction du niveau de puissance actuel.
- Il a appris à « économiser » l'énergie pour le prochain pic de vague.

Le revers de la médaille : La « malédiction de la dimensionnalité »

L'article mentionne un obstacle majeur appelé la Malédiction de la dimensionnalité.

La métaphore : Imaginez essayer de cartographier chaque combinaison possible de météo, de trafic et d'humeur du conducteur pour prédire un trajet. Si vous ajoutez juste une variable supplémentaire (comme « l'heure de la journée »), le nombre de combinaisons explose.
La réalité : L'ordinateur devait calculer le meilleur mouvement pour chaque combinaison possible de :
1. Niveau de la batterie.
2. Vitesse du pendule.
3. Accélération du pendule.
Comme le nombre de combinaisons augmente très rapidement, ils ont dû garder le modèle simple (seulement 3 variables). S'ils avaient essayé d'ajouter plus de détails, l'ordinateur mettrait des années à résoudre le problème. C'est pourquoi ils ont passé autant de temps à simplifier le modèle de vague au départ.

Conclusion

Les auteurs ont construit un outil (StoDynProg) capable de résoudre des problèmes complexes de « meilleure décision » pour les systèmes énergétiques. En utilisant cet outil sur une machine à énergie de vague, ils ont prouvé qu'une stratégie de contrôle mathématiquement optimisée est nettement meilleure qu'une stratégie basée sur de simples suppositions. Cela rend le flux d'énergie plus régulier, ce qui est meilleur pour le réseau électrique, tout en utilisant la même quantité de stockage de batterie.

En bref : Ils ont appris à un ordinateur à jouer au « jeu de l'océan » parfaitement, ce qui permet d'obtenir un flux d'électricité beaucoup plus stable qu'un humain ne pourrait le faire avec des règles simples.

Résumé Technique : Calcul d'une politique de contrôle optimal pour un stockage d'énergie

Énoncé du Problème
L'article traite du défi de la gestion de la variabilité de la puissance des sources d'énergie renouvelables, plus précisément des convertisseurs d'énergie de vague océanique (WEC) comme le dispositif SEAREV. Contrairement à la production conventionnelle, la production d'énergie des vagues est hautement stochastique et fluctue rapidement (par exemple, avec une période d'environ 1,5 s), ce qui pose des risques de stabilité pour le réseau électrique. Les auteurs cadrent le problème comme une tâche de contrôle optimal : déterminer une politique de contrôle pour un système de stockage d'énergie (ESS) qui lisse la puissance injectée dans le réseau ( $P_{grid}$ ) tout en respectant les contraintes physiques de la capacité de stockage ( $E_{sto}$ ).

L'objectif est de minimiser une fonction de coût $J$ représentant la variabilité moyenne (pénalité) de la puissance injectée sur un horizon infini. Le système est modélisé comme un problème d'optimisation dynamique stochastique où les décisions à chaque étape sont couplées par l'état de l'énergie stockée. Une condition préalable clé pour l'application de la programmation dynamique (DP) est que la dynamique du système doit être markovienne ; cependant, les séries temporelles brutes de la puissance des vagues ne sont pas intrinsèquement markoviennes, ce qui nécessite une transformation des données d'entrée.

Méthodologie
Les auteurs proposent une méthodologie en trois étapes combinant l'analyse de séries temporelles, la modélisation stochastique et l'optimisation numérique via une bibliothèque Python personnalisée.

Modélisation stochastique de la production d'énergie des vagues :
- La modélisation directe de la puissance ( $P_{prod}$ ) est difficile en raison de sa distribution non gaussienne. Au lieu de cela, les auteurs modélisent la vitesse de rotation ( $\Omega$ ) du pendule interne du WEC, qui suit une distribution plus gaussienne.
- Ils emploient un modèle autorégressif d'ordre 2 (AR(2)) pour capturer la dynamique de $\Omega$ .
- Ajustement du modèle : L'estimation standard du maximum de vraisemblance conditionnelle (CMLE) s'est révélée inadéquate pour reproduire la fonction d'autocorrélation (ACF) des données aux courts décalages temporels. Par conséquent, les auteurs ont implémenté une méthode d'« ajustement de l'ACF multi-décalages », minimisant la différence au carré entre les ACF théoriques et empiriques sur un horizon de 15 secondes.
- Le modèle AR(2) résultant est reformulé en une représentation d'espace d'état utilisant la vitesse ( $\Omega$ ) et l'accélération ( $A$ ) comme variables d'état, aux côtés de l'énergie stockée ( $E_{sto}$ ). Cela produit un vecteur d'état markovien à 3 dimensions $x = (E_{sto}, \Omega, A)$ .
La bibliothèque StoDynProg :
- Pour résoudre le problème d'optimisation résultant, les auteurs ont développé StoDynProg, une bibliothèque Python générique pour la programmation dynamique stochastique (SDP).
- Architecture : La bibliothèque utilise SysDescription pour définir la dynamique du système et les fonctions de coût, et DPSolver pour gérer la discrétisation de l'espace d'état et exécuter les algorithmes.
- Algorithme : La bibliothèque implémente l'itération de politique (Policy Iteration), qui s'avère nettement plus efficace que l'itération de valeur (Value Iteration) pour ce problème. L'itération de politique alterne entre l'évaluation de la politique (résolution d'équations linéaires pour une politique fixe) et l'amélioration de la politique (recherche du contrôle optimal pour la fonction de valeur actuelle).
- Interpolation : Un composant critique est l'utilisation d'un MultilinearInterpolator personnalisé (adapté du projet Dolo) pour gérer l'interpolation n-dimensionnelle sur des grilles rectangulaires, une exigence pour évaluer les fonctions de valeur entre les points de grille discrets.
Exécution de l'optimisation :
- L'espace d'état est discrétisé en une grille d'environ 110 000 points ( $30 \times 60 \times 60$ pour l'énergie, la vitesse et l'accélération, respectivement).
- L'algorithme est initialisé avec une loi de contrôle heuristique linéaire simple et itère jusqu'à la convergence (atteinte en environ 5 itérations de politique).

Résultats Clés

Convergence et efficacité : L'algorithme d'itération de politique a convergé en environ 3 minutes sur un ordinateur de bureau standard. En revanche, une approche par itération de valeur aurait nécessité environ 5 heures (100 fois plus lent) en raison du coût de l'optimisation à chaque étape.
Politique de contrôle : La politique optimale résultante $\mu(E_{sto}, \Omega, A)$ est une fonction de rétroaction d'état. Elle confirme qu'une énergie stockée plus élevée conduit à une injection plus élevée dans le réseau, mais intègre de manière unique la vitesse et l'accélération pour moduler la puissance, anticipant ainsi les changements d'énergie mécanique.
Amélioration de la performance : Lorsqu'elle est appliquée à des échantillons de simulation de 1000 secondes du SEAREV :
- La politique optimisée a réduit l'écart-type de la puissance injectée d'environ 20 % par rapport à la politique heuristique linéaire (plus précisément 27 %, 16 % et 22 % sur trois échantillons).
- La politique optimisée a utilisé la capacité de stockage plus efficacement, particulièrement aux niveaux d'énergie élevés, lissant mieux les « pics et les creux » que l'approche linéaire.
Limites : Les auteurs notent que dans les scénarios de haute production avec des accélérations brusques (dépassant 4 écarts-types), le modèle AR linéaire ne parvient pas à capturer la dynamique non linéaire du WEC. Par conséquent, la politique optimisée produit une sortie « irrégulière » (spiky) dans ces régimes spécifiques, performant légèrement moins bien que l'heuristique linéaire dans ces cas isolés.

Signification et Revendications
L'article affirme démontrer l'application pratique de la programmation dynamique stochastique à un problème réaliste de gestion de l'énergie en utilisant un outil Python générique et open-source.

Outils : La principale contribution est StoDynProg, une bibliothèque conçue pour gérer des dimensions arbitraires d'espaces d'état et de contrôle, luttant contre la « malédiction de la dimensionnalité » en imposant des modèles markoviens d'ordre faible (limitant les dimensions d'état à 3 ou 4).
Rigueur méthodologique : Le travail souligne l'importance d'un ajustement de modèle approprié (ACF multi-décalages vs CMLE) pour garantir que le modèle stochastique reflète fidèlement la structure de corrélation du système, ce qui est crucial pour la solution de la DP.
Applicabilité : Les auteurs affirment que bien que l'exemple spécifique soit le lissage de l'énergie des vagues, la bibliothèque et la méthodologie sont suffisamment génériques pour être appliquées à d'autres problèmes de contrôle optimal en génie électrique, en génie mécanique et dans les sciences de la vie, à condition que le système puisse être modélisé comme un processus markovien avec une dimension d'état gérable.

L'article conclut modestement, notant que bien que la réduction de 20 % de la variabilité soit significative, la valeur économique de cette amélioration dépend des codes de réseau et des critères de pénalité spécifiques (par exemple, le « scintillement » ou flicker) qui sont des sujets pour des recherches futures.