⚡ electrical engineering

Load constrained wind farm flow control through multi-objective multi-agent reinforcement learning

Cette étude présente un cadre d'apprentissage par renforcement multi-agent (MARL) conçu pour optimiser la production d'énergie d'un parc éolien par le pilotage des flux, tout en limitant les contraintes de charge structurelle sur les turbines en aval.

Auteurs originaux : Teodor Åstrand, Marcus Binder Nilsen, Iasonas Tsaklis, Tuhfe Göçmen, Pierre-Elouan Réthoré, Nikolay Dimitrov

Publié 2026-04-28

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Teodor Åstrand, Marcus Binder Nilsen, Iasonas Tsaklis, Tuhfe Göçmen, Pierre-Elouan Réthoré, Nikolay Dimitrov

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Dilemme du Chef d'Orchestre de Vent : Comment produire plus d'énergie sans casser les éoliennes

Imaginez que vous dirigez un immense orchestre, mais au lieu de musiciens, ce sont des éoliennes géantes. Votre objectif est simple : faire jouer la musique la plus forte possible (produire un maximum d'électricité).

Le problème ? Les éoliennes ne sont pas isolées. Quand la première éolienne tourne, elle crée un "sillage" derrière elle — un peu comme le remous d'un bateau sur l'eau ou la traînée d'air derrière une voiture de course. Ce sillage est turbulent et désordonné. Pour les éoliennes qui sont juste derrière, c'est un cauchemar : elles reçoivent un vent saccadé et chaotique qui les secoue violemment, un peu comme si elles essayaient de jouer de la musique en plein milieu d'une tempête de sable.

Si on veut qu'elles produisent plus, on peut utiliser une technique appelée le "décalage de lacet" (yaw steering). C'est comme si on demandait à la première éolienne de ne pas regarder le vent de face, mais de se tourner légèrement sur le côté. Cela dévie le sillage turbulent vers la droite ou la gauche, libérant ainsi un vent plus propre pour les éoliennes suivantes.

Le piège : Si on dévie trop le vent pour aider les copines de derrière, on risque de faire vibrer et de fatiguer prématurément les composants de l'éolienne qui a pivoté. C'est comme si, pour aider vos collègues à mieux entendre, vous commenciez à taper très fort sur votre tambour : vous aidez le groupe, mais vous allez finir par casser votre instrument.

La solution de l'étude : Des "cerveaux numériques" collaboratifs

Les chercheurs de l'Université Technique du Danemark ont créé une solution utilisant l'Intelligence Artificielle (IA), et plus précisément ce qu'on appelle l'Apprentissage par Renforcement Multi-Agents (MARL).

Voici comment ils ont procédé, avec trois concepts clés :

1. L'équipe de micro-cerveaux (Multi-Agent) :
Au lieu d'avoir un seul ordinateur central qui essaie de tout contrôler (ce qui serait trop complexe), ils ont donné à chaque éolienne son propre "petit cerveau" numérique. Chaque éolienne est un agent qui apprend à prendre ses propres décisions. Mais attention, ils ne sont pas égoïstes ! Ils partagent un objectif commun : "On veut de l'électricité pour tout le parc, mais sans que personne ne se blesse."

2. Le coach avec un sifflet (La fonction de récompense) :
Pour apprendre, ces cerveaux numériques jouent à un jeu vidéo géant.

S'ils produisent beaucoup d'électricité, ils reçoivent des points de bonus.
S'ils font vibrer l'éolienne au-delà d'une limite de sécurité (le "DEL" ou charge équivalente de dommage), le coach siffle et leur donne une pénalité.
L'IA apprend donc par essais et erreurs à trouver le "juste milieu" : pivoter assez pour aider les autres, mais pas trop pour ne pas s'autodétruire.

3. Le simulateur de fatigue (Le modèle de substitution) :
Calculer précisément l'usure d'une éolienne en temps réel est extrêmement lourd pour un ordinateur. Les chercheurs ont donc créé un "modèle de substitution" : un petit cerveau ultra-rapide qui prédit l'usure de l'éolienne en un clin d'œil, permettant à l'IA de s'entraîner des milliers de fois très rapidement.

Les résultats : Un équilibre délicat

L'étude a testé différents niveaux de "tolérance" à l'usure (10%, 20%, 30%).

Les résultats montrent que l'IA est très douée pour collaborer. Elle a appris à "négocier" : elle accepte de perdre un tout petit peu de puissance pour s'assurer que les éoliennes ne subissent pas de chocs trop violents. C'est un peu comme un conducteur qui ralentit légèrement pour éviter un accident : il arrive un peu plus tard, mais il arrive entier !

En résumé : Grâce à cette IA, on ne se contente plus de faire tourner des machines de manière isolée. On transforme un champ d'éoliennes en un système intelligent et solidaire, capable de maximiser l'énergie verte tout en protégeant le matériel pour qu'il dure plus longtemps.

Résumé Technique : Contrôle de flux de parc éolien sous contrainte de charge via l'apprentissage par renforcement multi-agent (MARL)

1. Problématique

L'optimisation de la production d'énergie dans un parc éolien repose souvent sur le « pilotage de sillage » (wake steering), qui consiste à orienter les turbines (décalage de lacet ou yaw offset) pour rediriger les sillages et augmenter le flux d'air vers les turbines situées en aval. Cependant, cette technique présente un compromis critique : si elle augmente la puissance totale du parc, elle accroît souvent les charges structurelles (notamment le moment de flexion à la racine des pales) sur les turbines situées en aval, réduisant ainsi leur durée de vie.

Le défi consiste donc à trouver des stratégies de contrôle capables de maximiser la production d'énergie tout en respectant des seuils stricts d'augmentation des charges équivalentes de dommage (DEL - Damage Equivalent Loads).

2. Méthodologie

Les auteurs proposent un cadre d'apprentissage par renforcement multi-agent (MARL) intégré à un modèle de substitution (surrogate model) pour gérer ce compromis multi-objectif.

Architecture MARL : L'étude utilise l'algorithme Independent Soft Actor-Critic (I-SAC). Chaque turbine est contrôlée par un agent spécifique qui apprend une politique de lacet ( $\gamma_i$ ). Pour favoriser la coopération, les agents partagent un signal de récompense global, alignant leurs actions individuelles sur les objectifs de performance du parc complet.
Modélisation du problème : Le problème est formulé comme un processus de décision markovien partiellement observable (POMDP), tenant compte de l'incertitude liée à la turbulence et à la dynamique des fluides.
Modèle de substitution DEL : Pour permettre un contrôle en temps réel, un réseau de neurones de trois couches a été entraîné sur des simulations aéroélastiques haute fidélité (HAWC2). Ce modèle prédit les DEL basés sur des mesures de flux locales moyennées sur 10 minutes.
Fonction de récompense (Reward Shaping) : La fonction de récompense combine deux composantes :
1. Une récompense liée à la puissance ( $R_{power}$ ) comparée à un contrôleur de référence (greedy baseline).
2. Une pénalité de contrainte ( $R_{constraint}$ ) qui s'active uniquement si l'augmentation des DEL dépasse un seuil prédéfini ( $\Delta_{max}$ de 10 %, 20 % ou 30 %).
Environnement de simulation : Les tests ont été réalisés dans l'environnement WindGym, utilisant le solveur DYNAMIKS avec le modèle de sillage dynamique (DWM) pour capturer la physique non stationnaire des sillages.

3. Contributions clés

Intégration de contraintes de charge dans le RL : Contrairement aux approches classiques focalisées uniquement sur la puissance, ce travail introduit une méthode de pénalisation directe des DEL via un modèle de substitution rapide.
Approche multi-objectif et multi-agent : Le cadre permet de naviguer entre la maximisation de l'énergie et la minimisation des dommages structurels de manière collaborative.
Gestion de l'incertitude : L'utilisation de l'I-SAC (basé sur l'entropie maximale) permet de développer des politiques robustes capables de s'adapter à des conditions de turbulence changeantes et non modélisées explicitement.

4. Résultats principaux

Gain de puissance : Tous les agents (qu'ils soient contraints ou non) ont réussi à produire plus de puissance que le contrôleur de référence (greedy).
Respect des contraintes : Les agents entraînés avec des seuils de 20 % et 30 % ont montré une capacité efficace à limiter l'augmentation des DEL, en ajustant leurs angles de lacet pour éviter les zones de fortes charges.
Compromis (Trade-off) : Une corrélation claire est observée : plus la contrainte de charge est stricte (ex: 10 %), plus le gain de puissance potentiel est limité, car l'agent doit "reculer" face aux stratégies de pilotage de sillage agressives.
Comportement asymétrique : L'étude confirme que le pilotage de sillage peut réduire les charges sur les turbines en amont (Turbine 0) tout en les augmentant en aval, un phénomène que les agents MARL apprennent à gérer selon les contraintes imposées.

5. Signification et perspectives

Cette recherche démontre qu'il est possible de transformer des modèles de charge complexes en guides comportementaux pour l'IA, permettant un contrôle de parc éolien plus intelligent et respectueux de l'intégrité structurelle.

Bien que le modèle de substitution soit une approximation temporelle (moyennage sur 10 min), il s'avère suffisant pour orienter l'apprentissage vers des zones de fonctionnement sûres. Les travaux futurs pourraient étendre cette architecture à des parcs de plus grande taille et intégrer des canaux de charge multiples (plusieurs modes de fatigue) pour une gestion encore plus holistique de la durée de vie des turbines.