⚡ electrical engineering

Load constrained wind farm flow control through multi-objective multi-agent reinforcement learning

Diese Studie präsentiert ein Multi-Agenten-Reinforcement-Learning-Framework (I-SAC), das durch die Integration von Lastschätzungen in die Belohnungsfunktion eine kollaborative Steuerung von Windparks ermöglicht, um die Energieausbeute zu maximieren und gleichzeitig die strukturellen Lasten der Turbinen innerhalb definierter Grenzwerte zu halten.

Ursprüngliche Autoren: Teodor Åstrand, Marcus Binder Nilsen, Iasonas Tsaklis, Tuhfe Göçmen, Pierre-Elouan Réthoré, Nikolay Dimitrov

Veröffentlicht 2026-04-28

📖 3 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Teodor Åstrand, Marcus Binder Nilsen, Iasonas Tsaklis, Tuhfe Göçmen, Pierre-Elouan Réthoré, Nikolay Dimitrov

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Dilemma der Windpark-Dirigenten: Mehr Strom oder weniger Verschleiß?

Stellen Sie sich einen Windpark wie ein Orchester aus riesigen Windrädern vor. Damit das Konzert (die Stromproduktion) perfekt klingt, müssen alle Musiker (die Windräder) harmonieren.

Das Problem: Wenn der erste Musiker (das erste Windrad) ganz laut spielt, wirbelt er so viel „Luft-Chaos“ (den sogenannten Nachlauf oder Wake) hinter sich her, dass der zweite und dritte Musiker kaum noch etwas hören oder – noch schlimmer – durch die unruhige Luft völlig aus dem Takt geraten und ihre Instrumente beschädigt wird.

Die bisherige Lösung: Der „Egoist“

Bisher hat jedes Windrad meistens nur für sich selbst gespielt. Es hat versucht, so viel Wind wie möglich einzufangen, um maximalen Strom zu produzieren. Das ist wie ein Musiker, der so laut spielt, dass er die anderen völlig ignoriert. Das Ergebnis: Der Windpark macht zwar viel Strom, aber die hinteren Windräder werden durch die ständigen Erschütterungen extrem schnell alt und gehen kaputt.

Die neue Idee: Das „Team-Training“ mit KI

Die Forscher der Technischen Universität Dänemark haben nun eine neue Methode entwickelt. Sie nutzen Künstliche Intelligenz (KI), die wie ein extrem intelligenter Dirigent fungiert. Aber dieser Dirigent ist kein einzelner Mensch, sondern ein Team aus kleinen „KI-Assistenten“ (Multi-Agent Reinforcement Learning), die jedem Windrad zugeordnet sind.

Diese Assistenten spielen ein strategisches Spiel:

Ziel A: Produziert so viel Strom wie möglich für den ganzen Park.
Ziel B: Achte darauf, dass die Windräder nicht zu sehr „geschüttelt“ werden (die sogenannte Last oder Load).

Die Analogie: Das „Budget-Spiel“

Stellen Sie sich vor, die Windräder haben ein „Verschleiß-Budget“.

Das erste Windrad darf seinen Winkel (den Yaw) leicht verstellen, um den Wind geschickt an den hinteren Windrädern vorbeizuleiten (wie ein Fußballspieler, der den Ball präzise passt, statt ihn nur wild um sich zu schlagen).
Die KI bekommt eine Regel: „Du darfst den Wind so lenken, dass mehr Strom fließt, aber du darfst das Budget für die Belastung der Bauteile nicht um mehr als 10 %, 20 % oder 30 % überschreiten.“

Wenn die KI zu „gierig“ wird und die Windräder zu sehr beansprucht, bekommt sie in der Simulation einen „Strafpunkt“ (eine negative Belohnung). Sie lernt also durch Ausprobieren: „Okay, wenn ich den Winkel so stelle, kriege ich zwar mehr Strom, aber die Strafe ist so hoch, dass es sich insgesamt nicht lohnt. Ich nehme lieber einen etwas kleineren Gewinn, um die Windräder zu schonen.“

Was kam dabei heraus?

Die Forscher haben das Ganze in einem hochmodernen digitalen Windpark-Simulator getestet. Das Ergebnis war beeindruckend:

Die KI hat gelernt zu kooperieren: Die Windräder arbeiten nicht mehr gegeneinander, sondern als Team.
Der Kompromiss funktioniert: Die KI findet genau den „Sweet Spot“. Sie maximiert den Strom, hält sich aber an die vorgegebenen Sicherheitsgrenzen für die Bauteile.
Intelligente Ausweichmanöver: Wenn die Windverhältnisse besonders turbulent und gefährlich werden, „zieht sich die KI zurück“ und wählt sicherere Einstellungen, um Schäden zu vermeiden.

Zusammenfassend:

Anstatt die Windräder einfach nur „voll aufdrehen“ zu lassen, hat die Forschung einen Weg gefunden, wie eine KI die Windräder wie ein eingespieltes Team steuern kann. So gewinnen wir mehr saubere Energie, während die Windräder gleichzeitig länger halten, weil sie nicht unnötig durch das „Luft-Chaos“ der Nachbarn erschüttert werden.

Technische Zusammenfassung: Lastbeschränkte Windpark-Strömungssteuerung durch Multi-Objective Multi-Agent Reinforcement Learning

Problemstellung

Die Optimierung der Strömungssteuerung in Windparks (Wind Farm Flow Control, WFFC) zielt darauf ab, durch Techniken wie das „Wake Steering“ (Yaw-Steuerung zur Ablenkung von Nachlaufströmungen) den Gesamtertrag des Windparks zu maximieren. Ein kritisches Problem dabei ist jedoch, dass die gezielte Ablenkung der Nachläufe oft zu erhöhten strukturellen Lasten (insbesondere auf die Blattwurzel) bei den nachgeschalteten Turbinen führt. Bestehende Regler arbeiten oft rein lokal und single-objective (maximale Leistung pro Turbine), wodurch die Wechselwirkungen im Windpark und die daraus resultierenden Materialermüdungen vernachlässigt werden. Das Ziel dieser Arbeit ist es, eine Steuerung zu entwickeln, die die Gesamtleistung maximiert, dabei aber die Zunahme der Schadensäquivalentlasten (Damage Equivalent Loads, DEL) innerhalb definierter Schwellenwerte ( $\Delta_{max}$ ) hält.

Methodik

Die Autoren verfolgen einen innovativen Ansatz, der Reinforcement Learning (RL) mit einem datengestützten Ersatzmodell (Surrogate Model) kombiniert:

Multi-Agent Reinforcement Learning (MARL): Es wird eine Architektur des Independent Soft Actor-Critic (I-SAC) verwendet. Jede Turbine wird von einem eigenen Agenten gesteuert, der den Yaw-Winkel ( $\gamma$ ) kontrolliert. Um eine Kooperation zwischen den Agenten zu erzwingen, wird ein gemeinsamer globaler Belohnungssignal (Reward) verwendet, der sowohl die Parkleistung als auch die Lasten berücksichtigt.
Problemformulierung als POMDP: Da die aerodynamischen Zustände (Turbulenzen, Nachläufe) nicht vollständig beobachtbar sind, wird das Problem als Partially Observable Markov Decision Process formuliert. Die Agenten erhalten Beobachtungen wie lokale und globale Windgeschwindigkeiten, Windrichtungen und aktuelle Yaw-Winkel.
DEL-Surrogate-Modell: Um Echtzeit-Schätzungen der strukturellen Lasten zu ermöglichen, wurde ein neuronales Netzwerk als Ersatzmodell trainiert. Dieses Modell basiert auf hochpräzisen aeroelastischen Simulationen (HAWC2) und nutzt sektorbasierte Winddaten (links, rechts, oben, unten am Rotor), um die Auswirkungen von ungleichmäßigen Anströmungen auf die Blattwurzel-Biegemomente vorherzusagen.
Reward Shaping: Die Belohnungsfunktion kombiniert die Leistungssteigerung mit einer Strafe für Lastüberschreitungen:
- $r_{power}$ : Verhältnis der Parkleistung des Agenten zur Baseline.
- $r_{constraint}$ : Eine Strafe, die greift, sobald die DEL-Zunahme den Schwellenwert $\Delta_{max}$ (10 %, 20 % oder 30 %) überschreitet.
Simulationsumgebung: Die Tests wurden in der WindGym-Umgebung mit dem DYNAMIKS-Flow-Solver unter Verwendung des Dynamic Wake Meandering (DWM) Modells durchgeführt, um die nicht-stationäre Physik der Nachläufe realistisch abzubilden.

Wesentliche Beiträge (Key Contributions)

Integration von Lastbeschränkungen in RL: Die Kopplung eines datengestützten DEL-Surrogatmodells mit einer MARL-Struktur ermöglicht eine proaktive Vermeidung hoher Lasten während des Lernprozesses.
Multi-Objective-Ansatz: Die Fähigkeit der Agenten, zwischen der Maximierung der Energieausbeute und der Einhaltung von strukturellen Sicherheitsgrenzen abzuwägen.
Skalierbarkeit durch MARL: Die Verwendung einer dezentralen Ausführung (jeder Agent steuert seine eigene Turbine) bei gleichzeitig zentralisiertem Training zur Förderung der Zusammenarbeit.

Ergebnisse

Leistungssteigerung: Alle MARL-Agenten (sowohl unbeschränkt als auch lastbeschränkt) erzielten eine höhere durchschnittliche Parkleistung als der herkömmliche „Greedy“-Baseline-Regler.
Lastkontrolle: Die Agenten lernten erfolgreich, die Lasten zu kontrollieren. Während unbeschränkte Agenten die DEL bei nachgeschalteten Turbinen deutlich erhöhten, konnten die Agenten mit 20 % und 30 % Beschränkung die Lastzunahme effektiv begrenzen.
Trade-off: Es wurde ein klarer Zielkonflikt (Trade-off) beobachtet: Je strenger die Lastbeschränkung (z. B. 10 %), desto geringer ist der potenzielle Leistungszuwachs, da die Agenten „vorsichtiger“ agieren.
Robustheit: Bei sehr strengen Grenzwerten (10 %) zeigten die Agenten eine höhere Anfälligkeit für kurzzeitige Grenzwertüberschreitungen, wenn sie mit zuvor unbekannten Turbulenzmustern konfrontiert wurden.

Bedeutung (Significance)

Diese Arbeit demonstriert, dass KI-basierte Regler in der Lage sind, komplexe, mehrdimensionale Optimierungsprobleme in Windparks zu lösen. Durch die Einbeziehung von strukturellen Lasten direkt in den Lernprozess wird ein Weg aufgezeigt, wie die Lebensdauer von Windkraftanlagen verlängert werden kann, ohne die wirtschaftliche Effizienz (Energieertrag) durch rein lokale Regler zu opfern. Die Methode bietet eine robuste Grundlage für die Entwicklung intelligenter, autonomer Windpark-Steuerungen, die sowohl ökonomische als auch mechanische Randbedingungen berücksichtigen.