⚡ electrical engineering

Computing an Optimal Control Policy for an Energy Storage

Dieses Paper stellt StoDynProg vor, eine generische Bibliothek für stochastische dynamische Programmierung zur Lösung optimaler Steuerungsprobleme im Bereich des erneuerbaren Energiemanagements, und demonstriert deren Effektivität durch die Ableitung eines stochastischen Modells und die Berechnung einer optimalen Strategie zur Glättung der Leistungsabgabe eines Wellenenergiekonverters.

Ursprüngliche Autoren: Pierre Haessig, Thibaut Kovaltchouk, Bernard Multon, Hamid Ben Ahmed, Stéphane Lascaud

Veröffentlicht 2026-06-04

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 3.0

Ursprüngliche Autoren: Pierre Haessig, Thibaut Kovaltchouk, Bernard Multon, Hamid Ben Ahmed, Stéphane Lascaud

Originalarbeit lizenziert unter CC BY 3.0 (http://creativecommons.org/licenses/by/3.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Den wilden Ozean bändigen

Stellen Sie sich vor, Sie versuchen, Wasser aus einem sehr wackeligen, schüttelnden Eimer (der Meereswellenenergie) in ein empfindliches Glas (das Stromnetz) zu gießen. Wenn Sie einfach direkt gießen, spritzt das Wasser überall hin, überläuft das Glas oder lässt es halb leer zurück. Dies ist das Problem mit erneuerbaren Energien: Wind und Wellen sind unvorhersehbar, aber das Stromnetz benötigt einen stetigen, gleichmäßigen Fluss.

Um dies zu beheben, schlagen die Autoren vor, einen „Puffer“ oder ein „Reservoir“ zu verwenden (ein Energiespeichersystem, wie eine riesige Batterie oder einen Superkondensator). Dieses Reservoir fängt das überschüssige Wasser auf, wenn die Wellen riesig sind, und gibt Wasser ab, wenn die Wellen klein sind, um den Fluss in das Glas zu glätten.

Die Arbeit stellt eine spezifische Frage: Wie kontrollieren wir dieses Reservoir perfekt? Sollten wir einfach eine einfache Regel verwenden (wie „wenn der Eimer voll ist, gieße mehr“)? Oder können wir ein intelligentes Computergehirn nutzen, um herauszufinden, was die bestmögliche Art und Weise ist, das Wasser in jeder einzelnen Sekunde zu verwalten?

Das Problem: Der Ozean ist chaotisch

Die Autoren untersuchten eine spezielle Maschine namens SEAREV, ein riesiges schwimmendes Pendel, das mit den Wellen schwingt, um Elektrizität zu erzeugen.

Das Problem: Die von ihr erzeugte Leistung ist wild. Sie steigt und fällt unregelmäßig, weil der Ozean zufällig ist.
Das Ziel: Diese Spitzen zu glätten, damit die an das Netz abgegebene Leistung konstant ist.
Die Einschränkung: Das Speichersystem hat ein Limit. Es kann nur eine bestimmte Menge Energie speichern (wie eine 10-MJ-Batterie). Wenn man es zu schnell füllt, läuft es über; wenn man es zu schnell entlädt, läuft es leer.

Die Lösung: Ein „smartes Gehirn“ (Stochastische Dynamische Programmierung)

Die Autoren entwickelten eine Softwarebibliothek namens StoDynProg (denken Sie an einen spezialisierten Taschenrechner für Entscheidungsfindungen). Sie verwendeten eine Methode namens Stochastische Dynamische Programmierung (SDP).

Die Analogie: Der Schachspieler
Stellen Sie sich vor, Sie spielen Schach, aber das Brett verändert sich bei jedem Zug zufällig (wie die Meereswellen). Sie wollen jetzt den besten Zug machen, müssen aber auch bedenken, was in 10 Zügen passieren könnte.

Heuristik (Einfache Regel): Ein Anfänger könnte einfach sagen: „Schlage immer das nächste Stück.“ Das funktioniert ganz gut, ist aber nicht perfekt.
Optimale Steuerung (Das smarte Gehirn): Die SDP-Methode ist wie ein Großmeister, der tausende mögliche Zukünfte simuliert. Er betrachtet den aktuellen Zustand (wie viel Energie ist in der Batterie, wie schnell schwingt das Pendel) und berechnet den exakten besten Zug, um das Chaos auf lange Sicht zu minimieren.

Wie sie es zum Laufen brachten

Um den Computer zu lehren, den Ozean vorherzusagen, mussten sie Detektivarbeit leisten:

Das Chaos modellieren: Die Rohdaten der Wellenmaschine waren zu chaotisch, um sie direkt vorherzusagen. Also brachten sie sie in einfachere Teile auf: die Geschwindigkeit des Pendels und seine Beschleunigung. Sie fanden heraus, dass die Leistung zwar wild ist, die Geschwindigkeit des Pendels jedoch einem vorhersagbaren Muster folgt (wie einer Glockenkurve).
Der „Erinnerungs“-Trick: Um die Zukunft vorherzusagen, muss der Computer sich an die Vergangenheit erinnern. Sie gaben dem Computer ein „Gedächtnis“ der letzten Sekunden von Geschwindigkeit und Beschleunigung. Dies ermöglichte es dem Computer, den zufälligen Ozean als einen vorhersagbaren „Markov-Prozess“ zu behandeln (ein System, bei dem die Zukunft nur vom gegenwärtigen Zustand abhängt).
Der Algorithmus: Sie verwendeten einen Algorithmus namens Policy Iteration (Richtlinieniteration).
- Schritt 1: Beginnen Sie mit einer einfachen, dummen Regel (der „linearen Richtlinie“).
- Schritt 2: Lassen Sie den Computer den Ozean tausendfach simulieren.
- Schritt 3: Der Computer sagt: „Hey, wenn die Batterie voll ist und die Welle riesig ist, gib die Leistung nicht einfach ab. Halte ein wenig zurück.“
- Schritt 4: Wiederholen Sie dies, bis die Regel perfekt wird.

Die Ergebnisse: Intelligentere Glättung

Als sie ihr „Smartes Gehirn“ gegen die „Einfache Regel“ testeten:

Die Einfache Regel: Sie glättete die Leistung ganz gut, nutzte die Batterie aber nicht effizient. Sie ließ die Batterie oft halb voll, obwohl sie voll hätte sein können, oder entleerte sie zu schnell.
Das Smarte Gehirn: Es reduzierte die „Stöße“ im Leistungsfluss um etwa 20 % im Vergleich zur einfachen Regel.
- Es wusste genau, wann es laden und wann es entladen musste, basierend auf der Geschwindigkeit und Beschleunigung der Maschine, nicht nur auf dem aktuellen Leistungsniveau.
- Es lernte, Energie für die nächste große Wellenspitze zu „sparen“.

Der Haken: Der „Fluch der Dimensionalität“

Die Arbeit erwähnt eine große Hürde namens Fluch der Dimensionalität.

Die Metapher: Stellen Sie sich vor, Sie versuchen, jede Kombination aus Wetter, Verkehr und der Stimmung des Fahrers zu kartieren, um einen Arbeitsweg vorherzusagen. Wenn Sie nur eine weitere Variable hinzufügen (wie „Tageszeit“), explodiert die Anzahl der Kombinationen.
Die Realität: Der Computer musste den besten Zug für jede mögliche Kombination aus berechnen:
1. Batteriestand.
2. Pendelgeschwindigkeit.
3. Pendelbeschleunigung.
Da die Anzahl der Kombinationen sehr schnell wächst, mussten sie das Modell einfach halten (nur 3 Variablen). Wenn sie versucht hätten, mehr Details hinzuzufügen, hätte der Computer Jahre gebraucht, um das Problem zu lösen. Deshalb haben sie so viel Zeit damit verbracht, das Wellenmodell zu vereinfachen.

Fazsetzung

Die Autoren haben ein Werkzeug (StoDynProg) gebaut, das komplexe „Best-Decision“-Probleme für Energiesysteme lösen kann. Durch die Anwendung dieses Werkzeugs auf eine Wellenenergieanlage haben sie bewiesen, dass eine mathematisch optimierte Steuerungsstrategie signifikant besser ist als eine einfache, auf Vermutungen basierende Strategie. Sie macht den Energiefluss glatter, was besser für das Stromnetz ist, und nutzt dabei die gleiche Menge an Batteriespeicher.

Kurz gesagt: Sie haben einem Computer beigebracht, das „Ozean-Spiel“ perfekt zu spielen, was zu einem viel gleichmäßigeren Stromfluss führt, als ein Mensch mit einfachen Regeln es bewältigen könnte.

Technisches Resümee: Berechnung einer optimalen Steuerungsstrategie für einen Energiespeicher

Problemstellung
Die vorliegende Arbeit befasst sich mit der Herausforderung, die Leistungsschwankungen regenerativer Energiequellen zu bewältigen, insbesondere bei Wellenenergiekonvertern (WECs) wie dem SEAREV-Gerät. Im Gegensatz zur konventionellen Erzeugung ist die Wellenenergieabgabe hoch stochastisch und schwankt schnell (z. B. mit einer Periode von ~1,5 s), was Risiken für die Stabilität des Stromnetzes birgt. Die Autoren formulieren das Problem als eine Aufgabe der optimalen Steuerung (Optimal Control): Die Bestimmung einer Steuerungsstrategie für ein Energiespeichersystem (ESS), die die in das Netz eingespeiste Leistung ( $P_{grid}$ ) glättet und gleichzeitig die physikalischen Beschränkungen der Speicherkapazität ( $E_{sto}$ ) respektiert.

Das Ziel besteht darin, eine Kostenfunktion $J$ zu minimieren, welche die durchschnittliche Variabilität (Penalty) der eingespeisten Leistung über einen unendlichen Horizont darstellt. Das System wird als stochastisches dynamisches Optimierungsproblem modelliert, bei dem die Entscheidungen zu jedem Zeitschritt durch den Zustand der gespeicherten Energie gekoppelt sind. Eine wesentliche Voraussetzung für die Anwendung der Dynamischen Programmierung (DP) ist, dass die Systemdynamik Markovianisch sein muss; die rohen Wellenleistung-Zeitreihen sind jedoch nicht inhärent Markovianisch, was eine Transformation der Eingangsdaten erforderlich macht.

Methodik
Die Autoren schlagen eine dreistufige Methodik vor, die Zeitreihenanalyse, stochastische Modellierung und numerische Optimierung mittels einer benutzerdefinierten Python-Bibliothek kombiniert.

Stochastische Modellierung der Wellenerzeugung:
- Die direkte Modellierung der Leistung ( $P_{prod}$ ) ist aufgrund ihrer nicht-gaußschen Verteilung schwierig. Stattdessen modellieren die Autoren die Rotationsgeschwindigkeit ( $\Omega$ ) des internen Pendels des WEC, die einer eher gaußschen Verteilung folgt.
- Sie verwenden ein autoregressives Modell zweiter Ordnung (AR(2)), um die Dynamik von $\Omega$ zu erfassen.
- Modellanpassung: Die Standardmethode der bedingten Maximum-Likelihood-Schätzung (CMLE) erwies sich als unzureichend, um die Autokorrelationsfunktion (ACF) der Daten bei kurzen Zeitverzögerungen (Lags) zu reproduzieren. Folglich implementierten die Autoren eine Methode der „Multi-Lags ACF-Anpassung“, bei der die quadratische Differenz zwischen den theoretischen und empirischen ACFs über einen Horizont von 15 Sekunden minimiert wird.
- Das resultierende AR(2)-Modell wird in eine Zustandsraumdarstellung umformuliert, wobei Geschwindigkeit ( $\Omega$ ) und Beschleunigung ( $A$ ) als Zustandsvariablen zusammen mit der gespeicherten Energie ( $E_{sto}$ ) dienen. Dies ergibt einen 3-dimensionalen Markovschen Zustandsvektor $x = (E_{sto}, \Omega, A)$ .
Die StoDynProg-Bibliothek:
- Um das resultierende Optimierungsproblem zu lösen, entwickelten die Autoren StoDyn-Prog, eine generische Python-Bibliothek für stochastische dynamische Programmierung (SDP).
- Architektur: Die Bibliothek verwendet SysDescription, um Systemdynamiken und Kostenfunktionen zu definieren, und DPSolver, um die Diskretisierung des Zustandsraums zu verwalten und Algorithmen auszuführen.
- Algorithmus: Die Bibliothek implementiert die Policy Iteration (Richtlinieniteration), die sich für dieses Problem als signifikant effizienter als die Value Iteration (Wertiteration) erweist. Die Policy Iteration wechselt zwischen der Policy Evaluation (Lösen linearer Gleichungen für eine feste Richtlinie) und der Policy Improvement (Finden der optimalen Steuerung für die aktuelle Wertfunktion).
- Interpolation: Eine kritische Komponente ist die Verwendung eines benutzerdefinierten MultilinearInterpolator (adaptiert aus dem Dolo-Projekt), um die n-dimensionale Interpolation auf rechteckigen Gittern zu handhaben – eine Voraussetzung für die Auswertung von Wertfunktionen zwischen diskreten Gitterpunkten.
Optimierungsausführung:
- Der Zustandsraum wird in ein Gitter von etwa 110.000 Punkten diskretisiert ( $30 \times 60 \times 60$ für Energie, Geschwindigkeit und Beschleunigung).
- Der Algorithmus wird mit einem einfachen linearen heuristischen Steuerungsgesetz initialisiert und iteriert bis zur Konvergenz (erreicht in ~5 Policy-Iterationen).

Wichtigste Ergebnisse

Konvergenz und Effizienz: Der Policy-Iteration-Algorithmus konvergierte in etwa 3 Minuten auf einem Standard-Desktop-Computer. Im Gegensatz dazu hätte ein Value-Iteration-Ansatz etwa 5 Stunden benötigt (100-mal langsamer), aufgrund der Kosten der Optimierung bei jedem Schritt.
Steuerungsstrategie: Die resultierende optimale Strategie $\mu(E_{sto}, \Omega, A)$ ist eine Zustandsrückführungsfunktion. Sie bestätigt, dass eine höhere gespeicherte Energie zu einer höheren Netzeinspeisung führt, integriert jedoch einzigartig Geschwindigkeit und Beschleunigung zur Modulation der Leistung, wodurch mechanische Energieänderungen antizipiert werden.
Leistungsverbesserung: Bei der Anwendung auf 1000-Sekunden-Simulationsproben des SEAREV:
- Die optimierte Strategie reduzierte die Standardabweichung der eingespeisten Leistung im Vergleich zur linearen heuristischen Strategie um etwa 20 % (speziell 27 %, 16 % und 22 % über drei Proben hinweg).
- Die optimierte Strategie nutzte die Speicherkapazität effektiver, insbesondere bei höheren Energieniveaus, indem sie „Spitzen und Täler“ besser glättete als der lineare Ansatz.
Einschränkungen: Die Autoren merken an, dass in Szenarien mit hoher Produktion und abrupten Beschleunigungen (die 4 Standardabweichungen überschreiten) das lineare AR-Modell die nicht-linearen Dynamiken des WEC nicht erfassen kann. Infolgedessen erzeugt die optimierte Strategie in diesen spezifischen Regimen einen „sprunghaften“ (spiky) Output und schneidet in diesen isolierten Fällen etwas schlechter ab als der lineare Heuristik-Ansatz.

Bedeutung und Ansprüche
Die Arbeit behauptet, die praktische Anwendung der stochastischen dynamischen Programmierung auf ein realistisches Energiemanagementproblem unter Verwendung eines generischen Open-Source-Python-Tools demonstriert zu haben.

Werkzeuge: Der primäre Beitrag ist StoDynProg, eine Bibliothek, die darauf ausgelegt ist, beliebige Dimensionen von Zustands- und Steuerungsräumen zu handhaben und den „Fluch der Dimensionalität“ zu bewältigen, indem sie niederdimensionale Markov-Modelle (Begrenzung der Zustandsdimensionen auf 3 oder 4) erzwingt.
Methodische Stringenz: Die Arbeit hebt die Bedeutung der angemessenen Modellanpassung (Multi-Lags ACF vs. CMLE) hervor, um sicherzustellen, dass das stochastische Modell die Korrelationsstruktur des Systems korrekt widerspiegelt, was entscheidend für die DP-Lösung ist.
Anwendbarkeit: Die Autoren betonen, dass die Bibliothek und die Methodik, obwohl das spezifische Beispiel die Glättung der Wellenenergie ist, generisch genug sind, um auf andere Optimierungsaufgaben in der Elektrotechnik, Maschinenbau und den Biowissenschaften angewendet zu werden, sofern das System als Markov-Prozess mit einer handhabbaren Zustandsdimension modelliert werden kann.

Das Paper schließt bescheiden mit dem Hinweis, dass die Reduktion der Variabilität um 20 % zwar signifikant ist, der wirtschaftliche Wert dieser Verbesserung jedoch von Netzcodes und spezifischen Strafkriterien (z. B. „Flicker“) abhängt, welche Gegenstand zukünftiger Forschung sind.