⚡ electrical engineering

Sizing of Battery Considering Renewable Energy Bidding Strategy with Reinforcement Learning

Dit artikel presenteert een nieuw, computerefficiënt algoritme dat de optimale dimensionering van batterijopslagsystemen en biedstrategieën voor hernieuwbare energie gelijktijdig optimaliseert door gebruik te maken van een uitgebreid versterkend leerframework met Deep Recurrent Q-Networks.

Oorspronkelijke auteurs: Taiyo Mantani, Hikaru Hoshino, Tomonari Kanazawa, Eiko Furutani

Gepubliceerd 2026-02-24

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Taiyo Mantani, Hikaru Hoshino, Tomonari Kanazawa, Eiko Furutani

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zonne-energiebedrijf runt. Je hebt zonnepanelen die stroom opwekken, maar de zon schijnt niet altijd even hard. Soms is er een overvloed aan stroom, soms juist te weinig. Om geld te verdienen, moet je deze stroom verkopen aan het elektriciteitsnet.

Het probleem? De prijs van stroom verandert continu. Soms is hij laag (als iedereen zonnepanelen heeft en het zonnig is), en soms heel hoog (als het bewolkt is en iedereen lampen aandoet). Als je je belooft om een bepaalde hoeveelheid stroom te leveren, maar de zon valt tegen, moet je een boete betalen. Als je juist te veel hebt, moet je de stroom goedkoop verkopen of weggooien.

Om dit op te lossen, hebben bedrijven batterijen. Die fungeren als een waterreservoir: je slaat water (stroom) op als het regent (prijs laag) en laat het stromen als het droog is (prijs hoog).

Maar hier zit de twist: Hoe groot moet die batterij eigenlijk zijn?

Te klein? Je mist kansen om geld te verdienen.
Te groot? Je betaalt te veel voor de aankoop en onderhoud, en je verdient het niet terug.

Normaal gesproken doen ingenieurs dit in twee stappen: eerst kijken ze naar de batterijgrootte, en daarna proberen ze een slimme strategie te bedenken om te handelen. Dit is als eerst een auto kopen en daarna pas leren rijden. Het is traag en niet altijd optimaal.

De Nieuwe Aanpak: "Leren en Bouwen Tegelijk"

De onderzoekers van de Universiteit van Hyogo hebben een slimme nieuwe manier bedacht, gebaseerd op kunstmatige intelligentie (specifiek een vorm van "versterkende leer", of Reinforcement Learning).

Stel je voor dat je een videospel speelt. In dit spel ben je de manager van het zonne-energiebedrijf.

De Speler (De AI): Deze moet beslissen: "Hoeveel stroom bied ik aan? Moet ik nu laden of ontladen?"
De Spelbord-ontwerper (De Batterijgrootte): In de oude methode was de grootte van de batterij vast. In deze nieuwe methode mag de AI tijdens het spelen ook de grootte van de batterij aanpassen.

Het is alsof je een videospel speelt waarbij je niet alleen de besturing leert, maar ook tijdens het spel de motor van je auto kunt veranderen. Als je merkt dat je vaak vastloopt omdat je tank te klein is, kan de AI beslissen: "Oké, ik maak de tank iets groter." Als de tank te groot is en te zwaar, maakt hij hem kleiner.

Hoe werkt dit precies?

De onderzoekers gebruiken een slim algoritme dat twee dingen tegelijk leert:

De Strategie: Wanneer moet ik stroom kopen of verkopen om het meeste geld te verdienen?
De Hardware: Wat is de perfecte grootte van de batterij voor deze specifieke markt?

Ze noemen dit co-optimatie. In plaats van eerst te rekenen en dan te plannen, gebeurt alles in één keer. De computer "droomt" duizenden scenario's na (met verschillende batterijgroottes en verschillende weersomstandigheden) en leert welke combinatie het beste werkt.

Waarom is dit zo cool?

Snelheid: De oude methode was als het proberen van elke mogelijke auto op een racecircuit, één voor één. De nieuwe methode is alsof je een raceauto bouwt terwijl je racet. Je komt veel sneller tot het perfecte resultaat.
Minder Fouten: Bij de oude methode kon het zijn dat je een slechte batterijgrootte koos en de AI het spel nooit goed leerde spelen. Met de nieuwe methode kan de AI zichzelf redden door de batterijgrootte aan te passen als de strategie niet werkt. Het is alsof je een speler hebt die niet opgeeft als hij een slechte auto heeft, maar gewoon een betere auto koopt om te blijven winnen.
Onzekerheid: De zon en de prijzen zijn onvoorspelbaar. Dit systeem is zo slim dat het leert omgaan met verrassingen, net zoals een ervaren kapitein die weet hoe hij moet varen in stormachtig weer, ongeacht hoe groot of klein zijn schip is.

Conclusie

Kortom: Dit onderzoek laat zien dat je niet eerst een batterij moet kopen en daarna pas moet leren hoe je ermee handelt. Je kunt de grootte van de batterij en de handelsstrategie tegelijkertijd laten groeien en leren, net zoals een kind dat tegelijkertijd leert fietsen en zijn fiets aanpast aan zijn lengte.

Dit maakt het voor zonne-energiebedrijven goedkoper en winstgevender om deel te nemen aan de energiemarkt, wat weer goed is voor de overstap naar schone energie.

Titel: Bepaling van de batterijgrootte onder overweging van biedstrategieën voor hernieuwbare energie met behulp van Versterkingslering (RL)

Auteurs: Taiyo Mantani, Hikaru Hoshino, Tomonari Kanazawa, Eiko Furutani (Universiteit van Hyogo, Japan)

1. Probleemstelling

Met de toenemende integratie van variabele hernieuwbare energiebronnen (VRE), zoals zonne- en windenergie, is het voor producenten essentieel om deel te nemen aan elektriciteitsmarkten om marktwervelingen te minimaliseren en nieuwe bedrijfsmodellen te ontwikkelen. Batterijopslagsystemen (BESS) bieden operationele flexibiliteit om straffen voor afwijkingen van de dispatch-verplichting te vermijden en om energie-arbitrage te bedrijven (laden bij lage prijzen, ontladen bij hoge prijzen).

De huidige uitdagingen zijn tweeledig:

Onzekerheid: Het modelleren van de onzekerheid in hernieuwbare generatie en energieprijzen is complex. Traditionele methoden zoals stochastische programmering vereisen zware rekenkracht, terwijl robuuste optimalisatie vaak te conservatief is.
Tweestaps-aanpak: Bestaande methoden voor het bepalen van de optimale batterijgrootte (sizing) en biedstrategieën worden vaak gescheiden behandeld. Eerst wordt een strategie getraind voor een vaste batterijgrootte, waarna de grootte wordt geoptimaliseerd. Dit vereist een enorme computationele last omdat de strategie opnieuw getraind moet worden voor elke mogelijke batterijgrootte, en het vereist dat het surrogate-model over het hele zoekruimte accuraat is.

2. Methodologie

De auteurs stellen een co-optimisatie-algoritme voor dat de batterijgrootte en de biedstrategie gelijktijdig optimaliseert binnen één enkel trainingsproces, in plaats van in twee gescheiden stappen.

Framework: Het systeem is geformuleerd als een deels waarneembaar Markov-besluitproces (POMDP). De agent (de producent) observeert de vorige generatie ( $x_{t-1}$ ), marktprijs ( $\lambda_{t-1}$ ) en de huidige laadtoestand (SOC).
Deep Recurrent Q-Network (DRQN): Om de tijdsafhankelijkheid en onzekerheid in de data te hanteren, wordt een DRQN gebruikt. Dit combineert Deep Q-Learning met een Long Short-Term Memory (LSTM) netwerk om de actie-waarde functie $Q(o_t, h_t, c_t, a_t)$ te schatten.
Actie-ruimte: De agent bepaalt de biedwaarde ( $b_t$ ) en een schalingsfactor ( $\rho_t$ ) voor arbitrage. De daadwerkelijke laad- en ontlaadvermogens ( $p^c_t, p^d_t$ ) worden hieruit afgeleid, rekening houdend met de SOC-beperkingen.
Co-optimisatie van het ontwerp:
- De batterijcapaciteit ( $E_{max}$ ) wordt behandeld als een ontwerpparameter $\omega$ .
- In plaats van $\omega$ vast te houden, wordt deze getrokken uit een verdeling $p_\mu(\omega)$ (een Gaussische verdeling met een leerbaar gemiddelde $\mu$ en vaste variantie $\sigma^2$ ) aan het begin van elke episode.
- Het algoritme update zowel de Q-network weights ( $\theta$ ) voor de biedstrategie als de parameter $\mu$ voor de batterijgrootte.
- De update van $\mu$ gebeurt periodiek (elke $N_{up}$ episodes) via een policy gradient methode, waarbij de totale opbrengst (revenue minus batterijkosten) wordt gemaximaliseerd.
Distributie: Het systeem maakt gebruik van een gedistribueerd RL-framework (geïnspireerd op Ape-X) om lange-termijn data efficiënt te verwerken via parallelle workers.

3. Belangrijkste Bijdragen

Novel Co-Optimisatie: Dit is, voor zover bekend, het eerste werk dat een co-optimisatie-algoritme toepast op energiesystemen waarbij de fysieke grootte van het systeem (batterij) en het besturingsbeleid gelijktijdig worden geoptimaliseerd tijdens het trainingsproces.
Computationele Efficiëntie: De methode elimineert de noodzaak van exhaustieve zoektochten over verschillende batterijgroottes, wat de rekenlast aanzienlijk verlaagt ten opzichte van traditionele tweestaps-methoden.
Robuustheid bij Lange Termijn: Door de batterijgrootte dynamisch aan te passen tijdens het trainen, helpt het algoritme om te voorkomen dat het trainingsproces faalt (negatieve beloningen) bij het werken met lange, complexe datasets (bijv. een heel jaar data).
Integratie van DRQN en Gedistribueerd RL: Het succesvol toepassen van DRQN in combinatie met een gedistribueerd framework voor het hanteren van zowel korte-termijn marktvariaties als lange-termijn dimensioneringsproblemen.

4. Resultaten

De auteurs hebben hun methode getest met zowel korte-termijn (1 week) als lange-termijn (1 jaar) data uit de Japanse elektriciteitsmarkt (JEPX).

Korte-termijn validatie:
- De co-optimisatie methode convergeerde naar batterijgroottes die overeenkwamen met de optimale waarden gevonden door de traditionele tweestaps-methode (bijv. ~120% capaciteit bij lage kosten, ~50% bij hogere kosten).
- Hoewel het trainen van de co-optimisatie iets langer duurde dan het trainen met een vaste batterijgrootte (48 minuten vs. 8 minuten voor 4000 episodes), was het aanzienlijk sneller dan het uitvoeren van een exhaustieve zoektocht over alle mogelijke groottes.
Lange-termijn toepassing (1 jaar data):
- Bij het trainen met een jaar aan data faalde de traditionele methode (met vaste batterijgrootte) in 87,5% van de experimenten (negatieve totale beloning).
- De co-optimisatie-methode slaagde in 62,5% van de gevallen (alleen 37,5% mislukking).
- Dit toont aan dat het gelijktijdig verkennen van betere systeemconfiguraties (batterijgrootte) essentieel is om de training van het beleid succesvol te laten verlopen bij complexe, lange datasets.
Financieel rendement: De geoptimaliseerde batterijgrootte leverde een hogere nettowinst op vergeleken met een vaste, niet-geoptimaliseerde grootte, rekening houdend met installatiekosten en degradatie.

5. Betekenis en Conclusie

Deze paper introduceert een doorbraak in de optimalisatie van energiesystemen door de scheiding tussen "systeemontwerp" (hardware sizing) en "bedrijfsvoering" (software/control) weg te nemen. De voorgestelde methode biedt een computerefficiëntere en robuustere oplossing voor het bepalen van de ideale batterijgrootte in onzekere marktomstandigheden.

De resultaten suggereren dat het dynamisch aanpassen van de hardware-parameters tijdens het leren van het besturingsbeleid niet alleen de uiteindelijke winst maximaliseert, maar ook de kans op trainingsfalen verkleint. Dit is van groot belang voor de schaalbare implementatie van hernieuwbare energieprojecten met opslag, waar de kosten en onzekerheden hoog zijn. Toekomstig werk richt zich op het verbeteren van de prestaties met continue policy-optimisatie-algoritmen en het toepassen van deze aanpak op andere problemen in de energiesector.