Optimal design of solar-battery hybrid resources considering multi-market participation under weather and price uncertainty

Technische Samenvatting: Optimale Ontwerp van Zonne-Batterij Hybride Bronnen met Inachtneming van Deelname aan Meerdere Markten onder Weer- en Prijsonzekerheid

Probleemstelling
De snelle integratie van variabele hernieuwbare energie (VRE) vereist flexibele, gecoördineerde bronnen die gelijktijdig kunnen deelnemen aan meerdere elektriciteitsmarkten. Hoewel hybride bronnen – die hernieuwbare opwekking en batterijopslag integreren binnen één marktenheid – aanzienlijke operationele en financiële voordelen bieden ten opzichte van geco-locatieerde (afzonderlijk ingediende) bronnen, blijft hun optimale ontwerp een complexe uitdaging. De kernmoeilijkheid ligt in de koppeling van langetermijn investeringsbeslissingen (systeemdimensionering) met kortetermijn operationele optimalisatie onder stochastische omstandigheden (onzekerheid in hernieuwbare opwekking en marktprijzen).

Conventionele optimalisatiebenaderingen vertrouwen vaak op deterministische voorspellingen of vereenvoudigde onzekerheidsmodellen, die mogelijk niet in staat zijn de niet-lineaire dynamiek en operationele beperkingen vast te leggen die inherent zijn aan deelname aan meerdere markten (energie, aanvullende diensten en capaciteitsmarkten). Bovendien behandelen bestaande literatuur vaak systeemontwerp en operationele strategieën als gescheiden problemen of richten ze zich voornamelijk op energiemarkten, waarbij de ingewikkelde afwegingen die betrokken zijn bij het leveren van aanvullende diensten (AD) en de specifieke voordelen van DC-gekoppelde hybride architecturen, zoals het terugwinnen van afgesneden fotovoltaïsche (PV) energie, worden verwaarloosd.

Methodologie
Om deze uitdagingen aan te pakken, stellen de auteurs een op Deep Reinforcement Learning (DRL) gebaseerd co-optimisatiekader voor. Deze benadering integreert systeemontwerpparameters direct in het beleidsleerproces, waardoor de gezamenlijke optimalisatie van hybride systeemdimensionering en gecoördineerde meermarktinschrijvingsstrategieën binnen een unificerend stochastisch formulering mogelijk wordt.

• Kaderarchitectuur: De methode breidt eerder DRL-gebaseerd co-optimisatiewerk uit door deelname aan meerdere markten op te nemen. Het kader maakt gebruik van een Long Short-Term Memory (LSTM)-netwerk om partiële waarneembaarheid van markt- en hernieuwbare variabelen te hanteren, waarbij tijdreeksdata van PV-opwekking en marktprijzen worden verwerkt. De agent maakt gebruik van een Deep Deterministic Policy Gradient (DDPG)-algoritme om operationele beleidslijnen te leren.
• Ontwerpoptimalisatie: In tegenstelling tot traditionele tweeledige benaderingen die ontwerp en operatie scheiden, behandelt dit kader het systeemontwerpvector (PV-capaciteit, batterij-energiecapaciteit en batterijvermogen) als een parameter van een stochastisch beleid. De verdeling van ontwerpparameters wordt bijgewerkt via beleidsgradiëntmethoden op basis van de cumulatieve economische opbrengsten (omzet minus kosten) die tijdens trainingsrondes worden waargenomen.
• Beperkingenbeheer: Een kritiek onderdeel van de methodologie is de "seriële capaciteitsallocatie"-strategie. Om haalbaarheid onder onzekerheid te waarborgen, worden de acties van de agent omgezet in haalbare biedingen via een sequentieel toewijzingsproces:
  1. Noodreserves: Eerst toegewezen, voornamelijk uit batterijontlaadcapaciteit, met inachtneming van State-of-Charge (SOC)-limieten en duurvereisten.
  2. Regeldiensten: Vervolgens worden opwaartse en neerwaartse reguleringscapaciteiten toegewezen, rekening houdend met resterende batterijmarges en een betrouwbaarheidsfactor voor PV-opwekkingsvoorspellingen.
  3. Energiemarktinschrijvingen: Het resterende haalbare operationele bereik bepaalt de voorwaartse energiemarktinschrijving, waarbij expliciet rekening wordt gehouden met potentiële onevenwichtigheden.
• Markmodel: De studie modelleert deelname aan voorwaartse energiemarkten, noodreserves, regeldiensten en capaciteitsmarkten. Het houdt expliciet rekening met PV-voorspelfouten, waarbij energiemismatches worden gemodelleerd als boetekosten in plaats van te vertrouwen op aannames van real-time arbitrage. Het kader onderscheidt tussen DC-gekoppelde hybride bronnen (één entiteit, gedeelde omvormer) en AC-gekoppelde geco-locatieerde bronnen (afzonderlijke entiteiten).

Belangrijkste Bijdragen
Het artikel identificeert en adresseert drie specifieke onderzoekslacunes:

1. Beperkingenbewust DRL voor Hybride AD-voorziening: Hoewel DRL is toegepast op batterijopslag, breidt dit werk het kader uit tot PV-batterijhybriden met harde operationele beperkingen. Het maakt gezamenlijke AD-deelname van zowel PV als batterij mogelijk onder voorspellingsonzekerheid, en gaat verder dan zachte beperkingen of aannames van perfecte voorspellingen die in eerdere studies worden aangetroffen.
2. Kwantitatieve Vergelijking van Marktstructuren: Het artikel biedt een systematische kwantitatieve vergelijking tussen hybride en geco-locatieerde deelnamemodellen onder meermarktsettings. Het evalueert verschillen in operationele flexibiliteit, inschrijvingsstrategieën en economische prestaties, en biedt inzichten in hoe marktstructuren de waarde van bronnen beïnvloeden.
3. Onzekerheidsbewuste Co-Optimalisatie van Ontwerp en Operatie: De primaire bijdrage is de integratie van deelname aan meerdere markten in de ontwerpoptimalisatie van PV-batterijsystemen onder onzekerheid. In tegenstelling tot eerdere werken die vertrouwen op deterministische voorspellingen voor dimensionering, leert dit kader gelijktijdig optimale capaciteiten en operationele beleidslijnen, waardoor langetermijn economische prestaties in stochastische omgevingen direct worden geoptimaliseerd.

Resultaten
Numerieke casestudies met historische CAISO-data demonstreren de effectiviteit van het kader:

• Hybride versus Geco-locatieerd: Onder identieke systeemgroottes behaalden hybride bronnen consequent hogere beloningen dan geco-locatieerde bronnen. De hybride configuratie verminderde onevenwichtigheidsboetes met ongeveer 40% (van $3.622 naar $2.193 in een voorbeeldweek) door intern PV-voorspelfouten te mitigeren. Bovendien maakte de DC-gekoppelde architectuur het mogelijk om "afgesneden" PV-energie terug te winnen en deze naar periodes met hoge prijzen te verschuiven, waardoor de energiemarktomzet werd verhoogd.
• Co-Optimalisatie Resultaten: De gezamenlijke optimalisatie van ontwerp en operatie leverde configuraties op die vastgestelde ontwerpbaselines overtroffen. Bijvoorbeeld, in een basisscenario identificeerde het kader een optimale batterijduur van 2,71 uur, wat onder de 4-uurs capaciteitsmarktvereiste lag, maar toch winstgevend bleef dankzij inkomsten uit de energie- en AD-markten.
• Beleidsgevoeligheid: Het kader paste zich succesvol aan hypothetische beleidsveranderingen aan. Toen de capaciteitsmarktduurvereiste werd verhoogd naar 8 uur, verschuof het optimale ontwerp naar een grotere PV-capaciteit en een kleinere batterijcapaciteit, wat aangeeft dat duurmandaten alleen geen batterijdeployering garanderen als ze in conflict komen met economische levensvatbaarheid. Omgekeerd dreef een verhoogde AD-prijs voor opwaartse regeling het optimale ontwerp naar grotere batterijvermogens.
• Langetermijn Toepasbaarheid: Met behulp van een gedistribueerd RL-kader met één jaar data bevestigde de studie dat seizoensgebonden variaties de inkomstenstructuren en optimale strategieën aanzienlijk beïnvloeden. De gedistribueerde aanpak verlaagde de trainingsduur voor volledige jaaroptimalisatie tot ongeveer 10 uur, wat de computationele haalbaarheid voor langetermijnplanning aantoont.

Betekenis en Aanspraken
Het artikel beweert dat het voorgestelde kader een robuust hulpmiddel biedt voor het identificeren van economisch rationele hybridesysteemconfiguraties die bestand zijn tegen weer- en prijsonzekerheid. Door ontwerpparameters in het leerproces in te bedden, vermijdt de methode de computebelasting van tweeledige optimalisatie en legt het de complexe wisselwerking tussen systeemdimensionering en meermarkt operationele strategieën vast.

De auteurs benadrukken dat hun werk nieuwe inzichten biedt in de waarde van hybride bronnen, met name hun vermogen om afgesneden energie terug te winnen en onevenwichtigheden te mitigeren, aspecten die vaak worden over het hoofd gezien in studies die zich uitsluitend richten op energiemarkten of perfecte voorspellingen aannemen. De studie concludeert dat hybride bronnen weliswaar superieure flexibiliteit en winstgevendheid bieden, maar dat hun optimale ontwerp sterk gevoelig is voor marktregels (zoals capaciteitsduurvereisten) en prijssignalen, wat adaptieve, onzekerheidsbewuste planningstools noodzakelijk maakt. De auteurs merken bescheiden op dat toekomstig werk dit kader zou kunnen uitbreiden naar settings met meerdere besluitnemers, zoals virtuele krachtcentrales.