Bridging the climate to energy data gap: simulated annealing for representative climate year selection

Deze studie stelt een geoptimaliseerde methode voor op basis van gesimuleerde afkoeling, die gebruikmaakt van de seizoensgebonden gesneden Wasserstein-afstand, om zeer representatieve subsets van klimaatjaren uit grote ensemble's te selecteren, waarbij deze methode aanzienlijk beter presteert dan huidige praktijken en alternatieve algoritmen en zo robuuste, onbevooroordeelde invoer biedt voor energie systeemmodellering.

De kern

Stel je voor dat je probeert een elektriciteitsnet te ontwerpen dat het weer van de komende 30 jaar aankan. Het probleem is dat het weer chaotisch en onvoorspelbaar is. Klimaatwetenschappers hebben supercomputersimulaties uitgevoerd die 180 verschillende mogelijke jaren aan weerdata hebben gegenereerd om elk mogelijk scenario te tonen (van superwindige jaren tot droogtes).

De computermodellen die worden gebruikt om het daadwerkelijke elektriciteitsnet te ontwerpen, zijn echter zeer zwaar en traag. Ze kunnen niet 180 jaar aan data tegelijk verwerken; ze kunnen slechts een handjevol verwerken, misschien 5 of 30 jaar.

De grote vraag is: Welke specifieke jaren moeten we kiezen?

Als je de verkeerde jaren kiest, bouw je misschien een net dat uitstekend werkt in een milde zomer, maar instort tijdens een koude, windstille winter. Als je de verkeerde jaren kiest, kun je miljarden dollars verspillen aan de verkeerde infrastructuur.

Het probleem met huidige methoden

Op dit moment kiezen veel energieplanners jaren nogal willekeurig of door simpelweg naar het "gemiddelde" jaar te kijken. De auteurs van dit artikel zeggen dat dit vergelijkbaar is met het proberen een hele bibliotheek te begrijpen door slechts één willekeurige pagina te lezen. Vaak worden extreme gebeurtenissen gemist (zoals een "Dunkelflaute" – een periode zonder wind en zonder zon) die cruciaal zijn voor de planning.

De oplossing: Een "slimme zoektocht" (Gesimuleerde afkoeling)

De auteurs stellen een nieuwe methode voor die Gesimuleerde Afkoeling (Simulated Annealing) heet.

De Analogie:
Stel je voor dat je in een uitgestrekt, mistig berglandschap staat en je wilt de absolute laagste vallei vinden (de beste set van jaren).

• Willekeurige zoektocht is als het gooien van een dartpijl op een kaart en daarheen lopen. Je kunt geluk hebben, maar je mist waarschijnlijk de diepste vallei.
• K-Medoids (de oude standaard) is als het groeperen van de bergen in clusters en het kiezen van het centrum van elke groep. Het is acceptabel, maar het mist mogelijk de specifieke vorm van het terrein.
• Gesimuleerde Afkoeling is als een wandelaar die slim is, maar ook bereid is risico's te nemen.
  • De wandelaar begint op een willekeurige plek.
  • Ze kijken om zich heen. Als ze een lagere plek vinden, verplaatsen ze zich daarheen.
  • Cruciaal: Soms zetten ze een stap bergopwaarts (een slechtere plek), gewoon om te zien of er aan de andere kant van die heuvel een nog diepere vallei ligt.
  • Naarmate de "tocht" vordert, worden ze minder bereid om die risicovolle stappen bergopwaarts te nemen en beginnen ze zich te focussen op het vinden van de absolute bodem.
  • Dit voorkomt dat ze vast komen te zitten in een kleine, ondiepe kuil (een lokaal minimum) en de echt laagste punt (het globale minimum) missen.

Hoe ze "goedheid" meten

Hoe weten ze of hun gekozen 5 of 30 jaar eigenlijk goed zijn? Ze gebruiken een wiskundig hulpmiddel dat de Seizoensgebonden Gesneden Wasserstein-afstand (Seasonal Sliced Wasserstein Distance) heet.

De Analogie:
Stel je voor dat de 180 jaar aan weerdata een gigantische, complexe smoothie is gemaakt van vele ingrediënten (wind, zon, temperatuur, elektriciteitsvraag).

• Een simpel gemiddelde controleert misschien alleen of het totale aantal aardbeien goed is.
• Dit nieuwe hulpmiddel controleert:
  1. De Ingrediënten: Is de juiste hoeveelheid wind en zon aanwezig?
  2. Het Mengsel: Meng de ingrediënten correct? (Bijvoorbeeld: gebeurt hoge wind meestal met weinig zon? Of gebeuren ze samen?)
  3. Het Tijdstip: Is het mengsel goed voor winter en zomer apart? (Een windige zomer is geweldig, maar een windige winter is nog beter voor verwarming. Als je jaren kiest die windig zijn in de zomer maar kalm in de winter, faal je de test).

Het hulpmiddel berekent een "score" van hoe verschillend je kleine smoothie (de geselecteerde jaren) is van de gigantische smoothie (alle 180 jaren). Hoe lager de score, hoe beter de overeenkomst.

Wat ze vonden

De onderzoekers testten hun "slimme zoektocht"-methode tegen willekeurig gissen, gefilterd gissen en de oude clustering-methode in drie scenario's:

1. Alleen Nederland (30 jaar).
2. Heel Europa (30 jaar).
3. Heel Europa (5 jaar).

De Resultaten:

• De Winnaar: De "slimme zoektocht" (Gesimuleerde Afkoeling) vond consequent de beste sets van jaren.
• De Magische Vermenigvuldiger: Toen ze met deze methode slechts 30 jaar kozen, waren die 30 jaar zo representatief dat ze fungeerden als 130 tot 140 jaar aan data. Ze haalden 4 tot 5 keer meer "waarde" uit de data dan ze fysiek hadden.
• Beter dan Huidige Praktijk: De methode die ze gebruikten is 2,5 tot 3,5 keer beter dan de huidige standaard die door grote Europese energieorganisaties (ENTSO-E) wordt gebruikt.
• Consistentie: In tegenstelling tot andere methoden die zwaar vertrouwen op "geluk" (een goed resultaat krijgen puur door toeval), werkt deze methode betrouwbaar elke keer als je deze uitvoert.

De Conclusie

Dit artikel zegt niet alleen "kies betere jaren". Het biedt een specifiek, wiskundig bewezen recept (Gesimuleerde Afkoeling + een specifieke scoretool) om ervoor te zorgen dat wanneer energiebedrijven het net voor de toekomst bouwen, ze niet gokken op een gelukkig glijdend. Ze gebruiken een klein, zorgvuldig geselecteerd monster dat perfect de complexe, chaotische realiteit van het volledige klimaat weerspiegelt.

Een laatste opmerking over het "Jaar": Het artikel suggereert ook een "jaar" te definiëren van 1 april tot 31 maart (in plaats van januari tot december). Waarom? Omdat dit de winter bij elkaar houdt in één blok. Aangezien de winter de meest stressvolle tijd is voor het elektriciteitsnet (verwarming + minder zon), zou het splitsen van de winter over twee kalenderjaren de data breken en het moeilijker maken om te plannen voor die kritieke koude pieken.

Technische samenvatting

Technische Samenvatting: De Kloof tussen Klimaat- en Energiedata Overbruggen via Gesimuleerde Temperen

Probleemstelling
Energiesysteemmodellen zijn steeds meer afhankelijk van nauwkeurige klimaatinput om te plannen voor weerafhankelijke hernieuwbare bronnen. Er bestaat echter een fundamentele mismatch tussen klimaatwetenschap en energiesysteemmodellering. Klimaatwetenschap maakt gebruik van grote ensemble's (honderden tot duizenden gesimuleerde jaren) om de volledige verdeling van mogelijke uitkomsten, inclusief extremen, te vangen. Omgekeerd kunnen computationally demanding krachtsysteemmodellen (die eenheidswachtrij, netwerkbegrenzingen en marktdynamiek op uurlijkse resolutie behandelen) doorgaans slechts een handvol jaren verwerken (1–30).

Huidige praktijken voor het selecteren van deze representatieve jaren, zoals die door ENTSO-E worden gebruikt in de Europese Toereikendheidsevaluatie van Bronnen (ERAA), vertrouwen vaak op niet-gevalideerde methoden zoals willekeurige selectie, pseudo-willekeurige selectie rond een doelperiode of K-Medoids-clustering. Deze benaderingen missen expliciete representativiteitscriteria, wat het risico op bevooroordeelde investeringsbeslissingen met zich meebrengt en energiesystemen onvoorbereid laat op plausibele weersomstandigheden die door een slechte methodologie worden uitgesloten. De selectie van een kleine subset uit een groot ensemble is een combinatorisch probleem met een "combinatorische explosie" van mogelijkheden (bijvoorbeeld het selecteren van 30 jaar uit 180 resulteert in $\approx 1.3 \times 10^{34}$ combinaties), waardoor een exhaustieve zoektocht onuitvoerbaar is.

Methodologie
Deze studie stelt Gesimuleerd Temperen (SA) voor als optimalisatiemethode om representatieve subsets van volledige klimaatjaren uit grote ensemble's te selecteren. De aanpak wordt geëvalueerd tegenover drie alternatieve methoden: Willekeurig Zoeken (RS), Gefilterd Willekeurig Zoeken (FRS) en K-Medoids-clustering.

• Data Bron: De studie maakt gebruik van de Pan-Europese Klimaatdatabase (PECD), specifiek 180 klimaatjaren (6 CMIP6-modellen × 30 jaar onder het SSP2-4.5-scenario, 2016–2045).
• Variabelen: De selectie wordt uitgevoerd op afgeleide energie-impactvariabelen in plaats van ruwe meteorologische velden om niet-lineariteiten te compenseren. Deze omvatten productie van offshore/onshore wind, zonne-energieproductie, diverse types waterkracht, elektriciteitsvraag en residuallast, geaggregeerd tot daggemiddelden op nationaal niveau (NUTS0).
• Kostfunctie (Representativiteitsmetriek): De studie hanteert de Seizoensgebonden Gesneden Wasserstein-afstand (SSWD).
  • Wasserstein-afstand: Een optimal transport-metriek die de "arbeid" kwantificeert om één kansverdeling in een andere te transformeren, en gezamenlijke afhankelijkheidsstructuren en correlaties tussen variabelen vastlegt.
  • Gesneden Benadering: Om hoogdimensionale data efficiënt te verwerken, worden de multivariate data geprojecteerd op willekeurige 1D-lijnen, waarna de 1D-Wasserstein-afstand wordt berekend en gemiddeld.
  • Seizoensgebonden Uitbreiding: Om seizoensgebonden vertekeningen te voorkomen (bijvoorbeeld een winderige zomer die een windarme winter compenseert), wordt de dataset opgesplitst in extended winter (okt–mrt) en zomer (apr–sep). De SSWD wordt gedefinieerd als het maximum van de twee seizoensgebonden afstanden, zodat beide seizoenen adequaat worden vertegenwoordigd.
• Algoritmen:
  • Gesimuleerd Temperen: Een stochastisch optimalisatiealgoritme dat iteratief jaren in een kandidaat-subset verwisselt en slechtere oplossingen accepteert met een afnemende waarschijnlijkheid om lokale minima te ontvluchten.
  • K-Medoids: Groepeert jaren en selecteert het meest centrale lid (medoïde) van elke cluster.
  • Gefilterd Willekeurig Zoeken: Past goedkope pre-filters toe (middelenverschil en energie-afstand) om slechte kandidaten te verwerpen voordat de dure SSWD wordt berekend.
• *Experimenteel Ontwerp: Drie casestudies werden uitgevoerd: (1) 30 jaar voor Nederland, (2) 30 jaar voor Europa, en (3) 5 jaar voor Europa. Elke methode werd 25 keer uitgevoerd om consistentie te beoordelen aan de hand van "geluk" en "fragiliteit"-factoren.

Belangrijkste Resultaten
In alle drie de casestudies produceerde Gesimuleerd Temperen consequent de meest representatieve subsets:

• Prestatie: SA behaalde de laagste SSWD-scores in alle gevallen. In het 30-jarige Europese geval was de SA-subset ongeveer 2,5–3,5 keer meer representatief dan de huidige ENTSO-E-praktijk (ERAA25), ondanks dat laatstgenoemde 36 jaar gebruikt in plaats van de 30 van SA.
• Effectieve Steekproefgrootte: De door SA geselecteerde subsets bereikten een "effectieve steekproefgrootte" die vier tot vijf keer zo groot was als hun werkelijke omvang. Bijvoorbeeld, de beste 30-jarige SA-subset voor Nederland was statistisch equivalent aan een willekeurige trekking van gemiddelde kwaliteit van 140 jaar.
• Consistentie: SA vertoonde lage "geluk"- en "fragiliteit"-factoren, wat wijst op stabiele prestaties ongeacht de beginvoorwaarden. Gefilterd Willekeurig Zoeken daarentegen presteerde goed in scenario's met één trekking, maar degradeerde aanzienlijk in hoogdimensionale (Europese) gevallen, waarbij het vaak slechter presteerde dan puur willekeurig zoeken als gevolg van te restrictieve pre-filtering.
• Vergelijking: K-Medoids eindigde consequent op de tweede plaats, maar optimaliseerde niet direct voor de representativiteit van de gezamenlijke verdeling op dezelfde manier als SA.

Betekenis en Claims
Het artikel beweert dat de voorgestelde SA+SSWD-aanpak de kloof overbrugt tussen klimaatwetenschap (grote ensemble's) en energiesysteemmodellering (kleine subsets) door een gevalideerde, applicatie-onafhankelijke methode voor de selectie van klimaatjaren te bieden.

• Objectieve Kwantificering: De studie betoogt dat representativiteit objectief moet worden gekwantificeerd en geoptimaliseerd in plaats van te vertrouwen op conventie of niet-gevalideerde willekeurige trekkingen.
• Robuustheid: Door de inputdataset voor energiespecifieke verwerking te optimaliseren (een bottom-up-benadering), zorgt de methode ervoor dat de brondata die elke energiestudie binnenkomt, gevalideerd is op klimaatvariabiliteit. Dit voorkomt dat downstream-modellen bevooroordeeld worden door niet-representatieve startpunten.
• Algemene Toepasbaarheid: De methodologie is niet beperkt tot energiesysteemmodellering; deze is toepasbaar op elk domein dat de selectie vereist van representatieve volledige periodes uit grote datasets, waaronder windopbrengstevaluaties, gebouwenergiesimulaties, hydrologische studies en modellering van landbouwimpact.
• Praktische Aanbevelingen: De auteurs raden aan Gesimuleerd Temperen te gebruiken met de SSWD-metriek, meerdere iteraties uit te voeren om near-optimale resultaten te garanderen, en klimaatjaren te definiëren als hydrologische jaren (1 april–31 maart) om stressgebeurtenissen rond de winterbronnenadequaatheid te behouden.

De studie concludeert dat, hoewel SA geen globaal optimum garandeert (vanwege de onuitvoerbaarheid van brute-force evaluatie), de consistente prestaties over meerdere runs en het vermogen om huidige industriële praktijken aanzienlijk te overtreffen, SA een superieure standaard maken voor het selecteren van representatieve klimaatjaren.