Understanding electricity consumption behaviour through Inverse Reinforcement Learning

Technische Samenvatting: Het begrijpen van elektriciteitsconsumptiegedrag via Inverse Reinforcement Learning

Probleemstelling
Residentieel elektriciteitsverbruik is een kritieke component van de wereldwijde energievraag, met name wat betreft ruimtekoeling, die toeneemt als gevolg van klimaatverandering en geopolitieke energiecrises. Een belangrijke uitdaging bij het ontwerpen van energiebeleid is het begrijpen van hoe huishoudens reageren op sociaaleconomische en klimatologische schokken (bijv. prijsschokken en hittegolven). Bestaande benaderingen vereenvoudigen consumentengedrag vaak te veel door te vertrouwen op gestileerde "white box"-modellen die een gebrek aan granulariteit vertonen, of op machine learning-methoden die zich richten op beperkte subpopulaties, waardoor de generaliseerbaarheid wordt belemmerd. Bovendien ontbreekt in de huidige literatuur een kwantitatief begrip van hoe koelgedrag evolueert onder gecombineerde thermische en sociaaleconomische stress, met name op subdagelijkse tijdsresoluties. Het kernprobleid is hoe het verbruik van huishoudens op grote schaal kan worden gemodelleerd voor brede consumentengroepen, terwijl oversimplificatie wordt vermeden, interpreteerbaarheid behouden blijft en niet-lineaire, heterogene reacties op schokken worden gevangen.

Methodologie
De auteurs stellen een raamwerk voor op basis van Adversarial Inverse Reinforcement Learning (AIRL) om beloningsfuncties (reward functions) af te leiden die het elektriciteitsverbruik van huishoudens vertegenwoordigen. De methodologie verloopt via drie hoofdfasen:

1. Data Preprocessing en Clustering:

   • Databron: Per uur gemeten slimme metergegevens van Italiaanse huishoudens (mei–juli 2021–2023), die de pre-crisis, crisis en post-crisis perioden beslaan.
   • Contextvariabelen: Statische/quasi-statische variabelen (inkomen, verstedelijking, bouwjaar, geschatte airconditioningbezit, Green View Index, gefactureerde energieprijs) en dynamische variabelen (UTCI thermische stressindex, consumptieprofielen).
   • Clustering: Om heterogeniteit aan te pakken, gebruiken de auteurs een clustering-pipeline. Statische variabelen worden gestandaardiseerd, terwijl dynamische tijdreeksgegevens (consumptie en UTCI) worden verwerkt met behulp van Echo State Networks (ESN's) en Tensor PCA om laagdimensionale embeddings te extraheren die de temporele dynamiek behouden. Deze worden geconcateneerd (50% gewicht elk) en geclusterd met behulp van agglomeratieve hiërarchische clustering (Ward linkage).
   • Selectie: Er werden 11 clusters geïdentificeerd. Voor gedetailleerde analyse werden vier representatieve clusters geselecteerd: hoog verbruik, stedelijk intermediair verbruik, stedelijk laag verbruik en landelijk laag verbruik.

2. Adversarial Inverse Reinforcement Learning (AIRL):

   • Formulering: Huishoudens worden behandeld als agenten in een Markov Decision Process (MDP). De staat $s$ bevat contextvariabelen (UTCI, tijdstip, dagtype, voortschrijdende gemiddelden) en de actie $a$ wordt gedefinieerd als het eerste-orde verschil in verbruik ($e_{t+1} - e_t$).
   • Algoritme: Een AIRL-algoritme (specifiek gebruikmakend van Proximal Policy Optimization voor de generator) wordt voor elk cluster getraind. Het systeem bestaat uit een generator-policy en een discriminator (beloningsnetwerk).
   • Beloningsontkoppeling (Reward Disentanglement): De beloningsfunctie $r(s, a)$ wordt gedecomposeerd in een basis-term $f_\phi(s, a)$ en een potentieel-gebaseerde vormvormings-term $\Phi_\psi(s)$. Deze structuur zorgt ervoor dat de geëxtraheerde beloning is ontkoppeld van de omgevingsdynamiek, wat transfereerbaarheid naar veranderende omstandigheden (bijv. van 2021 naar 2023) mogelijk maakt.
   • Training: Het model wordt getraind om de waarschijnlijkheid te maximaliseren dat de generator als een expert (de echte data) wordt geclassificeerd. Hyperparameters worden geoptimaliseerd via Bayesiaanse optimalisatie om een Combined Metric (CM) te minimaliseren die de distributie-gelijkenis, consumptiefout en temporele correlatie in evenwicht brengt.

3. Gedragsanalyse:

   • Zodra getraind, worden de beloningsnetwerken geïnterrogreerd om inzichten in het gedrag te verkrijgen.
   • Optimaal Verbruik: Op basis van de geleerde beloning wordt een softmax-distributie over de consumptiewaarden geconstrueerd om de "optimale" consumptiestaten te visualiseren die agenten zouden kiezen onder verschillende thermische stressniveaus.
   • Vergelijking: Deze door het model geïmpliceerde optimale curves worden vergeleken met het empirische gemiddelde verbruik om verschuivingen in gedrag te identificeren (persistent, transient of verwaarloosbaar).
   • Sub-clustering: Om intraday heterogeniteit te onderzoeken, werd de hoog-consumptie cluster verder gesub-geclusterd op basis van consumptietiming (middag-hoog versus avond-hoog) om het effect van dagelijkse activiteitspatronen te isoleren.

Belangrijkste Resultaten
De studie analyseerde Italiaanse huishoudengegevens tijdens de zomers van 2021, 2022 en 2023, die de energiecrisis en een hevige hittegolf in 2022 omvatten.

• Heterogene Reacties op Schokken: De beloningsfuncties toonden aan dat schokken het koelgedrag verschillend hebben gevormd voor diverse groepen:

  • Hoog-consumptie Cluster: Vertoonde een persistente verschuiving. Hoewel zij in 2021 sterk reageerden op temperatuur, leidde de crisis van 2022 tot een duurzame reductie in verbruik die in 2023 niet volledig herstelde.
  • Stedelijk Intermediair-consumptie Cluster: Toonde een transiënte verschuiving. Zij versterkten hun reactie op hitte in 2022, maar keerden in 2023 grotendeels terug naar de trends van 2021 toen de omstandigheden versoepelden.
  • Landelijk Laag-consumptie Cluster: Toonde een structurele, trage verschrijving. Aanvankelijk vlak, ontwikkelden zij in 2022 een meer temperatuur-responsief gedrag dat in 2023 consolideerde, wat wijst op een latent potentieel voor de adoptie van koeling.
  • Stedelijk Laag-consumptie Cluster: Vertoonde verwaarloosbare verandering en bleef de minst responsieve groep, waarschijnlijk beperkt door de gebouwde omgeving en budget.

• Intraday Heterogeniteit: Het sub-clusteren van de hoog-consumptie groep op basis van timing onthulde onderscheidende gedragingen:

  • Middag-Hoog: Gebruikers met een hoger airconditioningbezit en dagelijkse activiteiten verminderden hun verbruik aanzienlijk tijdens de piek van de 2022-crisis.
  • Avond-Hoog: Gebruikers met avondpieken waren minder geneigd tot korte-termijnverandering; zij behielden hoge UTCI-reacties in 2022 voordat zij in 2023 convergeerden naar het gedrag van de middaggroep.
  • Dit geeft aan dat time-of-use een aparte dimensie van gedragsheterogeniteit is, onafhankelijk van de sociaaleconomische status.

Betekenis en Claims
Het artikel claimt drie primaire bijdragen aan de literatuur:

1. Methodologische Innovatie: Het introduceert een AIRL-raamwerk om belonings-geïmpliceerde gedragsresponsoppervlakken af te leiden uit grootschalige slimme metergegevens. In tegenstelling tot traditionele empirische correlaties, stelt deze benadering huishoudens voor als agenten wiens verbruik wordt gevormd door een ontkoppelde beloningsfunctie, waarbij niet-lineaire interacties tussen thermische, sociaaleconomische en temporele contexten worden gevangen.
2. Empirisch Inzicht in Crisisdynamiek: Door het AIRL-raamwerk toe te passen op de Italiaanse energiecrisis van 2021–2023, kwantificeert de studie hoe koelgedrag verandert onder gelijktijdige thermische en sociaaleconomische stress. Het maakt onderscheid tussen transiënte aanpassingen en duurzame verschuivingen, wat een granulair beeld geeft van hoe verschillende consumentengroepen zich aanpassen (of niet aanpassen) aan extreme omstandigheden.
3. Onthullen van Verborgen Heterogeniteit: De studie toont aan dat er gedragsverschillen bestaan, zelfs binnen groepen die in sociaaleconomische en omgevingsaspecten vergelijkbaar lijken. Specifiek identificeert het de timing van consumptie (intraday patronen) als een cruciale factor die beïnvloedt hoe huishoudens op schokken reageren, een dimensie die vaak over het hoofd wordt gezien in geaggregeerde analyses.

Beperkingen en Toekomstig Werk
De auteurs erkennen beperkingen met betrekking tot de granulariteit van de contextvariabelen (bijv. inkomen en verstedelijking zijn geaggregeerd op gemeentelijk/postcode niveau) en de gedeeltelijke identificeerbaarheid van de beloningsfunctie (absolute schalen zijn niet intrinsiek). Zij suggereren dat toekomstig werk hogere-resolutie sociaaleconomische data kan integreren, LSTM-architecturen kan gebruiken voor betere reproductie van intraday trends, en hogere-orde partiële afgeleiden van de beloningsfunctie kan verkennen. De studie merkt ook op dat specifieke contractwijzigingen en energiearmoede-profielen niet expliciet zijn gemodelleerd, wat deze als gebieden voor toekomstige integratie suggereert.