State Representation Matters in Deep Reinforcement Learning: Application to Energy Trading

Technische Samenvatting: De betekenis van de staat-representatie in Deep Reinforcement Learning voor de handel in energie

Probleemformulering
Energiehandel voor gepompte waterstofopslag is een sequentieel besluitvormingsprobleem onder onzekerheid. Een agent moet per uur beslissen of er water wordt gepompt (energie verbruiken), water wordt vrijgelaten (energie opwekken) of dat de status ongewijzigd blijft, gebaseerd op de huidige reservoirniveaus en marktinformatie. Het doel is om de omzet te maximaliseren door prijsverschillen tussen pomp- en opwekuren te exploiteren. Hoewel Reinforcement Learning (RL) een natuurlijke match is voor deze setting, is de kwaliteit van het geleerde beleid sterk afhankelijk van de staat-representatie (state representation) die aan de agent wordt verstrekt. Dit artikel onderzoekt hoe verschillende families van marktkenmerken—specifiek absolute, relatieve en forecast-kenmerken—de prestaties en generalisatie van model-vrije Deep RL-agents beïnvloeden wanneer marktomstandigheden verschuiven (bijv. veranderingen in prijsniveaus, volatiliteit of geografische locatie).

Methodologie
De auteurs maken gebruik van HydroDam, een gecontroleerde omgeving die een pompstation voor waterstofopslag simuleert met vaste fysieke beperkingen (capaciteit, efficiëntie, debiet) en een vaste actieruimte (pompen, vasthouden, vrijgeven met maximale snelheid). De beloningsfunctie wordt gedefinieerd als de directe handelsomzet, waarbij rekening wordt gehouden met positieve en negatieve elektriciteitsprijzen.

Om de impact van de staat-representatie te isoleren, maakt de studie gebruik van een gecontroleerde ablatie-studie met een vaste Double DQN (DDQN) architectuur en trainingsprotocol. De enige variabele die over de experimenten heen wordt gewijzigd, zijn de input-kenmerken van de staat. De geteste kenmerkfamilies zijn:

1. Absolute Kenmerken: Genormaliseerde huidige prijzen, log-getransformeerde prijzen en kalender-encodings (sinus/cosinus voor uur/dag, weekend-indicatoren).
2. Relatieve Kenmerken: Kenmerken die de huidige prijzen vergelijken met de recente historie, inclusief 24u/168u z-scores, voortschrijdende prijs-scores (op basis van kwantielen), relatieve kalenderkenmerken en technische indicatoren (RSI, Bollingerbanden, voortschrijdende gemiddelden).
3. Forecast Kenmerken: Een 24-uurs prijsvoorspelling gegenereerd door een ensemble van vijf LightGBM-modellen, inclusief toekomstige prijs z-scores en ensemble-onzekerheidsschattingen.

Experimentele Opzet

• Data: Trainings- en validatiedata bestaan uit Belgische dag-vooraf prijzen (day-ahead prices) van 2007–2011.
• Evaluatie:
  • Same-Market Test: Prestaties worden geëvalueerd op Belgische data van 2012–2025, een periode met aanzienlijk hogere volatiliteit, negatieve prijzen en de energiecrisis van 2021–2022.
  • Cross-Zone Test: Vaste policies worden geëvalueerd op 39 andere ENTSO-E biedzones om zero-shot transfer over verschillende marktregimes te testen.
• Baselines: Een heuristiek op basis van voortschrijdende prijs-scores (kopen wanneer prijzen laag zijn ten opzichte van recente percentielen, verkopen wanneer ze hoog zijn) dient als een sterke, niet-RL baseline. Optimale winst wordt berekend via dynamisch programmeren met perfecte kennis vooraf (perfect foresight) om resultaten te normaliseren als een percentage van de theoretische maximale winst.

Belangrijkste Bijdragen

1. Gecontroleerde Testomgeving: Het artikel formuleert HydroDam als een specifieke testomgeving om de staat-representatie in model-vrije deep RL voor de handel in energie te bestuderen, waarbij de omgeving en het algoritme constant blijven.
2. Kenmerk-ablatie: Het vergelijkt systematisch absolute, relatieve en forecast staat-representaties, waarbij de individuele en gecombineerde effecten ervan worden geïsoleerd.
3. Generalisatie-analyse: Het evalueert policies op onbekende tijdperioden en onbekende geografische markten, wat aantoont dat de staat-representatie een cruciale factor is in de overdraagbaarheid, en niet slechts een detail in de voorbewerking.

Resultaten
De studie laat zien dat de staat-representatie de waargenomen effectiviteit van de RL-agent drastisch verandert:

• Absolute Kenmerken: Behaalden de hoogste validatieprestaties (78,9% van de optimale winst) maar leden onder ernstige overfitting, waarbij ze zakten naar 28,8% op de same-market testset en een mediaan van 5,7% over de cross-zones.
• Relatieve & Forecast Kenmerken (Individueel): Beiden presteerden geïsoleerd gezien slecht. Alleen op relatieve kenmerken gebaseerde policies bereikten slechts 10,3% op de testset, en alleen op forecast-kenmerken gebaseerde policies bereikten 33,4%; beiden faalden om de eenvoudige voortschrijdende prijs-score heuristiek consistent te verslaan in de cross-zone medianen.
• Gecombineerde Kenmerken: Het combineren van kenmerkfamilies leverde significant robuustere resultaten op.
  • Absolute + Relatieve: Bereikte 49,9% op de testset en een 39,8% cross-zone mediaan.
  • Absolute + Relatieve + Forecast: Behaalde de sterkste prestaties, met 55,6% op de testset en een 47,5% mediaan over 39 zones. Dit volledige model presteerde beter dan de heuristiek in 38,2 van de 39 zones op gemiddeld niveau.

Betekenis en Claims
Het artikel stelt dat in de handel in energieopslag de staat-representatie een centraal onderdeel is van het policy-ontwerp, en geen minder belangrijke keuze in de voorbewerking. De resultaten suggereren dat:

• Het vertrouwen op een enkele kenmerkfamilie leidt tot slechte generalisatie wanneer marktregimes verschuiven (bijv. van een rustige historische periode naar crisistijden met negatieve prijzen).
• Robuuste transfer vereist een hybride staat-representatie die de volgende zaken combineert:
  1. Prijsschaal (absolute kenmerken) om de omvang van kansen te begrijpen.
  2. Recente relatieve context om zich aan te passen aan veranderende prijsniveaus.
  3. Forecast-informatie op korte termijn om toekomstige condities te anticiperen.
• Hoewel de gecombineerde aanpak de prestaties aanzienlijk verbetert, lost het niet elk marktscenario op (bijv. Noordse zones met lage intra-day spreads blijven uitdagend), wat aangeeft dat staat-ontwerp noodzakelijk maar niet voldoende is voor universeel succes.

De auteurs concluderen dat voor model-vrije RL in de handel in energie, agents gelijktijdige toegang nodig hebben tot prijsschaal, relatieve positie en forecast-informatie om effectief te blijven onder veranderende marktomstandigheden.