State Representation Matters in Deep Reinforcement Learning: Application to Energy Trading

Sintesi Tecnica: L'importanza della Rappresentazione dello Stato nel Deep Reinforcement Learning per il Trading Energetico

Formulazione del Problema
Il trading energetico per l'idroelettrico a pompaggio è un problema di decision-making sequenziale sotto incertezza. Un agente deve decidere ogni ora se pompare acqua (consumare energia), rilasciare acqua (generare energia) o mantenere la posizione, basandosi sui livelli attuali del serbatoio e sulle informazioni di mercato. L'obiettivo è massimizzare i ricavi sfruttando le differenze di prezzo tra le ore di pompaggio e quelle di generazione. Poiché il Reinforcement Learning (RL) è una scelta naturale per questo scenario, la qualità della policy appresa dipende fortemente dalla rappresentazione dello stato fornita all'agente. Il paper investiga come diverse famiglie di feature di mercato — specificamente feature assolute, relative e di previsione (forecast) — influenzino le prestazioni e la generalizzazione degli agenti di Deep RL model-free quando le condizioni di mercato cambiano (ad esempio, cambiamenti nei livelli di prezzo, nella volatilità o nella posizione geografica).

Metodologia
Gli autori utilizzano HydroDam, un ambiente controllato che simula un impianto idroelettrico a pompaggio con vincoli fisici fissi (capacità, efficienza, portate) e uno spazio di azione fisso (pompare, mantenere, rilasciare alla massima portata). La funzione di reward è definita come il ricavo immediato dal trading, tenendo conto dei prezzi elettrici positivi e negativi.

Per isolare l'impatto della rappresentazione dello stato, lo studio impiega uno studio di ablazione controllato utilizzando un'architettura e un protocollo di addestramento Double DQN (DDQN) fissi. L'unica variabile modificata tra gli esperimenti è l'input delle feature dello stato. Le famiglie di feature testate sono:

1. Feature Assolute: Prezzi correnti normalizzati, prezzi trasformati in scala logaritmica e codifiche del calendario (seno/coseno per ora/giorno, indicatori di weekend).
2. Feature Relative: Feature che confrontano i prezzi correnti con la storia recente, inclusi z-score a 24h/168h, score di prezzo rolling (basati sui quantili), feature del calendario relative e indicatori tecnici (RSI, Bande di Bollinger, medie mobili).
3. Feature di Previsione (Forecast): Una previsione del prezzo a 24 ore generata da un ensemble di cinque modelli LightGBM, che include z-score dei prezzi futuri e stime di incertezza dell'ensemble.

Configurazione Sperimentale

• Dati: I dati di addestramento e validazione consistono nei prezzi day-ahead belgi del periodo 2007–2011.
• Valutazione:
  • Test sullo Stesso Mercato: Le prestazioni sono valutate su dati belgi del periodo 2012–2025, un periodo caratterizzato da una volatilità significativamente più alta, prezzi negativi e la crisi energetica del 2021–2022.
  • Test Cross-Zone: Policy fisse vengono valutate su altri 39 zone di offerta ENTSO-E per testare il trasferimento zero-shot attraverso diversi regimi di mercato.
• Baseline: Un euristica basata sul price-score rolling (comprare quando i prezzi sono bassi rispetto ai percentili recenti, vendere quando sono alti) funge da forte baseline non-RL. Il profitto ottimale è calcolato tramite programmazione dinamica con perfetta conoscenza del futuro per normalizzare i risultati come percentuale del massimo teorico.

Contributi Chiave

1. Testbed Controllato: Il paper formula HydroDam come un testbed specifico per studiare la rappresentazione dello stato nel deep RL model-free per il trading energetico, mantenendo fissi l'ambiente e l'algoritmo.
2. Ablazione delle Feature: Confronta sistematicamente le rappresentazioni dello stato assolute, relative e di previsione, isolando i loro effetti individuali e combinati sulla performance della policy.
3. Analisi della Generalizzazione: Valuta le policy su periodi temporali non visti e su mercati geografici non visti, dimostrando che la rappresentazione dello stato è un fattore critico per la trasferibilità, e non un semplice dettaglio di pre-processing.

Risultati
Lo studio rivela che la rappresentazione dello stato altera drasticamente l'efficacia percepita dell'agente RL:

• Feature Assolute: Hanno ottenuto la performance di validazione più alta (78,9% del profitto ottimale) ma hanno subito un grave overfitting, scendendo al 28,8% nel test set dello stesso mercato e a una mediana del 5,7% attraverso le cross-zone.
• Feature Relative & di Previsione (Singole): Entrambe si sono comportate male in isolamento. Le policy basate solo su feature relative hanno raggiunto solo il 10,3% nel test set, e le policy basate solo su forecast il 33,4%, fallendo entrambi nel superare costantemente l'euristica del price-score rolling nelle mediane cross-zone.
• Feature Combinate: La combinazione delle famiglie di feature ha prodotto risultati significativamente più robusti.
  • Assoluta + Relativa: Ha raggiunto il 49,9% nel test set e una mediana cross-zone del 39,8%.
  • Assoluta + Relativa + Previsione: Ha ottenuto la performance più forte, raggiungendo il 55,6% nel test set e una mediana del 47,5% attraverso 39 zone. Questo modello completo ha superato l'euristica in 38,2 zone su 39 in media.

Significato e Rivendicazioni
Il paper sostiene che nel trading di accumulo energetico, la rappresentazione dello stato è una parte centrale della progettazione della policy, non una scelta minore di pre-processing. I risultati suggeriscono che:

• Affidarsi a una singola famiglia di feature porta a una scarsa generalizzazione quando i regimi di mercato cambiano (ad esempio, dal periodo storico calmo ai periodi di crisi con prezzi negativi).
• Il trasferimento robusto richiede una rappresentazione dello stato ibrida che combini:
  1. La scala del prezzo (feature assolute) per comprendere l'entità delle opportunità.
  2. Il contesto relativo recente per adattarsi ai cambiamenti dei livelli di prezzo.
  3. Informazioni di previsione a breve termine per anticipare le condizioni future.
• Sebbene l'approccio combinato migliori significativamente le prestazioni, non risolve ogni setting di mercato (ad esempio, le zone nordiche con bassi spread intra-day rimangono impegnative), indicando che il design dello stato è necessario ma non sufficiente per un successo universale.

Gli autori concludono che per il RL model-free nel trading energetico, gli agenti necessitano di accesso simultaneo alla scala del prezzo, alla posizione relativa e alle informazioni di previsione per mantenere l'efficacia sotto condizioni di mercato mutevoli.