Understanding electricity consumption behaviour through Inverse Reinforcement Learning

Sintesi Tecnica: Comprendere il comportamento di consumo elettrico attraverso l'Apprendimento per Rinforzo Inverso

Definizione del Problema
Il consumo residenziale di elettricità è una componente critica della domanda energetica globale, particolarmente per quanto riguarda il raffrescamento degli spazi, che sta aumentando a causa del cambiamento climatico e delle crisi energetiche geopolitiche. Una sfida significativa nella progettazione delle politiche energetiche è comprendere come le famiglie rispondano agli shock socioeconomici e climatici (ad esempio, picchi di prezzo e ondate di calore). Gli approcci esistenti spesso semplificano eccessivamente il comportamento dei consumatori, affidandosi a modelli "white box" stilizzati che mancano di granularità, o a metodi di machine learning che si concentrano su sottogruppi limitati, ostacolandone la generalizzabilità. Inoltre, la letteratura attuale manca di una comprensione quantitativa di come i comportamenti di raffrescamento si evolvano sotto stress termico e socioeconomico combinato, in particolare a risoluzioni temporali sub-giornaliere. Il problema centrale è come modellare il consumo domestico su larga scala per ampi gruppi di consumatori evitando la semplificazione eccessiva, mantenendo l'interpretabilità e catturando le risposte non lineari ed eterogenee agli shock.

Metodologia
Gli autori propongono un framework basato sull'Apprendimento per Rinforzo Inverso Avversario (AIRL) per inferire le funzioni di ricompensa che rappresentano il comportamento di consumo domestico. La metodologia procede attraverso tre fasi principali:

1. Pre-elaborazione dei Dati e Clustering:

   • Fonte dei Dati: Dati orari di contatori intelligenti da famiglie italiane (maggio–luglio 2021–2023), che coprono i periodi pre-crisi, di crisi e post-crisi.
   • Variabili di Contesto: Variabili statiche/quasi-statiche (reddito, urbanizzazione, età dell'edificio, possesso stimato di AC, Indice di Green View, prezzo dell'energia fatturata) e variabili dinamiche (indice di stress termico UTCI, profili di consumo).
   • Clustering: Per gestire l'eterogeneità, gli autori impiegano una pipeline di clustering. Le variabili statiche vengono standardizzate, mentre i dati temporali dinamici (consumo e UTCI) vengono elaborati utilizzando Echo State Networks (ESN) e Tensor PCA per estrarre embedding a bassa dimensionalità che preservino la dinamica temporale. Questi vengono concatenati (peso del 50% ciascuno) e raggruppati tramite clustering gerarchico agglomerativo (legame di Ward).
   • Selezione: Sono stati identificati 11 cluster. Per un'analisi dettagliata, sono stati selezionati quattro cluster rappresentativi: alto consumo, consumo intermedio urbano, basso consumo urbano e basso consumo rurale.

2. Apprendimento per Rinforzo Inverso Avversario (AIRL):

   • Formulazione: Le famiglie sono trattate come agenti in un Processo Decisionale di Markov (MDP). Lo stato $s$ include le variabili di contesto (UTCI, ora del giorno, tipo di giorno, medie mobili) e l'azione $a$ è definita come la differenza del primo ordine nel consumo ($e_{t+1} - e_t$).
   • Algoritmo: Un algoritmo AIRL (specificamente utilizzando l'Ottimizzazione della Politica Prossimale per il generatore) viene addestrato per ogni cluster. Il sistema è composto da una politica generatrice e da un discriminatore (rete di ricompensa).
   • Disaccoppiamento della Ricompensa: La funzione di ricompensa $r(s, a)$ è decomposta in un termine base $f_\phi(s, a)$ e un termine di modellazione basato sul potenziale $\Phi_\psi(s)$. Questa struttura garantisce che la ricompensa estratta sia disaccoppiata dalle dinamiche dell'ambiente, permettendo la trasferibilità attraverso condizioni mutevoli (ad esempio, dal 2021 al 2023).
   • Addestramento: Il modello è addestrato per massimizzare la verosimiglianza che il generatore sia classificato come esperto (i dati reali). Gli iperparametri sono ottimizzati tramite ottimizzazione Bayesiana per minimizzare una Metrica Combinata (CM) che bilancia la somiglianza della distribuzione, l'errore di consumo e la correlazione temporale.

3. Analisi del Comportamento:

   • Una volta addestrate, le reti di ricompensa vengono interrogate per estrarre intuizioni comportamentali.
   • Consumo Ottimale: Viene costruita una distribuzione softmax sui valori di consumo basata sulla ricompensa appresa per visualizzare gli stati di consumo "ottimali" che gli agenti sceglierebbero sotto diversi livelli di stress termico.
   • Confronto: Le curve ottimali implicate dal modello vengono confrontate con il consumo medio empirico per identificare gli spostamenti nel comportamento (persistenti, transitori o trascurabili).
   • Sub-clustering: Per investigare l'eterogeneità intraday, il cluster ad alto consumo è stato ulteriormente suddiviso in sottogruppi basati sulla tempistica del consumo (picco pomeridiano vs. picco serale) per isolare l'effetto dei pattern di attività giornaliera.

Risultati Chiave
Lo studio ha analato i dati delle famiglie italiane durante le estati del 2021, 2022 e 2023, comprendendo la crisi energetica e un'ondata di calore severa nel 2022.

• Risposte Eterogenee agli Shock: Le funzioni di ricompensa hanno rivelato che gli shock hanno rimodellato il comportamento di raffrescamento in modo diverso tra i vari gruppi:

  • Cluster ad Alto Consumo: Ha mostrato uno spostamento persistente. Sebbene abbiano reagito fortemente alla temperatura nel 2021, la crisi del 2022 ha portato a una riduzione duratura del consumo che non è tornata completamente ai livelli del 2021 nel 2023.
  • Cluster a Consumo Intermedio Urbano: Ha mostrato uno spostamento transitorio. Hanno amplificato la loro risposta al calore nel 2022, ma sono tornati in gran parte ai trend del 2021 nel 2023, man mano che le condizioni si attenuavano.
  • Cluster a Basso Consumo Rurale: Ha mostrato uno spostamento strutturale e lento. Inizialmente piatto, hanno sviluppato un comportamento più responsivo alla temperatura nel 2022 che si è consolidato nel 2023, suggerendo un potenziale latente per l'adozione del raffrescamento.
  • Cluster a Basso Consumo Urbano: Ha mostrato un cambiamento trascurabile, rimanendo il gruppo meno reattivo, probabilmente limitato dall'ambiente costruito e dal budget.

• Eterogeneità Intraday: Il sub-clustering del gruppo ad alto consumo in base alla tempistica ha rivelato comportamenti distinti:

  • Picco Pomeridiano: Gli utenti con maggiore possesso di AC e attività diurna hanno ridotto significamente il consumo durante il picco della crisi del 2022.
  • Picco Serale: Gli utenti con picchi serali sono stati più riluttanti al cambiamento nel breve termine, mantenendo risposte ad alto UTCI nel 2022 prima di convergere al comportamento del gruppo pomeridiano nel 2023.
  • Ciò indica che il tempo d'uso è una dimensione separata dell'eterogeneità comportamentale, indipendente dallo status socioeconomico.

Significato e Rivendicazioni
Il documento rivendica tre contributi primari alla letteratura:

1. Innovazione Metodologica: Introduce un framework AIRL per inferire superfici di risposta comportamentale implicata dalla ricompensa partendo da dati di smart meter su larga scala. A differenza delle tradizionali correlazioni empiriche, questo approccio rappresenta le famiglie come agenti il cui consumo è plasmato da una funzione di ricompensa disaccoppiata, catturando le interazioni non lineari tra contesti termici, socioeconomici e temporali.
2. Intuizione Empirica sulle Dinamiche di Crisi: Applicando il framework alla crisi energetica italiana 2021-2023, lo studio quantifica come i comportamenti di raffrescamento cambino sotto stress termico e socioeconomico simultaneo. Distingue tra aggiustamenti transitori e cambiamenti duraturi, fornendo una visione granulare di come diversi gruppi di consumatori si adattano (o non riescono ad adattarsi) a condizioni estreme.
3. Rivelazione dell'Eterogeneità Nascosta: Lo studio dimosta che esistono differenze comportamentali anche all'interno di gruppi che appaiono simili in termini socioeconomici e ambientali. Nello specifico, identifica la tempistica del consumo (pattern intraday) come un fattore critico che influenza il modo in cui le famiglie rispondono agli shock, una dimensione spesso trascurata nelle analisi aggregate.

Limitazioni e Lavori Futuri
Gli autori riconoscono limitazioni riguardanti la granularità delle variabili di contesto (ad esempio, reddito e urbanizzazione sono aggregati a livello comunale/CAP) e la parziale identificabilità della funzione di ricompensa (le scale assolute non sono intrinseche). Suggeriscono che il lavoro futuro potrebbe incorporare dati socioeconomici a risoluzione più elevata, utilizzare architetture Long Short-Term Memory (LSTM) per una migliore riproduzione dei trend intraday e esplorare derivate parziali di ordine superiore della ricompensa. Lo studio nota inoltre che i cambiamenti contrattuali specifici e i profili di povertà energetica non sono stati esplicitamente modellati, suggerendo questi come aree per una futura integrazione.