Understanding electricity consumption behaviour through Inverse Reinforcement Learning

Resumen Técnico: Comprensión del Comportamiento de Consumo Eléctrico mediante Aprendizaje por Refuerzo Inverso

Planteamiento del Problema
El consumo residencial de electricidad es un componente crítico de la demanda energética global, particularmente en lo que respecta a la refrigeración, que está aumentando debido al cambio climático y a las crisis energéticas geopolíticas. Un desafío significativo en el diseño de políticas energéticas es comprender cómo los hogares responden a los choques socioeconómicos y climáticos (por ejemplo, picos de precios y olas de calor). Los enfoques existentes suelen simplificar excesivamente el comportamiento del consumidor, basándose en modelos de "caja blanca" estilizados que carecen de granularidad, o en métodos de aprendizaje automático que se centran en subpoblaciones limitadas, lo que dificulta la generalizabilidad. Además, la literatura actual carece de una comprensión cuantitativa de cómo evolucionan los comportamientos de refrigeración bajo estrés térmico y socioeconómico combinado, particularmente en resoluciones temporales subdiarias. El problema central es cómo modelar el consumo de los hogares a gran escala para grupos amplios de consumidores evitando la simplificación excesiva, manteniendo la interpretabilidad y capturando las respuestas no lineales y heterogéneas a los choques.

Metodología
Los autores proponen un marco basado en el Aprendizaje por Refuerzo Inverso Adversario (AIRL) para inferir funciones de recompensa que representen el comportamiento de consumo de los hogares. La metodología se desarrolla a través de tres etapas principales:

1. Preprocesamiento de Datos y Agrupación (Clustering):

   • Fuente de Datos: Datos de medidores inteligentes horarios de hogares italianos (mayo–julio 2021–2023), que cubren los períodos de pre-crisis, crisis y post-crisis.
   • Variables de Contexto: Variables estáticas/cuasi-estáticas (ingresos, urbanización, antigüedad de la edificación, propiedad estimada de aire acondicionado, Índice de Vista Verde, precio de la energía facturada) y variables dinámicas (índice de estrés térmico UTCI, perfiles de consumo).
   • Agrupación (Clustering): Para manejar la heterogeneidad, los autores emplean un flujo de trabajo de agrupación. Las variables estáticas se estandarizan, mientras que los datos de series temporales dinámicas (consumo y UTCI) se procesan utilizando Redes de Estado de Eco (ESN) y PCA Tensorial para extraer incrustaciones (embeddings) de baja dimensión que preserven la dinámica temporal. Estos se concatenan (con un peso del 50% cada uno) y se agrupan mediante agrupamiento jerárquico aglomerativo (vinculación de Ward).
   • Selección: Se identificaron 11 grupos. Para un análisis detallado, se seleccionaron cuatro grupos representativos: alto consumo, consumo intermedio urbano, bajo consumo urbano y bajo consumo rural.

2. Aprendizaje por Refuerzo Inverso Adversario (AIRL):

   • Formulación: Los hogares son tratados como agentes en un Proceso de Decisión de Markov (MDP). El estado $s$ incluye variables de contexto (UTCI, hora del día, tipo de día, medias móviles) y la acción $a$ se define como la diferencia de primer orden en el consumo ($e_{t+1} - e_t$).
   • Algoritmo: Se entrena un algoritmo AIRL (específicamente utilizando Optimización de Política Próxima para el generador) para cada grupo. El sistema consta de una política generadora y un discriminador (red de recompensa).
   • Desentrelazamiento de la Recompensa: La función de recompensa $r(s, a)$ se descompone en un término base $f_\phi(s, a)$ y un término de modelado basado en potencial $\Phi_\psi(s)$. Esta estructura asegura que la recompensa extraída esté desentrelazada de la dinámica del entorno, permitiendo su transferibilidad a través de condiciones cambiantes (por ejemplo, de 2021 a 2023).
   • Entrenamiento: El modelo se entrena para maximizar la verosimilitud de que el generador sea clasificado como un experto (los datos reales). Los hiperparámetros se optimizan mediante optimización bayesiana para minimizar una Métrica Combinada (CM) que equilibra la similitud de la distribución, el error de consumo y la correlación temporal.

3. Análisis de Comportamiento:

   • Una vez entrenadas, las redes de recompensa se interrogan para extraer conocimientos conductuales.
   • Consumo Óptimo: Se construye una distribución softmax sobre los valores de consumo basada en la recompensa aprendida para visualizar los estados de consumo "óptimos" que los agentes elegirían bajo diferentes niveles de estrés térmico.
   • Comparación: Las curvas de consumo óptimo implicadas por el modelo se comparan con el consumo promedio empírico para identificar cambios en el comportamiento (persistentes, transitorios o insignificantes).
   • Sub-agrupación: Para investigar la heterogeneidad intradía, el grupo de alto consumo se sub-agrupó nuevamente según el tiempo de consumo (pico en la tarde vs. pico en la noche) para aislar el efecto de los patrones de actividad diaria.

Resultados Clave
El estudio analizó datos de hogares italianos durante los veranos de 2021, 2022 y 2023, abarcando la crisis energética y una severa ola de calor en 2022.

• Respuestas Heterogéneas a los Choques: Las funciones de recompensa revelaron que los choques remodelaron el comportamiento de refrigeración de manera distinta entre los grupos:

  • Grupo de Alto Consumo: Exhibió un cambio persistente. Aunque reaccionaron fuertemente a la temperatura en 2021, la crisis de 2022 provocó una reducción duradera en el consumo que no se recuperó totalmente en 2023.
  • Grupo de Consumo Intermedio Urbano: Mostró un cambio transitorio. Amplificaron su respuesta al calor en 2022, pero volvieron mayormente a las tendencias de 2021 en 2023 a medida que las condiciones mejoraron.
  • Grupo de Bajo Consumo Rural: Mostró un cambio estructural y lento. Inicialmente plano, desarrollaron un comportamiento más sensible a la temperatura en 2022 que se consolidó en 2023, sugiriendo un potencial latente para la adopción de refrigeración.
  • Grupo de Bajo Consumo Urbano: Exhibió un cambio insignificante, permaneciendo como el grupo menos sensible, probablemente limitado por el entorno construido y el presupuesto.

• Heterogeneidad Intradía: La sub-agrupación del grupo de alto consumo por tiempo de consumo reveló comportamientos distintos:

  • Pico en la Tarde: Los usuarios con mayor propiedad de aire acondicionado y actividad diurna redujeron significativamente el consumo durante el pico de la crisis de 2022.
  • Pico en la Noche: Los usuarios con picos nocturnos fueron más reacios al cambio a corto plazo, manteniendo respuestas de alto UTCI en 2022 antes de converger al comportamiento del grupo de la tarde en 2023.
  • Esto indica que el uso según la hora (time-of-use) es una dimensión separada de la heterogeneidad conductual, independiente del estatus socioeconómico.

Significancia y Reivindicaciones
El artículo reivindica tres contribuciones primarias a la literatura:

1. Innovación Metodológica: Introduce un marco AIRL para inferir superficies de respuesta de comportamiento implicadas por la recompensa a partir de datos de medidores inteligentes a gran escala. A diferencia de las correlaciones empíricas tradicionales, este enfoque representa a los hogares como agentes cuyo consumo está moldeado por una función de recompensa desentrelazada, capturando interacciones no lineales entre contextos térmicos, socioeconómicos y temporales.
2. Perspectiva Empírica de la Dinámica de Crisis: Al aplicar el marco a la crisis energética italiana de 2021–2023, el estudio cuantifica cómo cambian los comportamientos de refrigeración bajo el estrés térmico y socioeconómico concurrente. Distingue entre ajustes transitorios y cambios duraderos, proporcionando una visión granular de cómo diferentes grupos de consumidores se adaptan (o no logran adaptarse) a condiciones extremas.
3. Revelación de la Heterogeneidad Oculta: El estudio demuestra que existen diferencias de comportamiento incluso dentro de grupos que parecen similares en términos socioeconómicos y ambientales. Específicamente, identifica el tiempo de consumo (patrones intradía) como un factor crítico que influye en cómo los hogares responden a los choques, una dimensión a menudo pasada por alto en los análisis agregados.

Limitaciones y Trabajo Futuro
Los autores reconocen limitaciones respecto a la granularidad de las variables de contexto (por ejemplo, los ingresos y la urbanización están agregados a nivel municipal/código postal) y la identificabilidad parcial de la función de recompensa (las escalas absolutas no son intrínsecas). Sugieren que el trabajo futuro podría incorporar datos socioeconómicos de mayor resolución, utilizar arquitecturas de Memoria a Largo Plazo (LSTM) para una mejor reproducción de las tendencias intradía y explorar derivadas parciales de orden superior de la función de recompensa. El estudio también señala que los cambios contractuales específicos y los perfiles de pobreza energética no fueron modelados explícitamente, sugiriendo estos como áreas para una futura integración.