Understanding electricity consumption behaviour through Inverse Reinforcement Learning

Resumo Técnico: Compreendendo o Comportamento de Consumo de Eletricidade através de Aprendizado por Reforço Inverso

Definição do Problema
O consumo residencial de eletricidade é um componente crítico da demanda global de energia, particularmente no que diz respeito ao resfriamento de espaços, que está aumentando devido às mudanças climáticas e crises energéticas geopolíticas. Um desafio significativo no desenho de políticas energéticas é compreender como os domicílios respondem a choques socioeconômicos e climáticos (ex: picos de preços e ondas de calor). As abordagens existentes frequentemente simplificam demais o comportamento do consumidor, baseando-se em modelos "white box" estilizados que carecem de granularidade, ou em métodos de aprendagem de máquina que se concentram em subpopulações limitadas, o que prejudica a generalização. Além disso, a literatura atual carece de uma compreensão quantitativa de como os comportamentos de resfriamento evoluem sob estresse térmico e socioeconômico combinado, particularmente em resoluções temporais subdiárias. O problema central é como modelar o consumo doméstico em grande escala para amplos grupos de consumidores, evitando a simplificação excessiva, mantendo a interpretabilidade e capturando as respostas não lineares e heterogêneas aos choques.

Metodologia
Os autores propõem um framework baseado em Aprendizado por Reforço Inverso Adversário (AIRL) para inferir funções de recompensa que representem o comportamento de consumo doméstico. A metodologia procede através de três etapas principais:

1. Pré-processamento de Dados e Agrupamento (Clustering):

   • Fonte de Dados: Dados horários de medidores inteligentes de domicílios italianos (maio–julho de 2021–2023), cobrindo os períodos pré-crise, crise e pós-crise.
   • Variáveis de Contexto: Variáveis estáticas/quasi-estáticas (renda, urbanização, idade do edifício, posse estimada de AC [ar-condicionado], Índice de Visão Verde, preço da energia faturada) e variáveis dinâmicas (índice de estresse térmico UTCI, perfis de consumo).
   • Agrupamento (Clustering): Para lidar com a heterogeneidade, os autores empregam um pipeline de agrupamento. As variáveis estáticas são padronizadas, enquanto os dados de séries temporais dinâmicas (consumo e UTCI) são processados usando Redes de Estado de Eco (ESNs) e PCA Tensorial para extrair embeddings de baixa dimensão que preservam a dinâmica temporal. Estes são concatenados (peso de 50% cada) e agrupados via agrupamento hierárquico aglomerativo (ligação de Ward).
   • Seleção: 11 clusters foram identificados. Para análise detalhada, quatro clusters representativos foram selecionados: alto consumo, consumo intermediário urbano, baixo consumo urbano e baixo consumo rural.

2. Aprendizado por Reforço Inverso Adversário (AIRL):

   • Formulação: Os domicílios são tratados como agentes em um Processo de Decisão de Markov (MDP). O estado $s$ inclui variáveis de contexto (UTCI, hora do dia, tipo de dia, médias móveis) e a ação $a$ é definida como a diferença de primeira ordem no consumo ($e_{t+1} - e_t$).
   • Algoritmo: Um algoritmo AIRL (especificamente usando Otimização de Política Próxima para o gerador) é treinado para cada cluster. O sistema consiste em uma política geradora e um discriminador (rede de recompensa).
   • Desmembramento da Recompensa (Reward Disentanglement): A função de recompensa $r(s, a)$ é decomposta em um termo base $f_\phi(s, a)$ e um termo de modelagem baseado em potencial $\Phi_\psi(s)$. Esta estrutura garante que a recompensa extraída seja desmembrada da dinâmica do ambiente, permitindo a transferibilidade através de condições mutáveis (ex: de 2021 para 2023).
   • Treinamento: O modelo é treinado para maximizar a verossimilhança de o gerador ser classificado como um especialista (os dados reais). Os hiperparâmetros são otimizados via otimização Bayesiana para minimizar uma Métrica Combinada (CM) que equilibra similaridade de distribuição, erro de consumo e correlação temporal.

3. Análise de Comportamento:

   • Uma vez treinado, as redes de recompensa são interrogadas para extrair insights comportamentais.
   • Consumo Ótimo: Uma distribuição softmax sobre os valores de consumo é construída com base na recompensa aprendida para visualizar os estados de consumo "ótimos" que os agentes escolheriam sob diferentes níveis de estresse térmico.
   • Comparação: Estas curvas de consumo ótimas modeladas são comparadas contra o consumo médio empírico para identificar mudanças de comportamento (persistentes, transitórias ou negligenciáveis).
   • Sub-agrupamento (Sub-clustering): Para investigar a heterogeneidade intradia, o cluster de alto consumo foi sub-agrupado com base no tempo de consumo (pico à tarde vs. pico à noite) para isolar o efeito dos padrões de atividade diária.

Principais Resultados
O estudo analisou dados de domicílios italianos durante os verões de 2021, 2022 e 2023, abrangendo a crise energética e uma onda de calor severa em 2022.

• Respostas Heterogêneas a Choques: As funções de recompensa revelaram que os choques remodelaram o comportamento de resfriamento de forma distinta entre os grupos:

  • Cluster de Alto Consumo: Exibiu uma mudança persistente. Embora tenham reagido fortemente à temperatura em 2021, a crise de 2022 levou a uma redução duradoura no consumo que não se recuperou totalmente em 2023.
  • Cluster de Consumo Intermediário Urbano: Mostrou uma mudança transitória. Eles ampliaram sua resposta ao calor em 2022, mas retornaram majoritariamente às tendências de 2021 em 2023, conforme as condições suavizaram.
  • Cluster de Baixo Consumo Rural: Exibiu uma mudança estrutural e lenta. Inicialmente plana, desenvolveram um comportamento mais responsivo à temperatura em 2022 que se consolidou em 2023, sugerindo um potencial latente para adoção de resfriamento.
  • Cluster de Baixo Consumo Urbano: Exibiu mudança negligenciável, permanecendo como o grupo menos responsivo, provavelmente limitado pelo ambiente construído e pelo orçamento.

• Heterogeneidade Intradia: O sub-agrupamento do grupo de alto consumo por tempo revelou comportamentos distintos:

  • Pico à Tarde: Usuários com maior posse de AC e atividade diurna reduziram significativamente o consumo durante o pico da crise de 2022.
  • Pico à Noite: Usuários com picos noturnos foram mais relutantes em mudar no curto prazo, mantendo respostas de alto UTCI em 2022 antes de convergirem para o comportamento do grupo da tarde em 2023.
  • Isso indica que o uso conforme o tempo (time-of-use) é uma dimensão separada de heterogeneidade comportamental, independente do status socioeconômico.

Significância e Alegações
O artigo alega três contribuições primárias para a literatura:

1. Inovação Metodológica: Introduz um framework AIRL para inferir superfícies de resposta comportamental baseadas em recompensa a partir de dados de medidores inteligentes em larga escala. Diferente das correlações empíricas tradicionais, esta abordagem representa os domicílios como agentes cujo consumo é moldado por uma função de recompensa desmembrada, capturando interações não lineares entre contextos térmicos, socioeconômicos e temporais.
2. Insight Empírico sobre Dinâmicas de Crise: Ao aplicar o framework à crise energética italiana de 2021–2023, o estudo quantifica como os comportamentos de resfriamento mudam sob estresse térmico e socioeconômico simultâneos. Ele distingue entre ajustes transitórios e mudanças duráveis, fornecendo uma visão granular de como diferentes grupos de consumidores se adaptam (ou falham em se adaptar) a condições extremas.
3. Revelação de Heterogeneidade Oculta: O estudo demonstra que existem diferenças comportamentais mesmo dentro de grupos que parecem similares em termos socioeconômicos e ambientais. Especificamente, identifica o tempo de consumo (padrões intradia) como um fator crítico que influencia como os domicílios respondem a choques, uma dimensão frequentemente negligenciada em análises agregadas.

Limitações e Trabalhos Futuros
Os autores reconhecem limitações quanto à granularidade das variáveis de contexto (ex: renda e urbanização são agregadas ao nível municipal/CEP) e a identificabilidade parcial da função de recompensa (escalas absolutas não são intrínsecas). Sugerem que trabalhos futuros possam incorporar dados socioeconômicos de maior resolução, utilizar arquiteturas LSTM para melhor reprodução de tendências intradia e explorar derivadas parciais de ordem superior da função de recompensa. O estudo também observa que mudanças específicas de contratos e perfis de pobreza energética não foram explicitamente modelados, sugerindo estas como áreas para integração futura.