Resumo Técnico: Métodos de Aprendizado por Reforço Profundo Baseados em Dados e Explicáveis para a Gestão de Energia Ótima em Edifícios

1. Definição do Problema

A integração de fontes de energia renováveis (RES), como painéis fotovoltaicos (PV), e cargas flexíveis, como bombas de calor e veículos elétricos, na gestão de sistemas de energia de edifícios, introduziu uma complexidade significativa. Esta complexidade surge da geração de energia volátil, tarifas de eletricidade dinâmicas e o acoplamento dos setores térmico e elétrico. Os métodos de controle tradicionais, como o Controle Preditivo Baseado em Modelo (MPC), dependem de modelos explícitos do sistema e previsões, o que pode ser computacionalmente intensivo e difícil de manter em ambientes incertos. Embora o Aprendizado por Reforço Profundo (DRL) ofereça uma alternativa promissora baseada em dados, capaz de aprender políticas ótimas sem modelos explícitos, sua natureza de "caixa-preta" dificulta a confiança do usuário e a adoção prática em infraestruturas críticas. Há uma carência de frameworks que não apenas otimizem a gestão de energia, mas que também forneçam insights transparentes e acionáveis sobre o processo de tomada de decisão, particularmente quando validados com dados empíricos do mundo real, em vez de apenas conjuntos de dados sintéticos.

2. Metodologia

Os autores propõem um framework unificado de Aprendizado por Reforço Profundo Explicável (XRL) aplicado à gestão de energia em edifícios residenciais. A metodologia consiste em três módulos interconectados:

A. Ingestão de Dados e Validação de Previsão

• Fontes de Dados: O estudo utiliza dois conjuntos de dados:
  1. Dados Empíricos: Medições do mundo real do Living Lab Energy Campus (LLEC) no Karlsruhe Institute of Technology (KIT), coletadas entre junho e setembro de 2024. Isso inclui demanda residencial, geração fotovoltaica (PV), eletricidade da rede e dados meteorológicos.
  2. Dados Sintéticos: Gerados usando o EnergyPlus (especificamente o modelo Generator_PVWatts) para simular o comportamento energético de um edifício durante um ano completo sob diversas condições climáticas.
• Previsão (Forecasting): Uma rede de Long Short-Term Memory (LSTM) é empregada para prever a demanda e os preços de eletricidade. A análise comparativa determinou que um horizonte de previsão de 1 hora oferece a melhor precisão e estabilidade.
• Espaço de Estados: A representação do estado é expandida para incluir medições históricas (demanda, PV, potência da bateria, Estado de Carga - SoC), sinais externos (preços dinâmicos, clima), indicadores calendários e previsões de curto prazo (demanda e preço).

B. Aprendizado de Política e Protocolo de Benchmark

• Algoritmos: Seis algoritmos de DRL foram treinados e comparados:
  • On-policy: Advantage Actor-Critic (A2C), Proximal Policy Optimization (PPO).
  • Off-policy: Deep Q-Network (DQN), Soft Actor-Critic (SAC), Twin Delayed Deep Deterministic Policy Gradient (TD3), Deep Deterministic Policy Gradient (DDPG).
• Ambiente: O agente controla as correntes de carga/descarga da bateria (espaço de ação contínuo para a maioria dos algoritmos, discreto para o DQN) para maximizar o lucro econômico enquanto respeita restrições físicas (ex: evitar sobrecarga).
• Função de Recompensa: A recompensa é definida pelo trade-off econômico entre custos de interação com a rede e custos de demanda líquida, com penalidades para ações inseguras (ex: violação dos limites de SoC).
• Otimização de Hiperparâmetros: Uma busca automatizada utilizando a biblioteca Optuna foi realizada para identificar os hiperparâmetros ótimos para cada algoritmo.

C. Interpretação de Política (XRL)

Para abordar o problema da caixa-preta, os autores empregam técnicas de interpretação post-hoc:

1. Aproximação por Árvore de Decisão (Destilação de Política): As políticas aprendidas de DRL são aproximadas por árvores de decisão para extrair regras legíveis por humanos. Isso fornece transparência estrutural sobre como as variáveis de estado influenciam as ações (Carregar, Descarregar, Ocioso).
2. Análise de Remoção de Características: Características específicas do estado (ex: SoC, PV, previsões de preço) são excluídas durante o treinamento para quantificar seu impacto nas recompensas cumulativas, identificando assim os drivers dominantes da política.

3. Principais Contribuições

O artigo delineia quatro contribuições primárias:

1. Pipeline Integrado de XRL: Um framework estruturado que liga os outputs das políticas de DRL a mecanismos de explicabilidade (árvores de decisão e ablação de características) especificamente adaptados para espaços de estados de alta dimensão de energia em edifícios.
2. Protocolo de Avaliação Comparativa: Um benchmarking rigoroso de múltiplos algoritmos de DRL (tanto on-policy quanto off-policy) sob restrições ambientais idênticas.
3. Design de Espaço de Estados Aprimorado: A incorporação de tanto medições históricas quanto informações de previsão de curto prazo, com o horizonte de previsão validado através de análise quantitativa de erro.
4. Insight Quantitativo: Identificação das variáveis de estado dominantes que influenciam a formação da política e uma análise de como a informação de previsão molda as estratégias de controle.

4. Resultados

• Desempenho dos Algoritmos: Algoritmos on-policy, especificamente A2C e PPO, superaram os métodos off-policy (DQN, SAC, TD3, DDPG) em termos de recompensas cumulativas e estabilidade de política nos conjuntos de dados reais e sintéticos.
  • Raciocínio: Os autores especulam que os métodos on-policy beneficiam-se do uso de trajetórias recentes alinhadas com as condições atuais de previsão, enquanto os métodos off-policy podem sofrer de viés devido aos buffers de replay contendo dados de previsão desatualizados.
  • Desempenho do A2C: O A2C alcançou a maior recompensa cumulativa (ganho de lucro de 568,49 EUR) no conjunto de teste empírico, superando significativamente o baseline (0 EUR) e outros algoritmos.
• Achados de Interpretabilidade:
  • Árvores de Decisão: As árvores de decisão destiladas revelaram que o Estado de Carga (SoC) é o principal driver para disparar ações. Se o SoC > 90%, o agente descarrega; caso contrário, ele avalia as previsões de preço e a umidade.
  • Importância das Características: A análise de remoção de características confirmou que o SoC, a geração PV e as previsões de preço são críticos. Curiosamente, embora a demanda atual tenha sido considerada menos crítica para algoritmos on-policy (pois deve ser atendida independentemente), a demanda e o preço previstos foram essenciais para otimizar a preparação da bateria.
  • Generalização: Políticas treinadas em dados empíricos demonstraram desempenho robusto quando avaliadas no conjunto de dados sintético, com agentes on-policy consistentemente superando os off-policy.
• Comparação com Baseline: O framework XRL reduziu os custos operacionais em comparação com um controlador baseline (derivado de regras de dados empíricos) e forneceu uma lógica de decisão transparente.

5. Significância e Alegações

O artigo afirma que o framework XRL proposto consegue preencher a lacuna entre o alto desempenho do DRL de caixa-preta e a transparência necessária para a adoção prática em sistemas de energia.

• Confiança e Adoção: Ao fornecer insights transparentes e acionáveis (via árvores de decisão e análise de características), o framework aumenta a confiança de especialistas do domínio e operadores de edifícios, facilitando a adoção de gestão de energia baseada em IA.
• Conformidade Regulatória: Os autores observam que tal transparência é cada vez mais exigida por regulamentações como o AI Act da União Europeia.
• Complemento ao MPC: O framework é apresentado não como um substituto para o Controle Preditivo Baseado em Modelo (MPC), mas como um complemento, uma alternativa totalmente baseada em dados que pode ser atualizada através de retreinamento em vez de redesenho de modelo. Além disso, as regras interpretáveis derivadas do XRL podem informar ou simplificar formulações de MPC.
• Escalabilidade: A natureza baseada em dados permite o potencial de transferência de aprendizado (transfer learning), onde políticas treinadas em um edifício podem ser adaptadas para outros.

Os autores mantêm um tom modesto, reconhecendo que, embora as árvores de decisão destiladas forneçam insights valiosos, elas são aproximações e não podem capturar totalmente a nuance da política de DRL completa. O trabalho foca em um único edifício, mas sugere direções futuras para coordenação ao nível da rede elétrica e controle de emergência.