Resumo Técnico: Aprendizado por Reforço Profundo Assistido por Previsão para Gestão de Energia em Microrredes de Comunidade com Hidrogênio

1. Definição do Problema

As microrredes de comunidade que integram o armazenamento de hidrogênio oferecem um caminho para aumentar a utilização de energias renováveis e a resiliência local. No entanto, sua operação é complicada pela incerteza da demanda residencial, geração renovável variável, preços de eletricidade dinâmicos e a dinâmica acoplada do armazenamento de bateria de curto prazo e do armazenamento de hidrogênio de longa duração.

Os sistemas de gestão de energia (EMS) existentes frequentemente dependem de controle baseado em regras ou otimização determinística, que têm dificuldade em se adaptar a mudanças rápidas na produção renovável e na demanda. Embora o Aprendizado por Reforço Profundo (DRL), especificamente a Otimização de Política Próxima (PPO), tenha sido aplicado a tais sistemas, as iterações anteriores (por exemplo, [12]) operavam de forma reativa com base em observações instantâneas, sem incorporar explicitamente informações de carga futura. Este artigo aborda a lacuna no desenvolvimento de um framework de controle preditivo que integra previsões de carga de múltiplos horizontes no espaço de estados do DRL para melhorar o despacho econômico e a eficiência do aprendizado, especificamente no contexto de uma microrrede de comunidade habilitada para hidrogênio.

2. Metodologia

2.1. Arquitetura do Sistema

O estudo avalia uma microrrede residencial de 1000 casas em Rockhampton, Austrália, apresentando:

• Geração: Matrizes fotovoltaicas (PV) e turbinas eólicas.
• Armazenamento: Um Sistema de Armazenamento de Energia por Bateria (BESS) para equilíbrio de curto prazo e um subsistema de hidrogênio (eletrolisador, tanque de armazenamento, célula a combustível) para autonomia de longa duração.
• Interação com a Rede: Capacidades de importação/exportação para a rede elétrica.
• Modelo Matemático: O sistema é modelado em tempo discreto com equações de balanço de potência acoplando geração, armazenamento, conversão de hidrogênio e troca com a rede.

2.2. Estrutura de Previsão

Um modelo de previsão baseado em Transformer é empregado para prever a carga da comunidade ao longo de múltiplos horizontes ($H \in \{1, 6, 12, 24, 48, 72\}$ horas).

• Características de Entrada: Carga histórica, irradiância, temperatura ambiente, velocidade do vento, preços de eletricidade e indicadores temporais.
• Arquitetura: O modelo utiliza embeddings de entrada, codificação posicional e mecanismos de autoatenção de múltiplas cabeças para capturar dependências temporais de longo alcance.
• Desempenho: O modelo é treinado de forma independente e congelado antes de ser integrado ao EMS. As métricas de avaliação incluem RMSE, MAE, MAPE, $R^2$ e correlação.

2.3. Sistema de Gestão de Energia (EMS) Preditivo

A contribuição central é a extensão de um controlador baseado em PPO para um framework assistido por previsão.

• Aumento do Espaço de Estados: O estado padrão do PPO (SOC da bateria, nível de hidrogênio, preços atuais, etc.) é aumentado com o vetor de previsão de carga de múltiplos horizontes ($\hat{P}_{L, t+1:t+H}$).
• Espaço de Ações: Ações contínuas para carga/descarga de bateria, despacho de gerador diesel (durante interrupções) e produção/consumo de hidrogênio.
• Função de Recompensa: Projetada para minimizar custos operacionais (importação/exportação de rede, degradação, demanda não atendida) enquanto penaliza a operação próxima aos extremos de armazenamento.
• Treinamento: O agente PPO aprende a maximizar a recompensa cumulativa descontada. O estudo compara quatro cenários:
  1. Sem bateria (baseline físico).
  2. PPO sem previsões (reativo).
  3. PPO com previsões imperfeitas (proposto).
  4. PPO com previsões perfeitas (limite superior teórico).

3. Principais Contribuições

1. Avaliação de Previsão de Múltiplos Horizontes: Uma avaliação abrangente da previsão de carga comunitária nos horizontes de 1, 6, 12, 24, 48 e 72 horas usando uma arquitetura Transformer.
2. Controlador PPO Enriquecido por Previsão: Desenvolvimento de um EMS preditivo onde as expectativas de carga futura são incorporadas diretamente no espaço de estados do DRL, permitو que a política antecipe picos de demanda e mudanças de preço.
3. Isolamento Quantitativo do Valor da Previsão: Uma comparação rigorosa isolando o valor operacional da informação de previsão ao contrastar o PPO assistido por previsão contra os benchmarks de PPO não preditivo e de previsão perfeita.
4. Avaliação Holística: Relato sobre impactos econômicos, operacionais, ambientais e de resiliência, enquanto reconhece explicitamente as limitações em relação à precisão da previsão e trajetórias específicas de componentes.

4. Resultados

4.1. Precisão da Previsão

O desempenho da previsão foi misto e dependente do horizonte:

• Horizonte de 1 hora: Alcançou o melhor desempenho com RMSE de 239,32 kW e $R^2 = 0,201$.
• Horizontes Intermediários (6h, 12h): Desempenharam mal, com valores de $R^2$ negativos ($-0,757$e$-1,914$), indicando um desempenho pior do que um preditor de valor médio.
• Horizonte de 24 horas: RMSE de 249,79 kW, MAPE de 62,52% e $R^2 = 0,126$.
• Horizontes Mais Longos (48h, 72h): O RMSE estabilizou em torno de 246–247 kW com valores de $R^2$ ligeiramente acima de 0,1.

4.2. Desempenho de Aprendizado e Econômico

Apesar da precisão de previsão limitada, o PPO assistido por previsão demonstrou benefícios significativos:

• Convergência: O controlador assistido por previsão convergiu aproximadamente 14,3% mais cedo (Episódio 30 vs. 35) do que o controlador não preditivo.
• Melhoria na Recompensa: A recompensa final aumentou em 8,3% em comparação com o baseline não preditivo.
• Economia Anual:
  • Sem previsões: A$2.439,86.
  • Com previsões: A$2.765,83.
  • Ganho Incremental: A$325,97 (um aumento de 13,4%).
  • O modelo implementado capturou aproximadamente 90,5% das economias alcançáveis com previsões perfeitas.
• Utilização de Renováveis: Aumentou de 35,3% (sem previsão) para 36,4% (com previsão).
• Importações de Rede: Reduzidas em 170,15 kWh em relação ao caso não preditivo.

4.3. Achados Operacionais e de Resiliência

• Carga de Pico e Corte de Produção (Curtailment): A previsão não reduziu significativamente a carga líquida de pico (redução de apenas 0,65 kW) ou o corte de produção; de fato, o corte foi ligeiramente maior com as previsões. O principal valor foi no tempo econômico, não no nivelamento de pico.
• Resiliência: Durante cenários de interrupção de rede, a configuração de bateria/controlador forneceu um valor de proteção de 20,1% em comparação com a ausência de bateria. No entanto, nenhuma melhoria mensurável de resiliência foi observada entre o controlador assistido por previsão e o não preditivo; a previsão não melhorou o tratamento de interrupções nos cenários de estresse testados.
• Impacto Ambiental: A previsão reduziu as emissões relacionadas à importação de rede em mais 85,08 kg de CO2 em comparação com o caso não preditivo. Grandes reduções de emissões relatadas foram impulsionadas pela contabilidade de créditos de exportação, em vez de cortes físicos diretos de emissões.

5. Significância e Alegações

O artigo conclui que previsões imperfeitas ainda podem melhorar o aprendizado de DRL e o despacho econômico, mesmo quando a precisão da previsão (medida por $R^2$) é baixa ou negativa para certos horizontes. O controlador conseguiu extrair estruturas temporais úteis das previsões para otimizar o agendamento de armazenamento e as transações de rede.

Contudo, os autores mantêm uma postura modesta em relação às implicações mais amplas:

• Escopo Limitado: Os resultados não sustentam alegações de precisão de previsão superior, grande redução de carga de pico ou resiliência aumentada pela previsão.
• Valor Específico: O valor da previsão é primariamente econômico (economia de custos) e relacionado à eficiência de aprendizado (convergência mais rápida), em vez de estabilidade física da rede ou redução de pico.
• Requisitos Futuros: O artigo enfatiza que, antes que alegações de implementação mais ampla possam ser feitas, é necessário realizar mais trabalhos sobre calibração de previsão, estudos de interrupção de longa duração e o relato de trajetórias de componentes (especificamente operações de eletrolisador de hidrogênio e célula a combustível) para verificar como as previsões influenciam o gerenciamento de armazenamento de longa duração.

O estudo serve como uma prova de conceito de que integrar previsões de múltiplos horizontes nos espaços de estados de DRL produz benefícios econômicos tangíveis, mesmo quando os modelos de previsão subjacentes não são altamente precisos.