Topology-Aware Graph Reinforcement Learning for Energy Storage Systems Optimal Dispatch in Distribution Networks

1. Problema e Motivação

O despacho ótimo de Sistemas de Armazenamento de Energia (ESS) em redes de distribuição é um desafio crítico devido à crescente penetração de fontes de energia renovável distribuída (DERs), volatilidade de preços e a necessidade de manter a segurança da tensão.

• Desafios Principais:
  • Regulação de Tensão Topológica: O impacto das ações de armazenamento na tensão da rede depende da conectividade elétrica e das impedâncias das linhas. Em redes complexas, capturar essas dependências espaciais é difícil para controladores que ignoram a topologia.
  • Reconfiguração de Topologia: Redes de distribuição sofrem alterações frequentes na topologia (troca de chaves, restauração de serviço), o que altera o acoplamento entre os barramentos. Controladores tradicionais (baseados em Redes Neurais densas) tendem a generalizar mal nessas mudanças.
  • Custo Computacional: Métodos de otimização baseados em modelos (como Programação Não Linear - NLP) são computacionalmente caros para execução em tempo real, especialmente em redes grandes.

2. Metodologia Proposta

Os autores desenvolveram uma arquitetura de Aprendizado por Reforço (RL) Consciente da Topologia baseada no algoritmo TD3 (Twin Delayed Deep Deterministic Policy Gradient), integrando Redes Neurais de Grafos (GNNs) como codificadores de características.

• Formulação como Processo de Decisão de Markov (MDP):
  • Estado: Inclui tempo, preço de eletricidade, demanda de potência ativa, estado de carga (SOC) e tensão nos nós com ESS.
  • Ação: Potência de carga/descarga de cada ESS.
  • Recompensa: Combina o benefício econômico (redução de custos de compra da rede) e uma penalidade por violações de tensão (desvios da tensão nominal).
• Arquitetura GNN-RL (Actor-Critic Assimétrica):
  • Codificador de Grafos: Representa a rede de distribuição como um grafo onde os nós são barramentos e as arestas são linhas. Utiliza três variantes de GNNs para extrair embeddings que incorporam a topologia e o acoplamento elétrico:
    1. GCN (Graph Convolutional Network): Agregação normalizada de vizinhos imediatos.
    2. TAGConv (Topology Adaptive Graph Convolution): Usa filtros polinomiais para agregação multi-hop (captura dependências de longo alcance em uma única camada).
    3. GAT (Graph Attention Network): Usa mecanismos de atenção para ponderar a importância de diferentes vizinhos.
  • Actor (Agente): Utiliza embeddings focados nos nós de ESS (extraídos do grafo) para gerar ações. Isso mantém a arquitetura leve e computacionalmente eficiente.
  • Critic (Crítico): Utiliza pooling global (média) para agregar informações de todo o sistema e estimar o valor da recompensa sob restrições de rede.
• Treinamento: O agente interage com um simulador de rede de distribuição (34 e 69 barramentos) para aprender uma política que maximiza a recompensa cumulativa, utilizando replay buffer e suavização de política-alvo para estabilidade.

3. Contribuições Chave

1. Codificador de Características Topológicas: Desenvolvimento de um encoder baseado em GNN para despacho de ESS, comparando sistematicamente GCN, TAGConv e GAT.
2. Arquitetura Assimétrica: Integração do encoder de grafos no TD3, onde o actor foca em características locais dos nós de bateria, enquanto o critic agrega informações globais do sistema.
3. Avaliação Abrangente de Robustez: Testes sistemáticos em cenários de:
   • Diferentes tamanhos de rede (34 vs. 69 barramentos).
   • Múltiplas reconfigurações topológicas dentro do mesmo sistema.
   • Transferência zero-shot entre sistemas de tamanhos fundamentalmente diferentes.

4. Resultados Principais

Os experimentos foram realizados nos sistemas IEEE de 34 e 69 barramentos, comparando os métodos propostos com uma base de otimização global (NLP) e uma base de RL sem topologia (MLP/NN).

• Desempenho Econômico e Velocidade:
  • Todos os controladores RL reduziram o tempo de execução em 86 a 614 vezes em comparação com a solução NLP online, permitindo tomada de decisão quase instantânea.
  • No sistema de 34 barramentos, a base NN (sem GNN) foi competitiva economicamente.
  • No sistema de 69 barramentos (mais complexo), os métodos TD3-GCN e TD3-TAGConv superaram a base NN, alcançando economias de custo superiores (cerca de 109% e 101% do desempenho da NN, respectivamente).
• Regulação de Tensão:
  • Os controladores baseados em GNN reduziram consistentemente a frequência e a magnitude das violações de tensão em comparação com a base NN.
  • O benefício foi mais claro no sistema de 69 barramentos e sob reconfiguração, demonstrando que a percepção espacial das GNNs ajuda a prever como ações locais afetam a tensão global.
• Generalização e Transferência:
  • Reconfiguração Intra-sistema: As políticas treinadas mantiveram boa performance em topologias reconfiguradas do mesmo sistema, com degradação modesta.
  • Transferência Cruzada (Zero-shot): A transferência entre sistemas de tamanhos diferentes (ex: 34 para 69 barramentos) resultou em degradação significativa de desempenho e aumento de violações de tensão. Isso indica que, embora as GNNs generalizem bem para pequenas mudanças estruturais, a transferência entre redes fundamentalmente diferentes ainda é um desafio.
  • Estabilidade: O GAT mostrou alta capacidade representacional, mas foi sensível à inicialização aleatória (sementes), apresentando instabilidade de convergência em alguns casos no sistema maior.

5. Significado e Conclusão

O trabalho demonstra que a integração de GNNs em algoritmos de RL é uma abordagem superior para o despacho de ESS em redes de distribuição complexas e dinâmicas.

• Vantagem Principal: A capacidade de capturar explicitamente as dependências físicas e topológicas da rede permite que o agente tome decisões que respeitam melhor as restrições de tensão, especialmente em redes maiores e sob reconfigurações.
• Limitação Identificada: A transferência direta de políticas entre redes de topologias muito distintas ainda não é viável sem adaptação (como fine-tuning), pois a relação entre ação e consequência de fluxo de potência muda drasticamente.
• Impacto Futuro: O estudo aponta para a necessidade de treinamento com diversificação topológica e mecanismos de adaptação leve para viabilizar a implantação robusta de controladores de IA em redes de distribuição reais, que sofrem alterações frequentes.

Em resumo, o artigo valida que o aprendizado baseado em grafos oferece um equilíbrio superior entre eficiência econômica, segurança de tensão e robustez topológica para a operação de redes de distribuição do futuro.