Physics Informed Reinforcement Learning with Gibbs Priors for Topology Control in Power Grids

1. O Problema

O controle de topologia em redes elétricas é um problema de tomada de decisão sequencial extremamente desafiador devido a dois fatores principais:

• Espaço de Ação Combinatório: O número de configurações possíveis de topologia (alterações na rede) cresce exponencialmente com o tamanho da rede e a complexidade das subestações. Isso torna a exploração por métodos de Aprendizado por Reforço (RL) padrão ineficiente.
• Custo Computacional de Avaliação: Avaliar a segurança e o impacto de uma ação requer simulações de fluxo de potência (power flow), que são computacionalmente caras. Realizar essas simulações para todas as ações candidatas em tempo real cria um gargalo, especialmente em regimes de operação estressados onde decisões rápidas são críticas para evitar falhas em cascata.

O objetivo é desenvolver um agente que possa intervir de forma segura e eficiente, equilibrando a qualidade do controle com o tempo de decisão, sem depender de buscas exaustivas online.

2. Metodologia Proposta

Os autores propõem um framework de Aprendizado por Reforço Informado pela Física (Physics-Informed RL) que integra três componentes principais:

A. Controle Semi-Markoviano (Hazard-Gated)

Em vez de tomar decisões a cada micro-passos da simulação, o agente atua apenas quando a rede entra em um regime perigoso (hazard).

• Define-se um indicador de risco baseado na taxa de carregamento máxima das linhas ($Risk(o_t) = \max \rho_\ell$).
• O agente só é invocado quando esse risco ultrapassa um limiar ($\delta_h$).
• Isso transforma o problema em um Processo de Decisão Semi-Markoviano (Semi-MDP), onde o agente aprende a intervir apenas quando necessário, reduzindo a frequência de decisões e focando nos momentos críticos.

B. Surrogato de Risco com Redes Neurais de Grafos (GNN)

Para lidar com o espaço de ações vasto, o método utiliza um modelo de substituição (surrogate) treinado para prever o risco de sobrecarga após uma ação.

• Representação: A rede elétrica é modelada como um grafo (nós = barras, arestas = linhas/transformadores) com características elétricas e operacionais.
• Arquitetura: Utiliza-se uma GNN adaptada (baseada no KCLNet) com mecanismos de atenção e mensagens de aresta para codificar a dinâmica do sistema.
• Função: A GNN aprende a prever a taxa de carregamento máxima no próximo passo ($\hat{Risk}$) para qualquer ação candidata, atuando como um "oráculo" rápido e diferenciável.

C. Priori de Gibbs Informada pela Física

O coração da proposta é o uso de uma distribuição de Gibbs como prior sobre o espaço de ações, baseada nas previsões de risco da GNN.

• Seleção de Candidatos (Top-K): Em vez de avaliar todas as ações, o sistema seleciona apenas os $K$ melhores candidatos (aqueles com menor risco previsto) para formar um conjunto de ações viáveis reduzido e dependente do estado.
• Reponderação de Logits: A política final não escolhe apenas entre os $K$ candidatos; ela repondera os logits da política aprendida (RL) com o "score de física" (baseado no risco previsto). A fórmula combina o logit da política ($\ell_\theta$) com o score de física ($s_\phi$):
  $$\tilde{\ell}(a|G_t) = \ell_\theta(a|G_t) + \beta \cdot s_\phi(a|G_t)$$
  Onde $\beta$ controla a força da prioridade física.

Isso permite que o agente explore apenas ações fisicamente plausíveis e seguras, reduzindo drasticamente a dificuldade de exploração e o custo de simulação online.

3. Principais Contribuições

1. Método Informado pela Física: Introdução de uma metodologia que seleciona um pequeno conjunto de ações viáveis e dependentes do estado, melhorando a escalabilidade em espaços de ação discretos grandes.
2. Regra de Política Agnóstica: Proposição de um algoritmo que pode ser aplicado a qualquer agente de RL, reponderando seus scores de ação com um prior físico, incorporando conhecimento do ambiente sem alterar a arquitetura base do agente.
3. Validação em Cenários Realistas: Demonstração da eficácia em três ambientes de benchmark do L2RPN (Learning to Run a Power Network) de complexidade crescente, mostrando generalização e equilíbrio entre qualidade e eficiência.

4. Resultados Experimentais

O método foi testado em três cenários: case14 (pequeno), case36 (médio) e case118 (grande e complexo, com adversário e renováveis).

• Case14: O método alcançou desempenho quase idêntico ao "Oracle" (que avalia exaustivamente todas as ações), com uma recompensa de 127.822,5 vs 127.822,8 do Oracle. Foi 6x mais rápido que o Oracle, mantendo um tempo de decisão de 0,032 ms/step.
• Case36: O método atingiu 94,6% da recompensa do Oracle, mas com um tempo de decisão 200x menor (0,924 ms vs 184 ms). Superou a linha de base PPO em recompensa e sobrevivência, sendo também mais rápido que o PPO.
• Case118 (Desafio Máximo): O método superou o PPO em 255% de recompensa e 284% de passos sobrevividos. Embora a linha de base especializada "LJN" (engenharia pura) ainda tenha desempenho absoluto superior, o método proposto foi 2,5x mais rápido que o LJN, oferecendo um trade-off superior entre qualidade e custo computacional.

5. Significado e Conclusão

O trabalho demonstra que é possível superar as limitações de escalabilidade do RL em redes elétricas sem sacrificar a segurança ou a qualidade da decisão. Ao combinar:

1. Intervenção seletiva (apenas em regimes de risco),
2. Redução de espaço de ação via prior de Gibbs baseado em física,
3. Aprendizado de surrogatos via GNN,

O framework proposto oferece um mecanismo eficaz para o controle de topologia em tempo real. Ele resolve o dilema entre a necessidade de simulações precisas para segurança e a restrição de tempo de computação, permitindo a implantação de agentes inteligentes em redes elétricas modernas e complexas. O trabalho sugere que a fusão de conhecimento físico (via GNNs e priors) com aprendizado por reforço é a chave para a operação robusta de redes de energia.