A Reinforcement Learning-based Transmission Expansion Framework Considering Strategic Bidding in Electricity Markets

Resumo Técnico: Framework de Expansão de Transmissão Baseado em Aprendizado por Reforço Considerando Lances Estratégicos em Mercados de Eletricidade

1. O Problema

O planejamento de expansão de transmissão em mercados de eletricidade liberalizados enfrenta um desafio fundamental: a forte interdependência entre as decisões de investimento em infraestrutura e o comportamento estratégico das empresas geradoras (GENCOs).

• Contexto Atual: Em ambientes competitivos, as GENCOs buscam maximizar lucros através de lances estratégicos (bidding), enquanto os Operadores do Sistema (SO) planejam a expansão da rede.
• Limitações dos Métodos Tradicionais: Modelos de otimização multinível existentes geralmente assumem equilíbrios de mercado racionais e estáticos, falhando em capturar a volatilidade de preços e os comportamentos estratégicos dinâmicos.
• Gap de Pesquisa: Estudos anteriores com Aprendizado por Reforço (RL) trataram separadamente a simulação de mercado (focada em operações de curto prazo) e o planejamento de expansão (focada em investimentos de longo prazo). Isso ignora como as estratégias de lance afetam o valor econômico da expansão e vice-versa.

2. Metodologia

Os autores propõem um framework de co-otimização baseado em Aprendizado por Reforço Multi-Agente (MARL) que unifica a tomada de decisão de investimento em transmissão e as estratégias de lance dos geradores em um único processo de treinamento.

• Modelo de Mercado:

  • Simulação de um mercado day-ahead com despacho ótimo de fluxo de potência em corrente contínua (DC-OPF).
  • As GENCOs são modeladas como agentes autônomos que observam estados locais (demanda, lances anteriores) e decidem lances estratégicos para maximizar lucros.
  • Utiliza-se o algoritmo MADDPG (Multi-Agent Deep Deterministic Policy Gradient), onde cada agente possui uma rede actor descentralizada e um critic centralizado para lidar com a não estacionariedade do ambiente multi-agente.

• Co-otimização de Expansão (A Inovação):

  • Introduz-se uma camada de política de design que trata as decisões de expansão de transmissão como variáveis aleatórias amostradas no início de cada episódio.
  • Casos Contínuos e Discretos: O framework suporta tanto a expansão contínua de capacidade ($\Delta L_\ell$) quanto decisões discretas de localização (upgrade binário $z_\ell \in \{0,1\}$).
  • Mecanismo de Aprendizado: A política de design ($\mu$) é atualizada usando o teorema do gradiente de política para minimizar o custo total (custo operacional + custo de expansão), enquanto os agentes de geração aprendem a maximizar seus lucros. O sistema aprende iterativamente como as decisões de rede influenciam os lances e como os lances afetam a necessidade de expansão.

3. Contribuições Principais

1. Primeira Aplicação de Co-otimização RL em Expansão de Transmissão: O artigo é pioneiro em aplicar um framework de co-otimização (típico da robótica) ao planejamento de expansão de rede elétrica, integrando design da rede e políticas operacionais.
2. Integração de Comportamento Estratégico: Diferente de modelos que assumem lances fixos ou custos marginais verdadeiros, o método internaliza o comportamento estratégico dos geradores, permitindo que a expansão da rede seja planejada considerando a resposta do mercado.
3. Flexibilidade de Modelagem: O framework suporta tanto decisões de expansão contínua quanto discreta (siting), adaptando-se a diferentes cenários de planejamento.
4. Validação em Sistema IEEE 30-Bus: Demonstração prática da eficácia do método em um sistema de teste padrão, comparando-o com abordagens convencionais.

4. Resultados (Estudos de Caso no IEEE 30-Bus)

Os experimentos foram realizados no sistema IEEE 30-bus, comparando a abordagem proposta com um benchmark de duas etapas usando o modelo PyPSA.

• Caso 1: Expansão Contínua (Comparação com PyPSA):

  • O benchmark de duas etapas (PyPSA + RL) mostrou-se ineficiente. Se assumisse lances baixos, não havia expansão; se assumisse lances altos, a expansão era excessiva (81,4 MW na linha 4-12), gerando custos de investimento desnecessários.
  • O método proposto aprendeu simultaneamente lances e expansão, resultando em uma expansão de 76,1 MW na mesma linha.
  • Resultado: Redução do custo de expansão e do custo operacional total, pois o modelo "entendeu" que lances agressivos não eram sustentáveis em todas as configurações de rede, evitando investimentos excessivos.

• Caso 2: Decisões Discretas de Localização (Siting):

  • O framework selecionou a expansão de duas linhas candidatas (1-2 e 4-12) com capacidade fixa de 50 MW.
  • Impacto Estratégico: A adição da linha 1-2 reduziu o congestionamento de forma a diminuir o poder de mercado do Gerador 1. Consequentemente, o Gerador 1 reduziu seus lances (de ~$90/MWh para ~$75,6/MWh), reduzindo significativamente o custo operacional total, compensando o custo extra de expansão.
  • Isso prova que o método identifica locais de expansão que não apenas aliviam congestionamentos físicos, mas também alteram dinâmicas de mercado para benefício sistêmico.

5. Significância e Conclusão

Este trabalho representa um avanço significativo na interseção entre inteligência artificial e engenharia de sistemas de potência.

• Eficiência Econômica: Ao considerar a interação entre investimento e comportamento de mercado, o framework evita tanto a sub-investimento (que leva a congestionamentos severos e preços altos) quanto o super-investimento (baseado em suposições irrealistas de comportamento).
• Escalabilidade: A abordagem baseada em RL é mais escalável para horizontes temporais longos e ambientes complexos (multimercado) do que os modelos de otimização multinível tradicionais, que sofrem com a "maldição da dimensionalidade".
• Futuro: O framework estabelece uma base sólida para o planejamento integrado de geração e transmissão em mercados cada vez mais descentralizados e voláteis, permitindo que operadores e reguladores projetem redes resilientes que considerem as incentivos econômicos dos participantes do mercado.