Sizing of Battery Considering Renewable Energy Bidding Strategy with Reinforcement Learning

Resumo Técnico: Co-otimização de Dimensionamento de Baterias e Estratégia de Lance com Aprendizado por Reforço

1. Problema Investigado

A integração de fontes de Energia Renovável Variável (VRE), como solar e eólica, nos mercados de eletricidade exige que os produtores participem ativamente em mercados de tempo real para minimizar distorções e maximizar receitas. No entanto, a incerteza na geração renovável e nos preços de mercado torna a otimização operacional complexa.
O problema central abordado é o dimensionamento ótimo de Sistemas de Armazenamento de Energia por Bateria (BESS) em conjunto com a estratégia de lance (bidding) no mercado.

• Limitações dos métodos existentes: A maioria das abordagens atuais utiliza métodos de "duas etapas": primeiro treina-se um modelo de controle (ou predição) e, em seguida, otimiza-se o tamanho da bateria. Isso exige recursos computacionais massivos para cobrir todo o espaço de busca de tamanhos de bateria e assume que o modelo treinado é preciso em todo esse espaço, o que é frequentemente inviável ou subótimo.

2. Metodologia Proposta

Os autores propõem um algoritmo de co-otimização computacionalmente eficiente que otimiza simultaneamente o tamanho da bateria ($E_{max}$) e a política de lance/controle durante o treinamento.

• Framework de Aprendizado por Reforço (RL):

  • Utiliza uma Deep Recurrent Q-Network (DRQN) combinada com um framework de RL distribuído (inspirado no Ape-X).
  • A DRQN integra Deep Q-Learning com redes de memória de curto e longo prazo (LSTM) para lidar com a natureza parcialmente observável do problema (POMDP), onde o agente não conhece a geração futura ou os preços com antecedência.
  • O estado do agente inclui a geração renovável passada, preços de mercado e o Estado de Carga (SOC) da bateria.

• Mecanismo de Co-otimização:

  • Diferente do RL padrão que otimiza apenas a política para um design fixo, este método trata o parâmetro de design da bateria ($\omega = \{E_{max}\}$) como uma variável aprendível.
  • O tamanho da bateria é amostrado de uma distribuição Gaussiana $p_\mu(\omega)$ no início de cada episódio de treinamento.
  • Enquanto a rede neural ($\theta$) é atualizada para maximizar a recompensa (lucro) baseada nas ações tomadas com aquele tamanho específico, o parâmetro da distribuição ($\mu$) é atualizado periodicamente usando um gradiente de política.
  • A função de retorno ($G$) considera o lucro líquido anualizado menos o custo de instalação da bateria, permitindo que o algoritmo "aprenda" qual tamanho de bateria é mais rentável para a estratégia de lance desenvolvida.

• Modelo de Mercado:

  • O modelo simula um mercado de tempo real onde o produtor faz um lance ($b_t$) antes da geração real ($x_t$) ser conhecida.
  • Desvios entre o lance e a geração real (ajustada pelo carregamento/descarga da bateria) resultam em pagamentos de desequilíbrio (penalidades).
  • O objetivo é maximizar o lucro líquido, considerando receitas de arbitragem de energia, penalidades de desequilíbrio e custos de degradação da bateria.

3. Contribuições Chave

1. Algoritmo de Co-otimização: É a primeira aplicação conhecida de um algoritmo de co-otimização (inspirado em cognição incorporada) para sistemas de energia, onde o dimensionamento físico e a política de controle são otimizados simultaneamente.
2. Eficiência Computacional: Elimina a necessidade de treinamento separado para cada tamanho de bateria, reduzindo drasticamente o tempo de computação em comparação com métodos de busca exaustiva ou de duas etapas.
3. Robustez no Treinamento: Demonstra que ajustar o tamanho da bateria durante o treinamento ajuda a evitar falhas no treinamento da política de RL, explorando configurações de sistema que são mais estáveis e lucrativas.
4. Integração de Incertezas: Utiliza DRQN e RL distribuído para gerenciar eficazmente a incerteza de curto prazo (preços e geração) e dados de longo prazo para dimensionamento.

4. Resultados Experimentais

Os experimentos foram realizados com dados reais do mercado JEPX (Japão) e perfis de geração solar (METPV-20).

• Validação com Dados de Curto Prazo (1 semana):

  • O método co-otimizado convergiu para tamanhos de bateria ótimos (ex: ~120% da capacidade de geração para custos baixos, ~50% para custos médios) que coincidiram com os resultados obtidos por busca exaustiva (método de duas etapas).
  • Embora o tempo de treinamento tenha sido maior que o de uma política fixa (48 min vs 8 min), foi significativamente mais rápido do que calcular o lucro líquido para todos os tamanhos possíveis de bateria.
  • O algoritmo identificou corretamente a relação inversa entre o custo da bateria e o tamanho ótimo.

• Aplicabilidade com Dados de Longo Prazo (1 ano):

  • Ao usar dados de todo o ano de 2022, o método demonstrou superioridade na estabilidade do treinamento.
  • Taxa de Falha: Com tamanho de bateria fixo, 87,5% dos experimentos falharam (recompensa negativa). Com a co-otimização, a taxa de falha caiu para 37,5%.
  • Isso confirma que a adaptação do tamanho da bateria durante o aprendizado ajuda o agente a encontrar configurações que evitam o colapso da política de controle em cenários complexos e de longo prazo.

5. Significado e Conclusão

O trabalho apresenta uma mudança de paradigma na otimização de sistemas de energia, unindo o dimensionamento de ativos físicos e o controle operacional em um único processo de aprendizado.

• Impacto Prático: Oferece uma ferramenta viável para produtores de energia renovável determinarem o tamanho ideal de baterias sem a sobrecarga computacional de métodos tradicionais, garantindo maior lucratividade e menor risco de falha operacional.
• Futuro: Os autores planejam expandir o método para algoritmos de otimização de políticas contínuas e aplicar a abordagem a outros problemas de co-otimização no setor de energia.

Em suma, o artigo demonstra que tratar o dimensionamento da bateria como uma variável de política aprendível, e não apenas como um parâmetro fixo, resulta em soluções mais robustas, eficientes e adaptáveis às dinâmicas complexas dos mercados de energia renovável.