Multi-market value-stacking: Battery control for combined imbalance participation and non-uniform FCR bidding

Resumo Técnico: Empilhamento de Valor em Múltiplos Mercados com Ofertas de FCR Não Uniformes

Declaração do Problema
O aumento da penetração de Fontes de Energia Renovável (FER) nos sistemas elétricos europeus intensificou os desvios de frequência e os desequilíbrios do sistema, tornando necessários serviços auxiliares robustos, como a Reserva de Contenção de Frequência (FCR). Os Sistemas de Armazenamento de Energia por Baterias (BESS) são ideais para esses serviços devido à sua resposta rápida; no entanto, são classificados como Recursos de Energia Limitada (LER). Essa classificação exige uma gestão rigorosa do Estado de Energia (SoE) para garantir a disponibilidade contínua tanto para ativações de FCR de subida quanto de descida.

A pesquisa existente geralmente emprega ofertas de FCR uniformes, onde os compromissos de capacidade de reserva permanecem estáticos durante todo o período de controle. Essa abordagem estática não explora plenamente a flexibilidade do BESS, pois não equilibra dinamicamente o trade-off entre reservar energia para entrega de FCR e utilizar essa energia para arbitragem de desequilíbrio. Embora o Aprendizado por Reforço Profundo (DRL) tenha sido aplicado ao controle de desequilíbrio em tempo real, ele operou amplamente sob essas restrições de ofertas uniformes e estáticas. Por outro lado, a oferta não uniforme (compromissos variáveis no tempo) mostrou promessa em cenários determinísticos, mas não foi efetivamente integrada ao controle estocástico em tempo real de alta resolução. Este artigo aborda essa lacuna: é possível desbloquear receita adicional combinando ofertas de FCR não uniformes com controle de desequilíbrio em tempo real?

Metodologia
Os autores propõem um framework de controle em duas etapas projetado para o contexto europeu, visando desacoplar decisões de oferta de longo horizonte do controle rápido em tempo real:

1. Etapa 1: Otimização de Oferta de FCR Não Uniforme Baseada em Dados

   • Objetivo: Derivar uma sequência temporal de ofertas de FCR (em blocos de 4 horas) que maximize o lucro esperado, sem depender de previsão perfeita para a camada em tempo real.
   • Abordagem: Uma otimização Monte Carlo (MC) baseada em dados é realizada ex-post utilizando dados de frequência e preços realizados. Para cada bloco de 4 horas, o sistema avalia ofertas candidatas discretas (0 a $P_{nom}-1$ MW).
   • Simulação: Cada oferta candidata é testada via 50 simulações MC com resolução de 1 segundo, incorporando ativações históricas de FCR e liquidações financeiras.
   • Controle Heurístico: Uma heurística simples baseada em regras gerencia o SoE durante essas simulações para garantir que as restrições de FCR sejam atendidas, ao mesmo tempo em que captura receitas de desequilíbrio.
   • Ajuste: Para evitar viés decorrente dos níveis de SoE no final do bloco, um ajuste de valor terminal é aplicado à métrica de lucro, contabilizando o custo de oportunidade da energia remanescente no bloco subsequente. A oferta com o maior lucro ajustado esperado é selecionada para o bloco.

2. Etapa 2: Controle de Desequilíbrio em Tempo Real Baseado em DRL

   • Objetivo: Explorar a flexibilidade residual (a diferença entre a potência nominal e a oferta da Etapa 1) para negociação de desequilíbrio em tempo real, mantendo a viabilidade do SoE.
   • Agente: Uma Rede Dupla de Q-Profunda (DDQN) opera em intervalos de 1 minuto, alinhada com as atualizações do sinal de preço de desequilíbrio.
   • Espaço de Estado: O agente observa sinais de mercado (preços de desequilíbrio, características temporais), estado físico (SoE, uso cumulativo de ciclos) e contexto de restrição (distância aos limites de SoE, compromissos de FCR atuais/em breve).
   • Espaço de Ação: Decisões discretas de carga, inatividade ou descarga mapeadas para a flexibilidade residual disponível.
   • Mecanismo de Segurança: Uma camada de segurança de dois níveis garante conformidade: (i) uma máscara de ação filtra pontos de ajuste que provavelmente violariam restrições e (ii) uma anulação reativa corrige ações se ativações estocásticas de FCR empurrarem o SoE para fora dos limites.
   • Função de Recompensa: Uma função multiobjetivo equilibra a receita líquida de desequilíbrio, a segurança operacional (penalizando proximidade/violação do SoE) e a saúde da bateria (penalizando o throughput excessivo de ciclos diários).

Principais Contribuições

• Framework Inovador: Introdução de uma arquitetura em duas etapas que integra ofertas de FCR não uniformes com controle em tempo real baseado em DRL, abordando a limitação de ofertas estáticas na literatura existente.
• Prova de Conceito: Demonstração de que estratégias de oferta variáveis no tempo podem ser derivadas via otimização MC baseada em dados para criar um "envelope de viabilidade" dinâmico para o controlador em tempo real.
• Implementação Algorítmica: Aplicação de DDQN para gerenciar o complexo trade-off entre conformidade com FCR e arbitragem de desequilíbrio sob restrições variáveis no tempo, utilizando uma estrutura de recompensa específica para gerenciar a degradação da bateria.

Resultados
O framework foi avaliado utilizando um BESS de 10 MW / 20 MWh no mercado belga ao longo do ano completo de 2022, empregando dados de frequência e de mercado de alta resolução.

• Aumento de Lucro: A estratégia não uniforme proposta alcançou um lucro líquido total de €3,06 milhões, representando um aumento de 7,56% sobre a melhor linha de base uniforme (€2,84 milhões).
• Composição da Receita: A receita específica de FCR permaneceu comparável entre as estratégias não uniforme e uniforme de melhor desempenho, indicando que o otimizador alocou capacidade efetivamente durante períodos de preços de FCR elevados. O ganho principal (aprox. 7,5%) derivou de arbitragem de desequilíbrio aumentada.
• Dinâmicas Operacionais: Ao reduzir dinamicamente as obrigações de FCR durante períodos de alta volatilidade de desequilíbrio, a estratégia não uniforme expandiu as margens operacionais de SoE. Isso permitiu que o agente DRL executasse estratégias de arbitragem mais agressivas que seriam restritas sob ofertas estáticas.
• Saúde do Ativo: Apesar de um número maior de ciclos de carga em comparação com as linhas de base uniformes, o agente manteve com sucesso o throughput total dentro do limite diário de ciclos prescrito ($C_{max}$), demonstrando a utilização eficaz da folga disponível sem violar restrições de longevidade.
• Comportamento de Oferta: O otimizador selecionou ofertas de FCR maiores quando os preços de FCR estavam altos e reduziu ofertas quando a volatilidade do preço de desequilíbrio aumentou, criando um padrão de transição diagonal entre capacidade de FCR e flexibilidade de desequilíbrio.

Significado e Alegações
O artigo afirma que ofertas não uniformes desbloqueiam valor adicional ao alinhar mais efetivamente as obrigações de reserva com oportunidades de desequilíbrio em rápida mudança. O estudo postula que a arquitetura "ofereça e depois controle a flexibilidade residual" fornece uma abstração reutilizável para outros cenários de empilhamento de valor envolvendo restrições dependentes do tempo (por exemplo, aFRR, PV-BESS híbrido).

Os autores mantêm uma postura modesta em relação à implementação atual:

• A otimização da Etapa 1 depende de dados ex-post, servindo como prova de conceito e um benchmark de limite superior, em vez de uma ferramenta de previsão implantável.
• O uso de DDQN é apresentado como uma linha de base estável para isolar o impacto da estratégia de oferta, em vez de comparar algoritmos de RL com alternativas de última geração.
• Trabalho futuro é identificado como necessário para integrar seleção de ofertas proativa baseada em previsão e explorar arquiteturas de RL mais robustas.

Os resultados sugerem que ir além de compromissos estáticos e uniformes permite que operadores de BESS capturem receita adicional significativa em ambientes de múltiplos mercados, mantendo conformidade rigorosa com os requisitos de serviços auxiliares.