Learning Reachability of Energy Storage Arbitrage

Resumo Técnico: Aprendizado da Alcançabilidade de Arbitragem em Armazenamento de Energia

Enunciado do Problema
Os sistemas de energia estão cada vez mais sujeitos à variabilidade impulsionada pelo clima, necessitando de recursos de armazenamento flexíveis e limitados em energia para amortecer flutuações. No entanto, o valor econômico do armazenamento de energia é dependente do tempo e baseia-se em decisões intertemporais sob preços incertos. Sem levar em conta o valor futuro de confiabilidade da energia armazenada, os ativos de bateria podem agir de forma míope, descarregando muito cedo ou falhando em preservar reservas durante "horas críticas" (períodos de alta tensão do sistema). Esse comportamento leva a um desempenho econômico subótimo e à redução da confiabilidade do sistema.

Dois desafios principais surgem ao tentar internalizar a confiabilidade nos sinais de mercado para ativos individuais de armazenamento:

1. Alcançabilidade: Determinar se existe uma sequência de ações de controle que permita à bateria alcançar e manter uma faixa desejada de Estado de Carga (SoC) até um tempo crítico $\tau$, satisfazendo os limites operacionais para uma fração mínima de realizações de incerteza.
2. Quantificação de Probabilidade: Calcular a probabilidade de que o SoC terminal esteja dentro de uma faixa-alvo durante as horas críticas. Soluções analíticas para esses problemas com restrições de chance são frequentemente computacionalmente caras ou intratáveis sob dinâmicas de preços realistas e de cauda pesada.

Mecanismos existentes, como requisitos de Estado de Carga Mínimo (MSOC), frequentemente introduzem perdas de eficiência ou complexidade de implementação. Além disso, abordagens padrão de aprendizado de máquina para controle de estoque não internalizam diretamente a decisão de "tempo de parada" — o momento específico para transicionar da arbitragem para a preservação de reservas.

Metodologia
O artigo propõe um framework que integra uma recompensa de tempo de parada com uma penalidade de faixa-alvo de Estado de Carga (SoC) para alinhar os incentivos de arbitragem com a confiabilidade do sistema. O objetivo central é recompensar ativos de armazenamento que transitam para e mantêm um modo de preservação de reservas suficientemente cedo para garantir uma trajetória viável a um SoC alvo antes das horas críticas.

Os autores formulam o problema como uma otimização online com um SoC terminal sujeito a restrições de chance e avaliam três abordagens distintas:

1. Aproximação por Média de Amostras (SAA): Uma formulação de referência que substitui a representação da incerteza por médias empíricas usando cenários históricos. Emprega uma reformulação de inteiro misto para impor a restrição de chance, permitindo a identificação de tempos de parada ótimos, mas sofrendo de alta complexidade computacional à medida que o número de cenários aumenta.
2. Deep Q-Learning (DQN): Uma abordagem de aprendizado por reforço sem modelo que enquadra o problema de arbitragem como um Processo de Decisão de Markov (MDP). O espaço de estados inclui SoC discretizado, um indicador de parada e faixas de preço. A função de recompensa inclui lucros de arbitragem, uma recompensa de tempo de parada (ativada ao entrar no modo de reserva) e uma penalidade terminal por violar a faixa-alvo de SoC. Embora escalável para observações de alta dimensão, este método pode exibir alta variância e sensibilidade ao ajuste de penalidades.
3. Framework de Aprendizado de Ponta a Ponta (E2E): A principal contribuição proposta. Esta abordagem treina conjuntamente um preditor de preços (representado como um conjunto de incerteza) e uma tarefa de otimização diferenciável a jusante.
   • Quantificação de Incerteza: O preditor gera um preço central e um conjunto de incerteza calibrado usando previsão conformal para alcançar cobertura de amostra finita para realizações futuras de preços.
   • Otimização Robusta: A camada de despacho resolve um problema de arbitragem robusto sob o pior cenário dentro do conjunto de incerteza calibrado.
   • Treinamento Orientado a Tarefa: Em vez de minimizar erros de previsão genéricos, o preditor é otimizado para maximizar o objetivo a jusante (lucro de arbitragem + recompensa de tempo de parada). Gradientes são retropropagados através da camada de otimização até o preditor, alinhando previsões com objetivos operacionais de confiabilidade.

Principais Contribuições

• Integração de Recompensa de Tempo de Parada: O artigo estende o problema de arbitragem de bateria introduzindo uma recompensa de tempo de parada e uma penalidade de SoC terminal. Isso internaliza a preferência do operador de preservar energia antes das horas críticas, direcionando ativos para trajetórias de SoC viáveis e melhorando a alcançabilidade.
• Framework E2E para Confiabilidade: Os autores incorporam a recompensa de tempo de parada dentro de um framework de aprendizado E2E. Esta abordagem calibra o preditor de preço-energia para uma tarefa específica de otimização a jusante, fornecendo garantias de robustez. Visa aumentar o lucro sob realizações de preços no pior caso, mantendo uma probabilidade definida pelo usuário de atender ao alvo de SoC terminal.
• Comparação Empírica: O estudo fornece uma análise comparativa da abordagem E2E contra as linhas de base SAA e DQN usando dados reais de preços day-ahead da PJM. Os resultados destacam o trade-off entre fornecimento de confiabilidade e lucro do ativo, demonstrando que sinais de controle indexados no tempo (recompensas de tempo de parada) podem direcionar baterias para comportamentos consistentes com a confiabilidade.

Resultados
Utilizando seis anos de dados da PJM com um horizonte de 24 horas e uma hora crítica em $t=24$, os modelos foram avaliados através de níveis variáveis de recompensa de parada ($c$):

• SAA: Alcançou lucros mais altos devido à ausência de termos de penalidade na linha de base, mas mostrou mudanças em degraus nos tempos de parada à medida que as recompensas aumentavam.
• DQN: Produziu as maiores magnitudes de lucro em certas faixas de recompensa (por exemplo, $c=15$), mas exibiu alta variância (até 128% de desvio padrão) e violações ocasionais de viabilidade. Os tempos de parada aprendidos foram sensíveis à escala da penalidade.
• E2E: Entregou menor variabilidade no lucro (desvio padrão reduzido para 1-3%) e decisões de tempo de parada mais consistentes. Embora o lucro esperado fosse menor que o do DQN em alguns cenários de baixa recompensa devido ao seu design robusto, manteve alta cobertura marginal (acima de 94%) através das realizações de preços. À medida que a recompensa de parada aumentava, o lucro do modelo E2E aproximou-se do de outros modelos enquanto mantinha estabilidade.

Significado e Alegações
O artigo afirma que o design proposto aprimora a alcançabilidade de faixas de SoC alvo e melhora a estabilidade de lucros sob condições voláteis. Ao introduzir uma recompensa de tempo de parada, o framework atua como uma barreira temporal que dispara antes do "ponto sem retorno", alterando a política da arbitragem para o modo de preservação. Isso alinha incentivos privados de arbitragem com o objetivo público sistêmico de resiliência, sem exigir regras administrativas fora do despacho de mercado.

Os autores afirmam que a abordagem E2E oferece uma alternativa compatível com o mercado aos requisitos rígidos de SoC mínimo. Ela reconcilia as perspectivas do sistema e do ativo ao endogenizar o valor e a probabilidade da alcançabilidade do SoC terminal. O estudo conclui que o modelo E2E produz a menor variabilidade em decisões e tempos de parada estáveis, enquanto o DQN, embora potencialmente mais lucrativo, sofre de maior variância e riscos de viabilidade. Sugere-se trabalho futuro para estender este framework ao controle preditivo e quantificar ainda mais o risco do operador do sistema através de dinâmicas de séries temporais.