Resumo Técnico: Agendamento Conjunto de Demanda Adiável e Não Adiável com Geração Estocástica Co-localizada

1. Formulação do Problema

Este artigo aborda o agendamento ótimo de dois tipos distintos de demandas elétricas dentro de um sistema energético que possui geração estocástica co-localizada (por exemplo, energia solar em telhados) e eletricidade importada da rede. O sistema é modelado como um Processo de Decisão de Markov (MDP) com horizonte finito, tempo discreto, estado contínuo e restrições.

Os dois tipos de demanda são:

• Demanda Adiável: Chega aleatoriamente (por exemplo, carregamento de Veículos Elétricos) e deve ser concluída até um prazo específico. A quantidade atendida pode ser adiada, mas a demanda não atendida no prazo incorre em uma penalidade estritamente crescente e convexa.
• Demanda Não Adiável: Está sempre presente (por exemplo, HVAC, iluminação) e deve ser atendida imediatamente. No entanto, a quantidade atendida é responsiva ao preço, determinada por uma função de utilidade conhecida, diferenciável e côncava.

O sistema opera sob uma tarifa regulada de Medição Líquida de Energia (NEM), que é determinística, variante no tempo e linear por partes. Esta tarifa distingue entre taxas de importação ($\pi^+_t$) e taxas de exportação ($\pi^-_t$), onde $\pi^+_t \ge \pi^-_t$. O objetivo é maximizar o excedente econômico esperado (utilidade total do consumo menos pagamentos de eletricidade e penalidades de conclusão) ao longo do horizonte de agendamento.

O desafio central reside no espaço de políticas de dimensão infinita resultante de variáveis de estado contínuas (demanda adiável remanescente e geração estocástica) e variáveis de ação contínuas (taxas de atendimento para ambos os tipos de demanda), agravado pela não linearidade da estrutura de preços da NEM.

2. Metodologia e Análise Teórica

O Princípio da Procrastinação

Os autores estabelecem que a política de agendamento ótima segue um "Princípio da Procrastinação". Este princípio dita que a compra de eletricidade da rede deve ser adiada até que seja estritamente necessária para cumprir os prazos e, inversamente, a geração renovável local deve ser priorizada para consumo imediato ou exportação com base nos riscos futuros de preço e geração.

Caracterização Estrutural da Política Ótima

Através de uma análise rigorosa da equação de Bellman, o artigo prova que a política ótima pode ser reduzida de um espaço de dimensão infinita para um espaço euclidiano de dimensão finita definido por três parâmetros de procrastinação (limites) para cada passo de tempo $t$:

1. $\theta^-_t(g_t)$: Um limite inferior na demanda adiável remanescente. Abaixo deste, o sistema prioriza a exportação da geração local sobre o atendimento da demanda adiável, mesmo que isso signifique adiar ainda mais a carga.
2. $\theta^+_t(g_t)$: Um limite superior. Acima deste, o sistema deve atender agressivamente a demanda adiável usando tanto a geração local quanto compras da rede para evitar penalidades de conclusão.
3. $\theta^0_t(g_t)$: Um parâmetro que governa a região de "zero líquido" onde o domicílio nem importa nem exporta.

Estes limites dividem o espaço de estados em três modos operacionais distintos:

• Produção Líquida: A geração local excede a demanda; o excedente é exportado.
• Consumo Líquido: A demanda excede a geração local; energia da rede é comprada.
• Zero Líquido: A geração local corresponde exatamente à demanda; não há interação com a rede.

Dentro dessas regiões, a política define uma estrutura de prioridade para alocar a geração local entre demanda não adiável, demanda adiável e exportação. Por exemplo, na região de "zero líquido", a política equilibra a utilidade marginal dos dispositivos não adiáveis contra o valor marginal de atender a carga adiável, determinado pelos valores específicos dos limites.

Aprendizado por Reforço com Limites de Procrastinação (PTRL)

Para resolver o MDP quando as distribuições de probabilidade subjacentes são desconhecidas, os autores propõem o PTRL, um algoritmo estruturado de Aprendizado por Reforço (RL).

• Redução de Dimensionalidade: Em vez de aprender uma política de ação completa sobre o espaço contínuo de $(K+1)$ dimensões (onde $K$ é o número de dispositivos não adiáveis), o PTRL aprende apenas os três limites de procrastinação ($\theta_t$).
• Arquitetura do Algoritmo: O PTRL utiliza uma estrutura Soft Actor-Critic (SAC). A rede "Ator" gera a média e a covariância dos limites de procrastinação com base no estado atual. A rede "Critic" estima o valor (função Q) de um par estado-limite.
• Execução da Política: Uma vez que os limites são gerados pelo ator, as ações reais de agendamento (taxas de atendimento) são computadas deterministicamente usando as regras estruturais derivadas no Teorema 2.

3. Resultados Chave

Contribuições Teóricas

• Optimalidade da Procrastinação: O artigo prova formalmente que, tanto para tarifas NEM invariantes no tempo quanto variantes no tempo, a política ótima é caracterizada pelos três limites de procrastinação. Isso reduz significativamente a complexidade do problema de agendamento.
• Dependência Linear no Tempo: Para modelos de geração independentes do tempo, o artigo demonstra que os limites de procrastinação satisfazem uma dependência linear no tempo ($\theta^+_t = \theta^+_{t+1} + \bar{v}$), reduzindo ainda mais o número de parâmetros a serem aprendidos.

Desempenho Numérico

Experimentos foram conduzidos utilizando traços de dados do mundo real da Adaptive Charging Network (ACN) para demanda de VE e o conjunto de dados Pecan Street para geração solar e consumo residencial.

• Convergência: O PTRL convergiu significativamente mais rápido (aproximadamente 800 episódios para modelos independentes, 2.000 para modelos markovianos) em comparação com benchmarks padrão como SAC e DDPG, que exigiram cerca de 6.000 e 2.000 episódios, respectivamente.
• Lacuna de Optimalidade: Sob dados de teste sintéticos correspondentes à distribuição de treinamento, o PTRL alcançou uma lacuna em relação à política ótima de apenas 3,34%, comparado a 36,76% para o SAC e 25,91% para o DDPG.
• Robustez a Dados de Campo: Quando testado em dados de campo fora da amostra, o PTRL superou todos os benchmarks (SAC, DDPG e Controle Preditivo de Modelo) por margens substanciais (por exemplo, ~107% de melhoria sobre o SAC). Isso confirma a robustez do algoritmo a incompatibilidades de modelo e estocasticidade do mundo real.
• Eficiência Computacional: O PTRL demonstrou uma vantagem computacional significativa sobre o Controle Preditivo de Modelo (MPC), sendo aproximadamente 19 vezes mais rápido no tempo de avaliação, tornando-o adequado para implementação online.
• Utilização de Fontes de Energia: O PTRL aprendeu efetivamente a priorizar o consumo de energia renovável durante horas fora de pico (quando os preços de exportação são mais baixos) e a guardar renováveis de alto valor de pico para exportação, uma estratégia que os benchmarks padrão não conseguiram replicar com a mesma eficácia.

4. Significado e Alegações

O artigo alega que sua contribuição primária é a caracterização estrutural da política ótima para um problema complexo de agendamento energético do mundo real. Ao identificar o "Princípio da Procrastinação", os autores transformam um MDP intratável de dimensão infinita em um problema de estimação de parâmetros de baixa dimensão.

O significado deste trabalho reside em:

1. Ponte entre Teoria e Prática: Fornece uma base teórica (políticas de limite) que permite o desenvolvimento de algoritmos de aprendizado orientados a dados altamente eficientes (PTRL) que superam tanto o RL padrão quanto métodos de controle tradicionais (MPC).
2. Tratamento de Preços Não Lineares: Diferentemente de trabalhos anteriores que frequentemente assumem preços de atacado lineares, este artigo aborda a natureza linear por partes e variante no tempo das tarifas reguladas de varejo NEM, o que é crítico para a implantação prática em ambientes residenciais e comerciais.
3. Otimização Conjunta: É o primeiro trabalho a agendar conjuntamente demandas adiáveis e não adiáveis com geração estocástica co-localizada, capturando as dependências intertemporais e compensações econômicas inerentes aos sistemas modernos de prosumidores.

Os autores mantêm modéstia quanto a extensões futuras, observando que o quadro atual assume funções de utilidade conhecidas para demanda não adiável e um único tipo de tarefa adiável. Eles sugerem que trabalhos futuros poderiam envolver a integração de otimização inversa online para aprender utilidades e a extensão do quadro para múltiplas tarefas adiáveis simultâneas.