Addressing Terminal Constraints in Data-Driven Demand Response Scheduling

Resumo Técnico: Abordagem de Restrições de Terminal em Programação de Resposta à Demanda Baseada em Dados

Declaração do Problema
Processos químicos eletrificados, como Unidades de Separação de Ar (USAs), estão cada vez mais incentivados a participar de esquemas de Resposta à Demanda (RD) para aproveitar mercados de eletricidade variáveis no tempo. Isso exige operação flexível — reduzindo a produção durante períodos de preços altos e utilizando estoques armazenados para atender à demanda — enquanto se adere a restrições operacionais rigorosas. Um desafio crítico neste domínio é satisfazer restrições de terminal (por exemplo, garantir um nível mínimo de armazenamento de produto ao final de um horizonte de programação) para manter a estabilidade dinâmica para períodos subsequentes.

Métodos convencionais de otimização baseados em modelos (por exemplo, MPC Não Linear) são computacionalmente caros e difíceis de manter devido à complexidade dos modelos de primeiros princípios. Embora a Aprendizagem por Reforço (AR) ofereça uma alternativa baseada em dados com baixo custo computacional online, algoritmos de AR sem modelo lutam com a atribuição de crédito de longo horizonte. Especificamente, quando as restrições de terminal são impostas por meio de sinais de recompensa esparsos e atrasados (por exemplo, uma penalidade apenas no último passo de tempo), o agente falha em vincular ações de controle iniciais a resultados distantes. Isso frequentemente leva a comportamento míope, onde o agente esgota o armazenamento para minimizar custos imediatos, violando as restrições de terminal e desestabilizando o processo.

Metodologia
Os autores propõem um framework híbrido integrando Planejamento no Espaço de Metas (GSP) com o algoritmo Deep Deterministic Policy Gradient (DDPG) para abordar a atribuição de crédito de longo horizonte. A abordagem é construída sobre uma estrutura de controle hierárquica, onde um agente de AR de alto nível calcula pontos de ajuste ótimos, e um Controlador Preditivo por Modelo Linear (LMPC) de baixo nível rastreia esses pontos de ajuste.

As contribuições metodológicas centrais incluem:

1. Formulação de Metas: Em vez de tratar as restrições de terminal apenas como problemas de otimização com restrições, os autores as codificam como estados de meta desejáveis. Para a USA, o espaço de metas ($G$) é definido pela discretização do nível de armazenamento do produto e dos períodos de tempo. Essa abstração reduz o espaço de estados de alta dimensão (incluindo impurezas e temperaturas) em uma representação de baixa dimensão focada na variável de restrição (armazenamento).
2. Modelos de Abstração Temporal: O sistema aprende dois tipos de modelos:
   • Modelos Estado-para-Meta: Redes neurais ($r_\gamma, \Gamma$) que estimam o retorno descontado e o fator de desconto de um estado atual até uma submeta alcançável.
   • Modelos Meta-para-Meta: Transições aprendidas ($\tilde{r}, \tilde{\Gamma}$) entre períodos de tempo adjacentes no espaço de metas, construídas a partir de trajetórias observadas.
3. Moldagem de Recompensa Baseada em Potencial: Para propagar valor através de horizontes estendidos, os autores empregam uma atualização de moldagem de recompensa baseada em potencial. A recompensa imediata é aumentada pela diferença nos valores de potencial ($\Phi$), onde a função de potencial é derivada do valor projetado da submeta alcançável mais valiosa. Isso fornece um sinal de aprendizado denso, por passo, que guia o agente em direção às metas terminais sem alterar a política ótima.
4. Poda de Grafos: Para garantir a validade do planejamento no espaço de metas, um mecanismo de poda em dois estágios (busca em largura para frente e para trás) é aplicado ao Grafo Acíclico Direcionado (DAG) de transição de metas. Isso remove nós desconectados ou becos sem saída que não podem alcançar o conjunto terminal, garantindo que a iteração de valor opere em um subgrafo conectado.

Principais Contribuições

• Integração de GSP com DDPG: O artigo demonstra como o GSP pode ser integrado a algoritmos padrão de AR ator-crítico para resolver problemas de programação de longo horizonte com restrições de terminal.
• Eficiência de Amostra: Ao utilizar modelos de abstração temporal, o método desacopla a propagação de valor de dinâmicas de alta frequência, reduzindo significativamente o número de backups de Bellman necessários para propagar o valor terminal para estados iniciais.
• Mitigação da Miopia: A abordagem aborda explicitamente a lacuna de atribuição de crédito na AR sem modelo, impedindo que o agente sacrifique a estabilidade de longo prazo por economias de custos de curto prazo.

Resultados
O método proposto foi avaliado em um benchmark simulado de USA ao longo de um horizonte de 72 horas com preços de eletricidade variáveis no tempo.

• Curvas de Aprendizado: A variante "GSP Online" (aprendendo modelos durante o treinamento) e "GSP Offline" (usando modelos pré-treinados) demonstraram ambas eficiência de amostra superior em comparação com o DDPG padrão. O GSP Online aproximou-se do desempenho ótimo pelo passo 1.000, e o GSP Offline convergiu dentro de 500 passos, enquanto o DDPG padrão lutou para convergir efetivamente dentro do mesmo período.
• Satisfação de Restrições: Políticas padrão de DDPG exibiram comportamento míope, esgotando o armazenamento no início do horizonte e subestimando significativamente a restrição de armazenamento terminal. Em contraste, políticas baseadas em GSP mantiveram níveis de armazenamento elevados e responderam estrategicamente aos sinais de preço, satisfazendo consistentemente a restrição de terminal.
• Estudo de Ablação: A remoção da projeção estado-para-meta (GSP Online sem projeção) resultou em degradação de desempenho, confirmando que o mapeamento fino de estados para metas abstratas é essencial para uma atribuição de crédito eficaz.
• Sobrecarga Computacional: O custo computacional do GSP Online foi modesto, adicionando aproximadamente 15% ao tempo de relógio por episódio devido à reconstrução de grafos e iteração de valor, enquanto o GSP Offline adicionou menos de 5%.

Significado e Alegações
O artigo alega que o Planejamento no Espaço de Metas fornece um mecanismo eficaz para injetar conhecimento de domínio na AR sem modelo, construindo espaços de metas alinhados com variáveis de restrição chave. Os autores afirmam que essa abordagem permite que agentes adquiram representações interpretáveis de compromissos temporais, resolvendo o problema de atribuição de crédito de longo horizonte que tipicamente limita a aplicabilidade de métodos baseados em dados em sistemas de processos. Os resultados sugerem que abstrações baseadas em metas são uma rota promissora para enfrentar outros problemas de controle onde restrições de terminal ou de caminho são críticas, oferecendo um equilíbrio entre a flexibilidade de métodos baseados em dados e os requisitos de estabilidade de processos industriais.