Resumo Técnico: Aprendizado por Reforço Hierárquico com Restrições e Fronteira Dinâmica para Escalonamento de Veículo-para-Rede Espaço-Temporal

1. Formulação do Problema

O artigo aborda o desafio de integrar frotas de Veículos Elétricos (VE) de larga escala na estrutura de Fluxo de Potência Ótima (OPF) para o escalonamento de Veículo-para-Rede (V2G). Esta integração é crítica para a estabilidade da rede e mitigação de renováveis, mas enfrenta dois obstáculos primários:

1. Complexidade Computacional: Formulações tradicionais de Programação Não Linear Inteira Mista (MINLP) para OPF-EV sofrem com altos custos computacionais devido aos estados discretos de conexão dos VEs e equações de fluxo de potência não lineares. Solvers como o SCIP escalam mal, e o Controle Preditivo Baseado em Modelo (MPC) incorre em um overhead significativo devido à sua natureza iterativa, tornando a coordenação em tempo real de grandes frotas impraticável.
2. Satisfação de Restrições no Aprendizado: Métodos de Aprendizado por Reforço Profundo (DRL) existentes lutam para equilibrar escalabilidade com a aplicação estrita de restrições. A maioria das abordagens de "Safe RL" depende de penalidades suaves ou projeções post-hoc que falham em garantir a adesão estrita às restrições de igualdade de balanço de potência física (AC-OPF) ou às demandas de carregamento temporalmente acopladas de VEs individuais. Além disso, os frameworks de RL padrão frequentemente assumem dimensões de estado/ação fixas, falhando em acomodar a chegada e partida dinâmica de VEs.

O objetivo é minimizar o custo combinado de geração da rede e o custo de carregamento do VE, enquanto satisfaz as equações de fluxo de potência AC, limites de gerador/tensão e garante que cada VE atinja seu estado de carga (SOC) alvo antes da partida.

2. Metodologia: Estrutura HPC-RL

Os autores propõem o HPC-RL (Hierarchical Policy for Constrained Reinforcement Learning), uma arquitetura de duas camadas projetada para desacoplar as restrições espaciais da rede das restrições temporais dos VEs.

2.1 Nível Superior: GRG-SAC Integrado à Física

O nível superior gerencia variáveis ao nível da rede (potência ativa/reativa do gerador, magnitudes de tensão e ângulos de fase) e demandas de carregamento agregadas.

• Integração GRG: Em vez de tratar as equações de fluxo de potência como restrições suaves, o framework as incorpora analiticamente no processo de geração de política usando o método do Gradiente Reduzido Generalizado (GRG) combinado com Soft Actor-Critic (SAC).
• Decomposição de Variáveis: As variáveis de decisão são divididas em ações básicas ($a_B$, ex: potência do gerador, magnitudes de tensão em barras de não-carga) produzidas pela política de RL, e variáveis não básicas ($a_N$, ex: tensões de barras de carga, ângulos de fase).
• Mapeamento Implícito: As variáveis não básicas são derivadas deterministicamente resolvendo as equações de igualdade de balanço de potência ($h(a_B, a_N) = 0$) via método de Newton. Isso cria um mapeamento implícito $a_N = \phi(a_B)$.
• Propagação de Gradiente: Usando o Teorema da Função Implícita, os gradientes são propagados de volta através deste mapeamento para atualizar a política, garantindo que as atualizações permaneçam dentro do espaço tangente das restrições de igualdade.
• Tratamento de Desigualdades: Um mecanismo de projeção mapeia as ações para o conjunto factível caso as restrições de desigualdade (ex: limites de tensão) sejam violadas.

2.2 Nível Inferior: Estratégia de Fronteira Dinâmica

O nível inferior lida com o despacho de VEs individuais dentro das estações de carregamento para abordar restrições temporalmente acopladas (garantindo que os VEs alcancem o SOC alvo antes da partida).

• Fronteiras Dinâmicas: O framework introduz uma estratégia inovadora para calcular os limites de potência de carregamento factíveis em tempo real ($P^{min}_{i,ch}$ e $P^{max}_{i,ch}$) para cada VE.
  • O limite superior é restringido pelas taxas físicas de carregamento e capacidade residual da bateria.
  • O limite inferior é calculado com base no tempo restante até a partida e o déficit entre o SOC atual e o alvo, garantindo que o carregamento possa ser concluído se a potência mínima for aplicada.
• Alocação de Prioridade: O alocador de nível inferior primeiro garante que todos os VEs recebam sua potência mínima necessária (imposta pelas fronteiras dinâmicas). A capacidade restante da estação é então distribuída para os VEs com maior urgência de carregamento (baseado nos déficits de SOC e partida iminente).
• Representação de Estado: Uma camada especializada de embedding de demanda codifica requisitos de carregamento futuros no espaço de estado para melhorar a eficiência do aprendizado.

3. Principais Contribuições

1. Aplicação Unificada de Restrições Espaço-Temporais: O artigo integra o método GRG ao RL para impor estritamente a segurança física do nível da rede (igualdade de fluxo de potência) enquanto utiliza uma estratégia de fronteira dinâmica para garantir as demandas de carregamento temporais. Isso vai além de penalidades suaves para a satisfação de restrições rígidas.
2. Escalabilidade Hierárquica: Ao desacoplar o despacho de potência do nível da rede da alocação individual de VEs, o framework supera a "maldição da dimensionalidade" associada a frotas de VEs de grande escala e tamanho variável.
3. Viabilidade em Tempo Real: O método alcança um escalonamento próximo do ótimo com taxas de violação de restrição próximas de zero, reduzindo drasticamente o tempo de computação online em comparação com solvers tradicionais.

4. Resultados Experimentais

Experimentos foram conduzidos nos sistemas IEEE 14, 30 e um sistema 141-bar modificado, comparando o HPC-RL contra MPC e vários baselines de Safe RL (CPO, CUP, DDPGLA, SACLA).

• Satisfação de Restrições: O HPC-RL alcançou 100% de satisfação de demanda e violações de restrição próximas de zero em todas as escalas. Em contraste, os métodos de Safe RL baselines frequentemente sofreram de violações severas de restrição (ex: CPO mostrou magnitudes de violação de 0,77–164,25) ou falharam em atender às demandas de carregamento dos VEs (66–92% de satisfação).
• Eficiência Computacional: O HPC-RL reduziu o tempo de inferência online em fatores de 52×, 67× e 319× em comparação ao MPC nos sistemas de 14, 30 e 141 barras, respectivamente. Enquanto o MPC levava centenas a milhares de segundos, o HPC-RL operou em menos de 5 segundos mesmo para o sistema de 141 barras.
• Otimalidade: O HPC-RL incorreu em um gap de custo de objetivo moderado (aprox. 7–13%) em relação à solução ótima do MPC, mas forneceu uma solução factível onde o MPC era computacionalmente proibitivo para uso em tempo real.
• Escalabilidade: O sistema manteve a eficiência conforme o número de VEs ativos aumentava de 1 para 50, com tempos de inferência permanecendo baixos (abaixo de 2 segundos para 50 VEs) comparado ao crescimento exponencial do MPC.
• Estudos de Ablação:
  • Embedding de Demanda: Incorporar informações de demanda futura na representação de estado melhorou significamente a velocidade de convergência e reduziu as violações de restrição.
  • Alocação de Prioridade: A alocação baseada em prioridade dinâmica superou a distribuição média estática na acumulação de recompensa, mantendo a segurança das restrições.

5. Significância e Alegações

O artigo afirma que o HPC-RL fornece um paradigma computacionalmente tratável e fisicamente confiável para a coordenação de V2G em larga escala. Sua significância reside em resolver o conflito fundamental entre escalabilidade em tempo real e a satisfação estrita de restrições espaço-temporais acopladas. Ao incorporar analiticamente as restrições físicas no processo de aprendizado e desacoplar obrigações temporais via fronteiras dinâmicas, o método permite o implantação do escalonamento V2G baseado em RL em cenários onde a otimização tradicional é muito lenta ou o RL padrão é inseguro. Os autores posicionam isso como um passo em direção ao tratamento de geração renovável estocástica e topologias de distribuição complexas em trabalhos futuros.