Load frequency control framework of renewable integrated power systems in multi scenario disturbance conditions with the proximal policy optimization  

Resumo Técnico: Estrutura de Controle de Frequência de Carga para Sistemas de Energia Integrados com Renováveis Usando Otimização de Política Próxima

Definição do Problema
A rápida integração de fontes de energia renováveis (eólica e fotovoltaica) em sistemas de potência modernos alterou fundamentalmente a dinâmica do sistema, principalmente ao reduzir a inércia agregada do sistema. Diferente dos geradores síncronos convencionais, as renováveis interfaceadas por conversores fornecem inércia mecânica desprezível, levando a taxas de variação de frequência (RoCoF) mais elevadas, nadires de frequência mais profundos e maior suscetibilidade a distúrbios. Estratégias tradicionais de Controle de Frequência de Carga (LFC), como controladores Proporcional-Integral (PI) com ganhos fixos ou sintonia heurística (ex: Ziegler-Nichols), frequentemente falham em manter a estabilidade sob estas condições de baixa inércia e saídas renováveis estocásticas. Embora estudos recentes tenham explorado o Aprendizado por Reforço (RL) para LFC, muitas abordagens existentes utilizam o RL meramente como um mecanismo de sintonia de ganhos para controladores pré-definidos (ex: PID ou Fuzzy-PI) ou utilizam algoritmos de RL profundo complexos (ex: DDPG, TD3) que sofrem com alta complexidade computacional, sensibilidade a hiperparâmetros e instabilidade de convergência. Existe uma lacuna para uma estrutura de controle totalmente adaptável, estruturalmente simplificada e computacionalmente eficiente, capaz de lidar com distúrbios de múltiplos cenários realistas sem camadas de sintonia auxiliares.

Metodologia
O artigo propõe uma estrutura de LFC secundária onde o sinal de controle é gerado diretamente por um agente de Otimização de Política Próxima (PPO), formulando a regulação de frequência como um problema de decisão de controle contínuo, em vez de uma tarefa de escalonamento de ganhos.

• Modelagem do Sistema: O sistema físico é modelado usando um modelo dinâmico substituto de ordem reduzida baseado na equação de oscilação (swing equation). Este modelo incorpora a redução da inércia efetiva devido à penetração de renováveis, atraso do atuador, restrições de taxa de rampa e suavização de frequência. O vetor de estado inclui o desvio de frequência instantâneo ($\Delta f$), o desvio de frequência integral ($I_f$) e o comando de geração realizado ($P_{act}$).
• Formulação PPO: O controlador utiliza uma política estocástica $\pi_\theta(a_t|s_t)$ onde as ações são amostradas de uma distribuição Gaussiana. O algoritmo emprega uma função de objetivo de substituição truncada (clipped surrogate objective) para limitar as atualizações da política, garantindo um aprendizado estável e evitando passos grandes e desestabilizadores.
• Estrutura de Recompensa: Uma função de recompensa multiobjetivo unificada é projetada para penalizar o desvio de frequência, o erro integral cumulativo, o esforço de controle, a suavidade da atuação e os custos operacionais (modelados via uma função de custo de combustível quadrática). Crucialmente, a recompensa também inclui penalidades por violações de limites de segurança de frequência e saturação do atuador, guiando o agente para uma operação segura e econômica.
• Cenários de Distúrbio: A estrutura é avaliada sob quatro condições distintas de distúrbio realistas:
  1. Caso 1: Distúrbios de carga em estágios combinados com oscilações de fundo das renováveis.
  2. Caso 2: Distúrbios cíclicos de longa duração com pulsos intermitentes e ruído estocástico.
  3. Caso 3: Estresse oscilatório transiente simulando variabilidade de renováveis induzida por tempestades e nuvens.
  4. Caso 4: Uma contingência realista de múltiplos eventos envolvendo interrupções de renováveis, carga de pico e recuperação em estágios.

Principais Contribuições

1. Controle Direto Baseado em Política: Ao contrário de estudos que usam RL para sintonia de ganhos, este trabalho formula o LFC como um problema direto de controle contínuo, onde o agente PPO aprende uma política que mapeia estados do sistema para ações de controle sem estruturas de controladores pré-definidas.
2. Validação Abrangente de Múltiplos Cenários: A estrutura é rigorosamente testada contra quatro cenários de distúrbio complexos que mimetizam estresses reais da rede, incluindo intermitência de renováveis, variações de ciclo longo e contingências compostas, indo além de simples testes de degrau de carga.
3. Superioridade de Desempenho: O controlador PPO proposto é comparado contra controladores clássicos otimizados (GA-PI, TS-Fuzzy-PI, GA-Fuzzy-PI) e variantes avançadas de RL profundo (DDPG, TD3, SAC).
4. Integração Econômica: A função de recompensa multiobjetivo integra explicitamente os custos de geração, demonstrando que a política aprendida alcança estabilidade de frequência enquanto minimiza simultaneamente os custos operacionais.

Resultados
Os resultados de simulação, conduzidos ao longo de horizontes de tempo estendidos (até 8 400 segundos), demonstram melhorias significativas de desempenho do controlador baseado em PPO sobre todos os benchmarks:

• Caso 1 (Degrau de Carga): O controlador PPO reduziu o Erro Integral do Quadrado (ISE) para 0,45196, uma melhoria drástica comparado a aproximadamente 1060 para os controladores de referência. Ele alcançou um overshoot de 0,0171 Hz e um desvio de frequência absoluto médio de 0,0010 Hz.
• Caso 2 (Distúrbio Cíclico): Sob variações cíclicas de longo prazo, o controlador PPO reduziu o ISE para 0,031126 com uma mudança de amplitude média de 0,00043351 Hz, enquanto outros métodos exibiram desvios em torno de 0,3125 Hz.
• Caso 3 (Estresse Oscilatório): O controlador manteve a frequência dentro de uma banda estreita, alcançando um ISE de aproximadamente 0,03 e um erro absoluto médio abaixo de 0,0005 Hz.
• Caso 4 (Contingência Realista): No cenário mais complexo envolvendo interrupções e cargas de pico, o controlador PPO alcançou um ISE de 0,10953 e um overshoot restrito de 0,023203 Hz, com um tempo de acomodação de 59 segundos comparado a mais de 7.000 segundos para alguns benchmarks.
• Eficiência Econômica: Em todos os casos, a formulação de recompensa multiobjetivo resultou em uma redução de 60–75% nos custos totais de geração em comparação com os métodos de base.
• Estabilidade: O processo de treinamento mostrou uma melhoria consistente da recompensa e convergência sem overfitting, validando a estabilidade da política aprendida.

Significância e Alegações
Os autores afirmam que a estrutura proposta baseada em PPO oferece uma solução resiliente, adaptável e de custo-benefício para a estabilização de frequência em sistemas de potência dominados por renováveis. O estudo assegura que o método aborda com sucesso as limitações dos controladores tradicionais (falta de adaptabilidade) e dos métodos complexos de RL profundo (carga computacional e instabilidade). Ao aprender uma política de controle direta, a estrutura elimina a necessidade de sintonia heurística ou arquiteturas híbridas, fornecendo uma abordagem estruturalmente simplificada, porém altamente eficaz. Os achados sugerem que o aprendizado por reforço de gradiente de política, especificamente o PPO, pode servir como uma alternativa robusta tanto para técnicas de controle clássicas quanto para técnicas avançadas de ator-crítico em sistemas de potência de baixa inércia. O artigo conclui que esta abordagem é adequada para aplicação em tempo real e pode ser escalada para sistemas de múltiplas áreas em trabalhos futuros.