⚡ electrical engineering

Comparative Evaluation of RL-TD3 PID Control against Hybrid and Conventional Optimizers in Renewable -Based Islanded Microgrids

Este artigo demonstra que um controlador PID otimizado por Reinforcement Learning-based Twin Delayed Deep Deterministic Policy Gradient (RL-TD3) supera métodos de otimização convencionais e híbridos, tais como Coati Optimization e Grey Wolf-Cuckoo Search, no aumento da estabilidade do controle de frequência de carga e na rejeição de distúrbios em microrredes isoladas baseadas em renováveis.

Autores originais: Dana Rajaa Shaaban, Ali Nasser Hussain, Ahmed K. Ali, Mohammed Alruwaili, Moustafa Ahmed Ibrahim

Publicado 2026-07-10

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Dana Rajaa Shaaban, Ali Nasser Hussain, Ahmed K. Ali, Mohammed Alruwaili, Moustafa Ahmed Ibrahim

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine uma pequena e isolada ilha de eletricidade chamada Microgrid (Microrrede). É como uma cidade de energia autossuficiente que não se conecta à grande rede nacional. Em vez disso, ela funciona com uma mistura de fontes: algumas são confiáveis (como geradores a diesel), e outras são tão instáveis quanto o clima (como painéis solares e turbinas eólicas).

O grande problema? Manter as luzes acesas na velocidade exata. No mundo da eletricidade, essa velocidade é chamada de frequência. Se o vento parar de soprar de repente ou se alguém ligar um ar-condicionado enorme, a frequência oscila. Se ela oscilar demais, todo o sistema de energia da ilha pode colapsar.

Para resolver isso, a ilha precisa de um sistema de Controle de Frequência de Carga (LFC). Pense neste sistema como o piloto automático da ilha. Seu trabalho é constantemente dar pequenos ajustes nas fontes de energia para manter a frequência estável. Por muito tempo, esses pilotos automáticos usaram uma receita padrão chamada controlador PID. É como um motorista que conhece as regras, mas não consegue reagir rápido o suficiente quando a estrada de repente se transforma em um pântano lamacento e imprevisível.

O Novo Integrante: O Motorista "Super-Aprendiz"

Os pesquisadores deste artigo queriam ver se poderiam construir um piloto automático mais inteligente. Eles não queriam apenas um motorista que segue regras; eles queriam um motorista que aprende com a experiência.

Eles criaram um novo sistema chamado RL-TD3 PID.

PID é o piloto automático padrão.
RL significa Aprendizado por Reforço (Reinforcement Learning). Imagine um personagem de videogame que aprende a vencer tentando milhões de movimentos diferentes, falhando e melhorando a cada tentativa.
TD3 é o algoritmo específico de "cérebro" que eles usaram. É como um treinador superinteligente que observa o jogador, corrige seus erros e o ajuda a evitar superestimar o quão bom ele é (uma armadilha comum no aprendizado).

A equipe treinou este "Super-Aprendiz" em uma simulação de computador. Eles lançaram todo tipo de caos contra ele: picos repentinos na demanda de energia, mudanças climáticas aleatórias e até partes "quebradas", onde os números do sistema estavam ligeiramente incorretos.

O Grande Confronto: Quem Ganha a Corrida?

Para ver se este novo "Super-Aprendiz" era realmente melhor, os pesquisadores o colocaram contra outros dois métodos:

COA (Algoritmo de Otimização de Coati): Um método inspirado na forma como os coatis (um tipo de animal semelhante ao guaxinim) procuram comida.
GWO-CS (Grey Wolf + Cuckoo Search): Um método híbrido que mistura as estratégias de caça dos lobos com os hábitos sorrateiros de postura de ovos dos cucos.

Esses outros dois métodos são como navegadores especialistas que usam mapas complexos e matemática para encontrar a melhor rota antes da viagem começar. Eles são ótimos, mas são estáticos; eles não aprendem enquanto dirigem.

O Resultado:
Nas simulações de computador, o "Super-Aprendiz" RL-TD3 PID consistentemente venceu os outros dois em termos de velocidade e erro geral, embora não tenha sido perfeito em todas as métricas.

Recuperação Mais Rápida: Quando a demanda de energia saltou, o Super-Aprendiz trouxe a frequência de volta ao normal mais rápido (ou com uma velocidade muito semelhante) do que os outros.
Melhor Erro Geral: Ele manteve o erro cumulativo mais baixo ao longo do tempo. O artigo mediu isso usando "planilhas de pontuação" específicas como o ITAE (um número que conta quanto erro ocorreu ao longo do tempo). O Super-Aprendiz obteve pontuações mais baixas, e o baixo é o tipo de baixo que queremos. Por exemplo, em um teste, o Super-Aprendiz teve um ITAE de 2.65E-02, enquanto o método Coati teve 8.40E-02. Essa é uma grande diferença no mundo dos números minúsculos!
Melhor no Caos: Quando os pesquisadores alteraram as configurações do sistema (simulando partes quebradas ou incertas), o Super-Aprendiz permaneceu notavelmente estável. Os dados mostraram que, mesmo quando os parâmetros do sistema foram alterados em ±25%, o tempo de acomodação permaneceu quase idêntico (cerca de 0,043 segundos) em todos os cenários, provando que o controlador é robusto contra a incerteza.

Nota sobre a "Oscilação": Curiosamente, o "Super-Aprendiz" nem sempre teve o menor "solavanco" inicial (overshoot ou undershoot) em todos os testes. Em alguns cenários específicos, ele teve oscilações ligeiramente maiores do que os outros métodos antes de se estabilizar. No entanto, como ele se corrigiu rapidamente e manteve o erro total baixo, ele ainda se saiu melhor no geral. Ele trocou um pequeno solavanco inicial por uma estabilidade de longo prazo muito melhor.

O Que o Artigo Não Diz

É importante saber o que este artigo não afirma.

É uma Simulação, Não uma Vitória no Mundo Real: Os autores afirmam explicitamente que tudo isso foi feito em uma simulação de computador usando MATLAB. Eles não construíram uma ilha real e testaram com motores a diesel e painéis solares reais ainda. O "Super-Aprendiz" é uma ideia promissora, mas ainda não foi comprovado em hardware real.
Não é Perfeito em Todo Lugar: Em alguns cenários de perturbação específicos e complexos, o Super-Aprendiz teve oscilações iniciais (overshoots ou undershoots) ligeiramente maiores do que os outros métodos. Não é uma solução mágica que corrige cada métrica perfeitamente o tempo todo; ele prioriza a correção rápida e o baixo erro total em vez de ter o menor mergulho inicial absoluto.
Não é um Substituto para Tudo: O artigo sugere que esta é um melhor método para estas microrredes isoladas específicas, mas não afirma que resolve todos os problemas de energia do universo.

A Conclusão

O artigo sugere que ensinar um controlador a aprender e se adaptar em tempo real (usando o cérebro TD3) é uma forma poderosa de manter a energia de uma ilha estável, especialmente quando o clima é imprevisível.

Embora o "Super-Aprendiz" tenha mostrado que pode lidar com o caos melhor do que os "Navegadores Especialistas" (COA e GWO-CS) no mundo do computador — especificamente ao minimizar o erro total e manter a estabilidade mesmo quando as partes do sistema estavam "quebradas" — os autores são cuidadosos ao dizer que este é apenas o primeiro passo. Eles admitem que, antes de podermos confiar este sistema com eletricidade real, ele precisa ser testado em hardware real. Mas, por enquanto, os resultados da simulação são um forte indício de que este "motorista que aprende" pode ser o futuro de manter nossas redes elétricas estáveis.

Resumo Técnico: Avaliação Comparativa do Controle PID por RL-TD3 frente a Otimizadores Híbridos e Convencionais em Microrredes Baseadas em Renováveis em Modo Ilhado

Definição do Problema
A integração de fontes de energia renováveis (RES) em microrredes isoladas (IMGs) introduz desafios significativos ao Controle de Frequência de Carga (LFC). Esses desafios decorrem principalmente da redução da inércia do sistema, padrões de geração não confiáveis e dinâmicas de carga imprevisíveis. Sistemas de controle tradicionais, particularmente aqueles que dependem de controladores Proporcional-Integral-Derivativo (PID) de ganho fixo ou métodos de sintonia padrão como Ziegler–Nichols, frequentemente falham em manter a estabilidade da frequência sob condições operacionais não padronizadas e parâmetros variáveis do sistema. Algoritmos de otimização metaheurística (ex: Algoritmos Genéticos, Otimização por Enxame de Partículas) têm sido propostos para sintonizar os ganhos do PID, mas muitas vezes enfrentam dificuldades com distúrbios de carga aleatórios e exigem recursos computacionais extensos para equilibrar hiperparâmetros. Existe uma necessidade crítica de estratégias de controle que ofereçam adaptabilidade, robustez e otimização baseada em dados em tempo real para lidar com a natureza estocástica de IMGs baseadas em renováveis.

Metodologia
O artigo propõe um novo framework de controle que integra um agente de Aprendizado por Reforço (RL), especificamente o algoritmo Twin Delayed Deep Deterministic Policy Gradient (TD3), com um controlador PID. O agente TD3 é projetado para ajustar adaptativamente os ganhos do PID ( $K_p, K_i, K_d$ ) em tempo real com base nas interações do sistema, em vez de depender de valores ótimos pré-calculados.

Modelagem do Sistema: Um modelo matemático dinâmico de uma IMG foi desenvolvido, incorporando diversas unidades de Geração Distribuída (DG) (Gerador de Motor Diesel, Fotovoltaica Solar, Turbina Eólica, Turbina de Biogás, Célula de Combustível) e Sistemas de Armazenamento de Energia (Bateria, Volante de Inércia, Veículos Elétricos). Esses componentes foram modelados usando funções de transferência de primeira ordem e equações de swing para simular a operação autônoma.
Framework RL-TD3: O algoritmo TD3, um método actor-critic, foi empregado para minimizar os desvios de frequência. O agente foi treinado offline ao longo de 1.000 episódios (90 segundos cada) utilizando uma função de recompensa projetada para penalizar erros de frequência. O treinamento utilizou um replay buffer, redes de crítico duplo para reduzir erros de superestimação e suavização de política alvo para aumentar a estabilidade.
Benchmarks Comparativos: O controlador RL-TD3-PID proposto foi comparado contra duas abordagens de otimização metaheurística:
1. COA-PID: Otimizado usando o Algoritmo de Otimização de Coati.
2. CS-GWO-PID: Otimizado usando um híbrido de Otimização de Lobo Cinzento e Cuckoo Search.
Cenários de Simulação: O desempenho foi avaliado em MATLAB sob dois cenários:
1. Cenário I: Uma mudança de carga em dois passos (0,06 para 0,075 p.u.).
2. Cenário II: Distúrbios de carga por degrau aleatórios variando entre 0,02 e 0,09 p.u.
Análise de Robustez: Uma análise de sensibilidade foi conduzida variando parâmetros chave do sistema (constante de inércia $M$ , coeficiente de amortecimento $D$ e constantes de tempo para células de combustível e geradores diesel) em ±25% em configurações uniaxiais e multiaxiais.

Principais Contribuições

Desenvolvimento de um Framework Adaptativo: Os autores desenvolveram um framework de agente de RL baseado em TD3 capaz de controlar adaptativamente os parâmetros do PID em IMGs para neutralizar a variabilidade das renováveis e distúrbios de carga.
Modelo de Simulação Dinâmica: Um modelo de simulação dinâmica abrangente de uma IMG foi construído para validar as capacidades de regulação de frequência do controlador proposto.
Adaptação Online: O estudo demonstra a capacidade do controlador RL-TD3-PID de realizar adaptação online baseada em dados, aumentando a robustez contra incertezas do sistema sem exigir um modelo matemático fixo do ambiente.
Estudo Comparativo Abrangente: O artigo fornece uma comparação estruturada entre a abordagem de RL proposta e métodos de otimização estabelecidos (COA e GWO-CS), avaliando o desempenho em termos de resposta dinâmica, rejeição de distúrbios e incerteza de parâmetros.

Resultos
Os resultados da simulação indicam que o controlador RL-TD3-PID geralmente supera os controladores COA-PID e CS-GWO-PID em termos de resposta dinâmica e rejeição de distúrbios.

Métricas de Desempenho: Em ambos os Cenários I e II, o controlador TD3-PID alcançou valores menores para índices de desempenho integral, incluindo o Erro Absoluto Ponderado pelo Tempo (ITAE) e o Erro Quadrático Ponderado pelo Tempo (ITSE), em comparação com os controladores de otimização.
Resposta Transiente: O controlador TD3-PID demonstrou tempos de acomodação mais rápidos e melhor supressão de oscilações de frequência. Por exemplo, no Cenário I, o ITAE para o TD3-PID foi de $2,65 \times 10^{-2}$ , significativamente menor que os $7,09 \times 10^{-2}$ do CS-GWO-PID e $8,40 \times 10^{-2}$ do COA-PID.
Robustez: Sob incertezas paramétricas (variações de ±25%), o controlador TD3-PID manteve a operação estável com desvio mínimo nos índices de domínio do tempo. Embora alguns valores de overshoot e undershoot tenham aumentado sob distúrbios multiaxiais complexos, o controlador consistentemente retornou o sistema a um estado quase-estacionário com baixo erro de regime permanente.
Convergência: O processo de treinamento mostrou que o agente de RL convergiu com sucesso para valores de ganho de PID estáveis, com a função de recompensa indicando melhoria no desempenho do controle ao longo dos 1.000 episódios.

Significância e Alegações
O artigo afirma que a integração do aprendizado por reforção profundo com o controle PID clássico oferece uma abordagem promissora para a regulação de frequência confiável e eficiente em microrredes isoladas baseadas em renováveis. O estudo destaca que a abordagem RL-TD3 proporciona uma adaptabilidade superior às incertezas do sistema e variações de carga em comparação com métodos de otimização estática.

Os autores posicionam o trabalho como um passo significativo para abordar as limitações dos controladores convencionais ou sintonizados por metaheurísticas em sistemas de baixa inércia. No entanto, o artigo mantém um tom modesto quanto às suas limitações, reconhecendo que os resultados baseiam-se em estudos de simulação e ainda não foram validados através de implementação hardware-in-the-loop ou experimental em tempo real. Os autores observam que, embora o método proposto tenha mostrado desempenho superior na maioria dos cenários testados, os algoritmos de otimização selecionados excederam ligeiramente o desempenho do RL-TD3-PID em casos específicos de distúrbio. O trabalho futuro é identificado como necessário para validação experimental e extensão do framework para topologias de microrredes mais complexas e ambientes com atraso de comunicação.

O Novo Integrante: O Motorista "Super-Aprendiz"

O Grande Confronto: Quem Ganha a Corrida?

O Que o Artigo Não Diz

A Conclusão

Mais como este