Load constrained wind farm flow control through multi-objective multi-agent reinforcement learning

Resumo Técnico: Controle de Fluxo em Parques Eólicos com Restrição de Carga via Aprendizado por Reforço Multiagente de Múltiplos Objetivos

1. O Problema

O controle de fluxo em parques eólicos (WFFC) visa otimizar a produção de energia através do wake steering (direcionamento de esteira), ajustando o ângulo de guinada (yaw) das turbinas para desviar as esteiras de turbinas a jusante. No entanto, essa prática frequentemente aumenta as cargas estruturais (fadiga) nas turbinas que recebem o fluxo desviado.

O desafio central é que os controladores atuais costumam ser "gananciosos" (greedy), focando apenas na produção local de energia e ignorando as interações entre turbinas e o impacto nas cargas de fadiga, como o momento de flexão da raiz da pá (blade root flapwise moment). O objetivo deste estudo é encontrar um equilíbrio entre a maximização da potência total do parque e a manutenção de limites estritos de aumento de Carga Equivalente de Dano (DEL - Damage Equivalent Loads).

2. Metodologia

Os autores propõem um framework de Aprendizado por Reforço Multiagente (MARL) integrado a um modelo substituto (surrogate model) de dados para estimar cargas em tempo real.

• Arquitetura de Controle: Utiliza-se o algoritmo Independent Soft Actor-Critic (I-SAC). Cada turbina é controlada por um agente específico que opera de forma descentralizada, mas coordena suas ações através de um sinal de recompensa global compartilhado, promovendo o comportamento colaborativo.
• Modelagem do Problema: O problema é formulado como um Processo de Decisão de Markov Parcialmente Observável (POMDP), refletindo a incerteza inerente à turbulência eólica.
• Modelo de Carga (Surrogate Model): Para evitar o alto custo computacional de simulações aeroelásticas em tempo real, utilizou-se uma rede neural treinada com dados do software HAWC2. Este modelo estima o DEL com base em médias de fluxo de vento em setores do rotor, permitindo feedback rápido durante o treinamento.
• Função de Recompensa: A recompensa é composta por dois termos:
  1. Recompensa de Potência ($r_{power}$): Proporção da potência do agente em relação à potência de um controlador de linha de base (baseline).
  2. Recompensa de Restrição ($r_{constraint}$): Uma penalidade aplicada quando o aumento do DEL excede um limite pré-definido ($\Delta_{max}$ de 10%, 20% ou 30%).
• Simulação: O ambiente foi implementado no WindGym, utilizando o solver DYNAMIKS com o modelo Dynamic Wake Meandering (DWM) para capturar a física não estacionária das esteiras.

3. Principais Contribuições

• Integração de Cargas no RL: Diferente de estudos anteriores que focam apenas em potência, este trabalho incorpora restrições de fadiga (DEL) diretamente na formulação da recompensa do agente de RL.
• Abordagem Multi-Objetivo com MARL: Demonstra como agentes individuais podem aprender políticas colaborativas que equilibram o ganho de energia do parque com a preservação da integridade estrutural das turbinas.
• Uso de Modelos Substitutos para Feedback de Carga: A utilização de uma rede neural para prever DELs de forma rápida permite que o treinamento de RL seja viável em ambientes dinâmicos e turbulentos.

4. Resultados

• Ganho de Potência: Todos os agentes (com ou sem restrições de carga) conseguiram superar o controlador baseline em termos de produção média de energia.
• Cumprimento de Restrições: Os agentes treinados com limites de 20% e 30% mostraram sucesso em mitigar o aumento de carga, ajustando seus ângulos de guinada para evitar estratégias de alto DEL.
• Trade-off (Compromisso): Observou-se um trade-off claro: quanto mais rigorosa a restrição de carga (ex: limite de 10%), menor é o ganho de potência potencial, pois os agentes são forçados a adotar políticas mais conservadoras.
• Robustez e Incerteza: No caso do limite de 10%, os agentes apresentaram maior dificuldade em respeitar estritamente a restrição ao encontrar condições de turbulência não vistas durante o treinamento, indicando que a natureza estocástica do vento pode causar violações pontuais de segurança.

5. Significância

Este trabalho é significativo para a indústria de energia eólica pois oferece um caminho para a operação inteligente e segura de parques eólicos. Ao permitir que o controle de fluxo considere a vida útil dos componentes (através do controle de cargas), é possível maximizar o retorno sobre o investimento (ROI) do parque, aumentando a produção de energia sem comprometer a durabilidade das turbinas. O framework estabelece uma base para controladores de próxima geração que são simultaneamente otimizadores de produção e protetores de ativos.