Load constrained wind farm flow control through multi-objective multi-agent reinforcement learning

Riassunto Tecnico: Controllo del Flusso in Wind Farm Vincolato ai Carichi tramite Multi-Objective Multi-Agent Reinforcement Learning

1. Definizione del Problema

Il controllo del flusso in un parco eolico (Wind Farm Flow Control - WFFC) mira a massimizzare la produzione energetica totale minimizzando le perdite dovute alla scia (wake losses). Una tecnica comune è lo wake steering (orientamento della navicella/yaw), che però introduce una criticità: deviare il flusso per favorire le turbine a valle spesso aumenta i carichi strutturali sulle turbine stesse, riducendone la vita utile.

Il problema affrontato dagli autori è quindi un problema di ottimizzazione multi-obiettivo: massimizzare la potenza totale del parco eolico ($P$) sotto il vincolo che l'aumento dei carichi equivalenti di danno (Damage Equivalent Loads - DEL) non superi una soglia prestabilita ($\Delta_{max}$) rispetto a un controllo standard (greedy baseline).

2. Metodologia

Il framework proposto integra l'apprendimento per rinforzo multi-agente con modelli surrogati per gestire la complessità aerodinamica e strutturale.

• Architettura MARL (Multi-Agent Reinforcement Learning): Viene utilizzato l'algoritmo Independent Soft Actor-Critic (I-SAC). In questo setup, ogni turbina è gestita da un agente specifico che controlla l'angolo di yaw ($\gamma_i$). Gli agenti collaborano attraverso un segnale di ricompensa globale condiviso, permettendo l'emergere di politiche collettive.
• Modellazione del Problema (POMDP): Il controllo è formulato come un Processo Decisionale di Markov Parzialmente Osservabile. Poiché lo stato aerodinamico reale è stocastico e non completamente misurabile, gli agenti operano basandosi su osservazioni parziali (velocità e direzione del vento locale e globale, yaw attuale e medie mobili).
• Modello Surrogato per i Carichi (DEL): Per evitare la computazione estremamente costosa di simulazioni aeroelastiche in tempo reale, gli autori utilizzano un modello surrogato basato su reti neurali. Questo modello è stato pre-addestrato su dati di simulazioni HAWC2 e riceve in input le condizioni di flusso medie su settori del rotore per stimare i DEL del momento di flessione alla radice della pala (blade root flapwise moment).
• Funzione di Ricompensa (Reward Shaping): La funzione di ricompensa è composta da due parti:
  1. $r_{power}$: Il guadagno di potenza rispetto alla baseline.
  2. $r_{constraint}$: Una penalità applicata solo quando l'aumento del DEL supera la soglia $\Delta_{max}$ (testata al 10%, 20% e 30%).
• Ambiente di Simulazione: Il framework è implementato in WindGym, utilizzando il risolutore DYNAMIKS con il modello Dynamic Wake Meandering (DWM) per catturare la fisica non stazionaria delle scie.

3. Contributi Chiave

• Integrazione di vincoli strutturali nel RL: A differenza degli studi precedenti focalizzati quasi esclusivamente sulla potenza, questo lavoro introduce esplicitamente il limite di carico (DEL) come vincolo operativo nel processo di apprendimento.
• Approccio Multi-Agente Collaborativo: L'uso di I-SAC permette di scalare il controllo a più turbine, dove gli agenti imparano a "ritirarsi" da strategie di yaw che massimizzerebbero la potenza ma violerebbero i limiti di carico.
• Utilizzo di modelli surrogati per il feedback in tempo reale: L'integrazione di un modello neurale per i carichi permette di fornire un feedback immediato agli agenti durante l'addestramento, rendendo possibile l'ottimizzazione multi-obiettivo in ambienti dinamici.

4. Risultati Principali

• Efficacia del Controllo: Gli agenti MARL hanno dimostrato di poter superare la produzione di potenza del controller greedy baseline in tutti gli scenari testati.
• Rispetto dei Vincoli: Esiste un chiaro trade-off tra potenza e carichi. All'aumentare della severità del vincolo (es. dal 30% al 10%), la produzione di potenza diminuisce, ma gli agenti riescono a mantenere i DEL entro i limiti richiesti.
• Comportamento degli Agenti: Le analisi mostrano che gli agenti con vincoli più stringenti (10% e 20%) modificano significativamente le traiettorie di yaw delle turbine a valle per mitigare l'aumento dei carichi, mentre gli agenti "unconstrained" tendono a massimizzare la potenza a scapito di un aumento significativo dei DEL nelle turbine a valle.
• Robustezza: Sebbene gli agenti imparino a rispettare i limiti durante l'addestramento, l'incontro con turbolenze mai viste (unseen turbulence) può causare lievi violazioni dei vincoli, specialmente per la soglia più restrittiva (10%), evidenziando la natura stocastica del problema.

5. Significatività

Il lavoro rappresenta un passo avanti fondamentale verso l'operatività reale dei parchi eolici intelligenti. Dimostra che è possibile utilizzare l'intelligenza artificiale non solo per estrarre più energia, ma per farlo in modo sicuro e sostenibile, proteggendo l'integrità strutturale delle turbine. La metodologia fornisce un framework scalabile che può essere esteso a parchi eolici più grandi e a carichi strutturali più complessi, aprendo la strada a una gestione del parco eolico basata sulla massimizzazione del valore economico totale (energia prodotta vs costi di manutenzione/usura).