Load constrained wind farm flow control through multi-objective multi-agent reinforcement learning

Resumen Técnico: Control de Flujo en Parques Eólicos Restringido por Cargas mediante Aprendizaje por Refuerzo Multi-Agente

Título original: Load constrained wind farm flow control through multi-objective multi-agent reinforcement learning

1. El Problema

El control de flujo en parques eólicos (WFFC) busca optimizar la producción de energía mediante el "direccionamiento de estelas" (wake steering), ajustando el ángulo de guiñada (yaw) de las turbinas para minimizar las pérdidas por estela. Sin embargo, esta técnica presenta un conflicto de objetivos: mientras que el direccionamiento de estelas aumenta la potencia total del parque, suele incrementar las cargas estructurales (específicamente el momento de flexión en la raíz de la pala) en las turbinas situadas aguas abajo.

Los controladores actuales suelen ser "codiciosos" (greedy), es decir, optimizan la potencia de cada turbina de forma local sin considerar las interacciones con las demás ni el impacto en la fatiga estructural. El desafío radica en encontrar un equilibrio óptimo entre la maximización de la energía y la mitigación de las cargas de daño equivalente (DEL, por sus siglas en inglés) bajo condiciones de viento turbulentas y estocásticas.

2. Metodología

Los autores proponen un marco de Aprendizaje por Refuerzo Multi-Agente (MARL) integrado con un modelo sustituto (surrogate model) de datos para gestionar las restricciones de carga en tiempo real.

• Arquitectura de Control: Utilizan una arquitectura de Soft Actor-Critic Independiente (I-SAC). En este esquema, cada turbina es controlada por un agente específico que ejecuta una política de control de guiñada ($\gamma_i$). Para fomentar la colaboración, los agentes comparten una señal de recompensa global.
• Modelado del Entorno: El estudio emplea el entorno WindGym con el resolvedor de flujo DYNAMIKS, que utiliza el modelo Dynamic Wake Meandering (DWM) para capturar la física no estacionaria de las estelas.
• Modelo Sustituto de Cargas (DEL): Para evitar la computación costosa de simulaciones aeroelásticas en tiempo real, integran una red neuronal de tres capas entrenada previamente (con datos de HAWC2). Este modelo predice los valores de DEL basándose en promedios sectoriales del flujo de viento (izquierda, derecha, arriba, abajo) y el ángulo de guiñada.
• Formulación de la Recompensa: La función de recompensa es multi-objetivo y se compone de:
  1. Recompensa de Potencia ($r_{power}$): Basada en la mejora de la potencia del parque respecto a un controlador base.
  2. Recompensa de Restricción ($r_{constraint}$): Una penalización que se activa solo si el incremento de la carga (DEL) supera un umbral máximo permitido ($\Delta_{max}$), el cual se probó en niveles del 10%, 20% y 30%.
• Proceso de Decisión: Se formula como un Proceso de Decisión de Markov Parcialmente Observable (POMDP), donde los agentes toman decisiones basadas en observaciones locales y globales (velocidad y dirección del viento).

3. Contribuciones Clave

• Integración de Restricciones de Carga en RL: A diferencia de estudios previos que solo optimizan la potencia, este trabajo introduce penalizaciones de carga basadas en DEL dentro del bucle de entrenamiento de RL.
• Enfoque Multi-Agente Colaborativo: Implementación de un sistema donde agentes individuales aprenden políticas colectivas para maximizar el rendimiento del parque completo.
• Uso de Modelos Sustitutos para Guía de Aprendizaje: Demostración de que un modelo de carga basado en datos puede servir como una guía conductual efectiva para que los agentes de RL aprendan a evitar estrategias de control que comprometan la integridad estructural.

4. Resultados Principales

• Optimización de Potencia: Todos los agentes (tanto los restringidos como los no restringidos) lograron una producción de energía superior al controlador base greedy.
• Cumplimiento de Restricciones: Los agentes entrenados con umbrales de 20% y 30% demostraron una capacidad efectiva para mitigar el aumento de las cargas en las turbinas de aguas abajo, ajustando sus ángulos de guiñada para "retirarse" de zonas de alto daño.
• Compromiso (Trade-off): Se observó una relación clara: a medida que el umbral de carga permitido ($\Delta_{max}$) es más estricto, la ganancia de potencia disminuye.
• Comportamiento del Agente al 10%: El agente con la restricción más severa (10%) mostró dificultades para cumplir estrictamente el límite ante turbulencias no vistas durante el entrenamiento, operando muy cerca del límite de la penalización, lo que sugiere una mayor sensibilidad a la incertidumbre ambiental.

5. Significancia

Este trabajo es significativo porque ofrece un camino hacia el control inteligente y seguro de parques eólicos. Al demostrar que el aprendizaje por refuerzo puede equilibrar la producción de energía con la extensión de la vida útil de los componentes (mediante la gestión de cargas), se sientan las bases para sistemas de operación autónomos que no solo maximicen los ingresos económicos, sino que también minimicen los costes de mantenimiento y fallos estructurales prematuros.