Adversarial Sensor Errors for Safe and Robust Wind Turbine Fleet Control

Resumen Técnico

1. Planteamiento del Problema

El control a nivel de planta (flota) de parques eólicos es una tecnología emergente que busca maximizar la eficiencia global mediante la coordinación centralizada de las turbinas. Sin embargo, este enfoque introduce vulnerabilidades críticas:

• Incertidumbre de Sensores: Los errores de medición en los sensores pueden confundir al controlador central, llevando a decisiones subóptimas. La generación de ruido procedural tradicional (ruido gaussiano independiente con sesgo episódico) a menudo pasa por alto realizaciones de error más peligrosas y correlacionadas en el tiempo.
• Ciberseguridad: Existe el riesgo real de que actores maliciosos hackeen los sistemas de telemetría para alterar las señales de los sensores y degradar el rendimiento de la planta o incluso causar su apagado.
• Olvido Catastrófico: Al entrenar agentes de aprendizaje por refuerzo (RL) para resistir condiciones adversas, a menudo se produce una pérdida de rendimiento en condiciones nominales (sin errores), un fenómeno conocido como "olvido catastrófico".

El objetivo de este trabajo es determinar si el entrenamiento mediante la interacción con un agente adversario (diseñado para confundir al controlador) genera una mayor robustez que el entrenamiento con ruido procedural tradicional.

2. Metodología

Entorno de Simulación y Agentes:

• Simulador: Se utilizó el modelo de "Meandrización Dinámica de Estela" (Dynamic Wake Meandering) implementado en el software Dynamiks, dentro del paquete de código abierto WindGym.
• Agente Protagonista (Controlador): Un agente de RL entrenado para predecir cambios en los ángulos de guiñada (yaw offsets) de las turbinas para maximizar la potencia total de la planta.
• Agente Adversario: Un agente diseñado para inyectar errores de medición en los sensores de la flota (velocidad del viento, dirección, guiñada, potencia) con el objetivo de minimizar la potencia generada.
  • El adversario observa el estado real, pero el protagonista solo observa el estado corrompido.
  • Las perturbaciones están limitadas a ser físicamente plausibles (no pueden forzar giros de 360° que violen las restricciones operativas reales).
• Agente Experto (Base): Un agente PyWake que utiliza optimización interna basada en la dirección del viento sentido, sirviendo como referencia de control experto.

Estrategias de Entrenamiento Comparadas:
El estudio evaluó tres paradigmas de entrenamiento para la co-evolución del protagonista y el adversario:

1. Guerra de Armas (Arms Race): Iteración secuencial donde el protagonista $n$ se entrena exclusivamente contra el adversario $n-1$. Cada generación descarta a los oponentes anteriores.
2. Autocombate Sintético (Synthetic Self Play - SSP): El protagonista $N$ se entrena contra un "zoológico" que incluye todos los adversarios anteriores ($0$a$N-1$) y ruido procedural, muestreando uniformemente al inicio de cada episodio.
3. Autocombate (Self-Play): Optimización concurrente donde ambos agentes co-evolucionan simultáneamente en un bucle competitivo de suma cero (usando la librería PettingZoo).

Configuración Experimental:

• Escenario: Dos turbinas Vestas V80 alineadas Este-Oeste, separadas por 7 diámetros de rotor.
• Condiciones: Velocidades de viento de 6-7 m/s y direcciones de 267°-273°.
• Algoritmo: Optimización de Política Proximal (PPO).
• Estado: Vector que incluye velocidad, dirección, guiñada y potencia de cada turbina, con un historial de los últimos 10 pasos (ventana de 100 segundos) para capturar la dinámica de la estela.

3. Contribuciones Clave

• Marco de Trabajo Adversario: Presentación del primer marco que aplica el entrenamiento de agentes adversarios específicamente para la robustez de sensores en parques eólicos.
• Análisis de Paradigmas de Entrenamiento: Comparación sistemática de tres enfoques (Guerra de Armas, SSP, Autocombate) para identificar cuál genera la mayor resiliencia.
• Validación de Robustez: Demostración de que el entrenamiento adversario supera significativamente a los métodos tradicionales de ruido procedural en escenarios de "peor caso".

4. Resultados

Comparación de Rendimiento:

• Guerra de Armas (Arms Race): Fue el enfoque más exitoso.
  • El controlador protagonista entrenado con este método logró un aumento de potencia del 7.9% sobre la línea base (control sin guiñada) incluso bajo el ataque adversario más severo.
  • En contraste, el controlador entrenado con ruido procedural sufrió una pérdida de potencia del 39%, rendiendo peor que no tener control de guiñada.
  • El controlador de la Guerra de Armas evitó el "olvido catastrófico" en condiciones adversas, manteniendo un rendimiento positivo donde otros fallaron.
• Autocombate (Self-Play): Generó los adversarios más potentes (los que más daño hacían), pero los protagonistas entrenados con este método mostraron una convergencia inestable y menor robustez general en comparación con la Guerra de Armas.
• SSP: Mostró un buen rendimiento inicial pero comenzó a olvidar cómo operar en entornos limpios (sin ruido) después de la iteración 8.

Comportamiento de los Agentes:

• Bajo ataque, el agente entrenado con ruido procedural fue completamente confundido: el adversario falsificó la potencia de la turbina aguas abajo a cero, lo que llevó al controlador a solicitar ángulos de guiñada extremos y físicamente inviables.
• El agente de la Guerra de Armas (#7) demostró ser altamente robusto, manteniendo un rendimiento superior al 15% sobre la base incluso cuando el adversario (del método Self-Play) intentaba engañarlo con las mismas señales falsificadas.

5. Significado y Conclusión

Este estudio demuestra que la estrategia de "Guerra de Armas" (entrenamiento secuencial contra el oponente más reciente) es superior para desarrollar controladores de parques eólicos robustos frente a errores de sensores y ciberataques.

• Seguridad Operativa: El marco propuesto permite diseñar estrategias de control que no solo optimizan la producción, sino que son intrínsecamente resistentes a manipulaciones maliciosas o fallos de sensores correlacionados.
• Implicaciones Futuras: A medida que la industria se mueve hacia el control centralizado de plantas, la capacidad de defenderse contra la alteración de la telemetría es crucial para evitar apagados no deseados.
• Escalabilidad: Aunque el estudio se centró en una configuración de dos turbinas, establece un prerrequisito necesario para escalar estas metodologías a granjas más grandes, donde el análisis comparativo exhaustivo es computacionalmente costoso.

En resumen, el entrenamiento adversario, específicamente mediante el enfoque de Guerra de Armas, transforma la vulnerabilidad de los sensores en una oportunidad para desarrollar sistemas de control de energía eólica más seguros y fiables.