Load frequency control framework of renewable integrated power systems in multi scenario disturbance conditions with the proximal policy optimization  

Resumen Técnico: Marco de Control de Frecuencia de Carga para Sistemas de Potencia Integrados con Renovables mediante Optimización de Política Próxima

Planteamiento del Problema
La rápida integración de fuentes de energía renovables (viento y fotovoltaica) en los sistemas de potencia modernos ha alterado fundamentalmente la dinámica del sistema, principalmente al reducir la inercia agregada del sistema. A diferencia de los generadores sincrónicos convencionales, las renovables con interfaz de convertidor proporcionan una inercia mecánica insignificante, lo que conduce a mayores tasas de cambio de frecuencia (RoCoF), nados de frecuencia más profundos y una mayor susceptibilidad a las perturbaciones. Las estrategias tradicionales de Control de Frecuencia de Carga (LFC), como los controladores Proporcional-Integral (PI) con ganancias fijas o el ajuste heurístico (por ejemplo, Ziegler-Nichols), a menudo fallan en mantener la estabilidad bajo estas condiciones dinámicas de baja inercia y salidas renovables estocásticas. Aunque estudios recientes han explorado el Aprendizaje por Refuerzo (RL) para el LFC, muchos enfoques existentes dependen del RL meramente como un mecanismo de ajuste de ganancias para controladores predefinidos (por ejemplo, PID o Fuzzy-PI) o utilizan algoritmos de aprendizaje profundo por refuerzo complejos (por ejemplo, DDPG, TD3) que sufren de alta complejidad computacional, sensibilidad a los hiperparámetros e inestabilidad de convergencia. Existe una brecha para un marco de control computacionalmente eficiente, totalmente adaptable y estructuralmente simplificado capaz de manejar perturbaciones de escenarios múltiples realistas sin capas de ajuste auxiliares.

Metodología
El artículo propone un marco de LFC secundario donde la señal de control es generada directamente por un agente de Optimización de Política Próxima (PPO), formulando la regulación de frecuencia como un problema de decisión de control continuo en lugar de una tarea de programación de ganancias.

• Modelado del Sistema: El sistema físico se modela utilizando un modelo dinámico sustituto de orden reducido basado en la ecuación de oscilación (swing equation). Este modelo incorpora la reducción de la inercia efectiva debido a la penetración de renovables, el retardo del actuador, las restricciones de tasa de rampa y el suavizado de la frecuencia. El vector de estado incluye la desviación de frecuencia instantánea ($\Delta f$), la desviación de frecuencia integral ($I_f$) y el comando de generación realizado ($P_{act}$).
• Formulación de PPO: El controlador utiliza una política estocástica $\pi_\theta(a_t|s_t)$ donde las acciones se muestrean de una distribución Gaussiana. El algoritmo emplea una función de objetivo de sustitución recortada para limitar las actualizaciones de la política, asegurando un aprendizaje estable y evitando pasos grandes y desestabilizadores.
• Estructura de Recompensa: Se diseña una función de recompensa unificada y multiobjetivo que penaliza la desviación de frecuencia, el error integral acumulado, el esfuerzo de control, la suavidad de la actuación y los costos operativos (modelados mediante una función de costo de combustible cuadrática). Crucialmente, la recompensa también incluye penalizaciones por violar los límites de seguridad de frecuencia y la saturación del actuador, guiando al agente hacia una operación segura y económica.
• Escenarios de Perturbación: El marco se evalúa bajo cuatro distintas y realistas condiciones de perturbación:
  1. Caso 1: Perturbaciones de carga escalonadas combinadas con oscilaciones de fondo de renovables.
  2. Caso 2: Perturbaciones cíclicas de larga duración con pulsos intermitentes y ruido estocástico.
  3. Caso 3: Estrés oscilatorio transitorio que simula variabilidad de renovables inducida por tormentas o nubosidad.
  4. Caso 4: Una contingencia realista de eventos múltiples que involucra cortes de renovables, carga máxima y recuperación escalonada.

Contribuciones Clave

1. Control Basado en Política Directa: A diferencia de los estudios que usan RL para el ajuste de ganancias, este trabajo formula el LFC como un problema de control continuo directo donde el agente PPO aprende una política que mapea los estados del sistema a las acciones de control sin estructuras de controladores predefinidas.
2. Validación Exhaustiva de Múltiples Escenarios: El marco es rigurosamente probado contra cuatro complejos escenarios de perturbación que imitan el estrés de la red real, incluyendo la intermitencia de renovables, variaciones de ciclo largo y contingencias compuestas, yendo más allá de las simples pruebas de escalón de carga.
3. Superioridad de Desempeño: El controlador PPO propuesto se compara contra controladores clásicos optimizados (GA-PI, TS-Fuzzy-PI, GA-Fuzzy-PI) y variantes avanzadas de aprendizaje profundo por refuerso (DDPG, TD3, SAC).
4. Integración Económica: La formulación de recompensa multiobjetivo integra explícitamente los costos de generación, demostrando que la política aprendida logra la estabilidad de la frecuencia mientras minimiza simultáneamente los costos operativos.

Resultados
Los resultados de la simulación, realizados sobre horizontes de tiempo extendidos (hasta 86,400 segundos), demuestran mejoras significativas de desempeño del controlador basado en PPO sobre todos los referentes:

• Caso 1 (Carga de Escalón): El controlador PPO redujo el Error Integral del Cuadrado (ISE) a 0.45196, una mejora drástica comparado con aproximadamente 1060 para los controladores de referencia. Logró un sobreimpulso de 0.0171 Hz y una desviación de frecuencia absoluta promedio de 0.00010 Hz.
• Caso 2 (Perturbación Cíclica): Bajo variaciones cíclicas de largo plazo, el controlador PPO redujo el ISE a 0.031126 con un cambio de amplitud media de 0.00043351 Hz, mientras que otros métodos exhibieron desviaciones alrededor de 0.3125 Hz.
• Caso 3 (Estrés Oscilatorio): El controlador mantuvo la frecuencia dentro de una banda estrecha, logrando un ISE de aproximadamente 0.03 y un error absoluto promedio por debajo de 0.0005 Hz.
• Caso 4 (Contingencia Realista): En el escenario más complejo que involucra cortes y cargas máximas, el controlador PPO logró un ISE de 0.10953 y un sobreimpulso restringido de 0.023203 Hz, con un tiempo de asentamiento de 59 segundos comparado con más de 7,000 segundos para algunos referentes.
• Eficiencia Económica: En todos los casos, la formulación de recompensa multiobjetivo resultó en una reducción del 60–75% en los costos totales de generación en comparación con los métodos base.
• Estabilidad: El proceso de entrenamiento mostró una mejora y convergencia constante de la recompensa sin sobreajuste, validando la estabilidad de la política aprendida.

Significancia y Reivindicaciones
Los autores afirman que el marco propuesto basado en PPO ofrece una solución resiliente, adaptable y rentable para la estabilización de la frecuencia en sistemas de potencia dominados por renovables. El estudio sostiene que el método aborda con éxito las limitaciones de los controladores tradicionales (falta de adaptabilidad) y de los métodos complejos de aprendizaje profundo por refuerzo (carga computacional e inestabilidad). Al aprender una política de control directa, el marco elimina la necesidad de ajustes heurísticos o arquitecturas híbridas, proporcionando un enfoque estructuralmente simplificado pero altamente efectivo. Los hallazgos sugieren que el aprendizaje por refuerzo de gradiente de política, específicamente PPO, puede servir como una alternativa robusta tanto a las técnicas de control de actor-crítico clásicas como avanzadas en sistemas de potencia de baja inercia, siempre que la estructura de recompensa y las restricciones estén configuradas adecuadamente. El artículo concluye que este enfoque es apto para aplicaciones en tiempo real y puede escalarse a sistemas de múltiples áreas en trabajos futuros.