Comparative Evaluation of RL-TD3 PID Control against Hybrid and Conventional Optimizers in Renewable -Based Islanded Microgrids

Resumen Técnico: Evaluación Comparativa del Control PID con RL-TD3 frente a Optimizadores Híbridos y Convencionales en Microrredes Aisladas Basadas en Renovables

Planteamiento del Problema
La integración de fuentes de energía renovable (FEP) en microrredes aisladas (IMG) introduce desafíos significativos al Control de Frecuencia de la Carga (LFC). Estos desafíos se derivan principalmente de la reducción de la inercia del sistema, patrones de generación poco fiables y una dinámica de carga impredecible. Los sistemas de control tradicionales, particularmente aquellos que dependen de controladores Proporcional-Integral-Derivativo (PID) de ganancia fija o métodos de sintonización estándar como Ziegler–Nichols, a menudo fallan en mantener la estabilidad de la frecuencia bajo condiciones operativas no estandarizadas y parámetros variables del sistema. Los algoritmos de optimización metaheurística (por ejemplo, Algoritmos Genéticos, Optimización de Enjambre de Partículas) se han propuesto para sintonizar las ganancias de los PID, pero a menudo presentan dificultades ante perturbaciones de carga aleatorias y requieren recursos computacionales extensos para equilibrar los hiperparámetros. Existe una necesidad crítica de estrategias de control que ofrezcan adaptabilidad, robustez y optimización basada en datos en tiempo real para manejar la naturaleza estocástica de las microrredes aisladas basadas en renovables.

Metodología
El artículo propone un novedoso marco de control que integra un agente de Aprendizaje por Refuerzo (RL), específicamente el algoritmo Twin Delayed Deep Deterministic Policy Gradient (TD3), con un controlador PID. El agente TD3 está diseñado para sintonizar de forma adaptativa las ganancias del PID ($K_p, K_i, K_d$) en tiempo real basándose en las interacciones del sistema, en lugar de depender de valores óptimos precalculados.

• Modelado del Sistema: Se desarrolló un modelo matemático dinámico de una IMG, incorporando diversas unidades de Generación Distribuida (DG) (Generador de Motor Diésel, Fotovoltaica Solar, Generador de Turbina Eólica, Turbina de Biogás, Celda de Combustible) y Sistemas de Almacenamiento de Energía (Batería, Volante de Inercia, Vehículos Eléctricos). Estos componentes fueron modelados utilizando funciones de transferencia de primer orden y ecuaciones de oscilación para simular la operación autónoma.
• Marco RL-TD3: Se empleó el algoritmo TD3, un método actor-crítico, para minimizar las desviaciones de frecuencia. El agente fue entrenado fuera de línea (offline) durante 1,000 episodios (90 segundos cada uno) utilizando una función de recompensa diseñada para penalizar los errores de frecuencia. El entrenamiento utilizó un búfer de repetición (replay buffer), redes de críticos duales para reducir los errores de sobreestimación y suavizado de la política objetivo para mejorar la estabilidad.
• Marcadores de Referencia Comparativos: El controlador RL-TD3-PID se comparó contra dos enfoques de optimización metaheurística:
  1. COA-PID: Optimizado mediante el Algoritmo de Optimización de Coati.
  2. CS-GWO-PID: Optimizado mediante un híbrido de Optimización de Búsqueda de Lobo Gris y Búsqueda de Cuculo.
• Escenarios de Simulación: El desempeño se evaluó en MATLAB bajo dos escenarios:
  1. Escenario I: Un cambio de carga de dos pasos (0.06 a 0.075 p.u.).
  2. Escenario II: Perturbaciones de carga escalonadas aleatorias que varían entre 0.02 y 0.09 p.u.
• Análisis de Robustez: Se realizó un análisis de sensibilidad variando parámetros clave del sistema (constante de inercia $M$, coeficiente de amortiguamiento $D$, y constantes de tiempo para celdas de combustible y generadores diésel) en ±25% tanto en configuraciones uniaxiales como multiaxiales.

Contribuciones Clave

1. Desarrollo de un Marco Adaptativo: Los autores desarrollaron un marco de agente de RL basado en TD3 capaz de controlar adaptativamente los parámetros PID en las IMG para contrarrestar la variabilidad de las renovables y las perturbaciones de carga.
2. Modelo de Simulación Dinámica: Se construyó un modelo de simulación dinámica exhaustivo de una IMG para validar las capacidades de regulación de frecuencia del controlador propuesto.
3. Adaptación en Línea: El estudio demuestra la capacidad del controlador RL-TD3-PID para realizar una adaptación en línea basada en datos, mejorando la robustez contra las incertidumbres del sistema sin requerir un modelo matemático fijo del entorno.
4. Estudio Comparativo Integral: El artículo proporciona una comparación estructurada entre el enfoque de RL propuesto y los métodos de optimización establecidos (COA y GWO-CS), evaluando el desempeño en términos de respuesta dinámica, rechazo de perturbaciones y la incertidumbre de los parámetros.

Resultados
Los resultados de la simulación indican que el controlador RL-TD3-PID generalmente supera a los controladores COA-PID y CS-GWO-PID en términos de respuesta dinámica y rechazo de perturbaciones.

• Métricas de Desempeño: En el Escenario I y el Escenario II, el controlador TD3-PID logró valores más bajos para los índices de desempeño integral, incluyendo el Error Absoluto Integrado con Peso de Tiempo (ITAE) y el Error Cuadrático Integrado con Peso de Tiempo (ITSE), en comparación con los controladores basados en optimización.
• Respuesta Transitoria: El controlador TD3-PID demostró tiempos de asentamiento más rápidos y una mejor supresión de las oscilaciones de frecuencia. Por ejemplo, en el Escenario I, el ITAE para TD3-PID fue de $2.65 \times 10^{-2}$, significativamente menor que los $7.09 \times 10^{-2}$ para CS-GWO-PID y $8.40 \times 10^{-2}$ para COA-PID.
• Robustez: Bajo incertidumbres paramétricas (variaciones de ±25%), el controlador TD3-PID mantuvo una operación estable con una desviación mínima en los índices del dominio del tiempo. Aunque algunos valores de sobreimpulso y subimpulso aumentaron bajo perturbaciones multiaxiales complejas, el controlador devolvió consistentemente el sistema a un estado cuasi-estacionario con un error de estado estacionario bajo.
• Convergencia: El proceso de entrenamiento mostró que el agente de RL convergió exitosamente a valores de ganancia de PID estables, con la función de recompensa indicando una mejora en el desempeño del control a lo largo de los 1,000 episodios.

Significancia y Reivindicaciones
El artículo sostiene que la integración del aprendizaje por refuerzo profundo con el control PID clásico ofrece un enfoque prometedor para una regulación de frecuencia fiable y eficiente en microrredes aisladas basadas en renovables. El estudio destaca que el enfoque RL-TD3 proporciona una adaptabilidad superior a las incertidumbres del sistema y las variaciones de carga en comparación con los métodos de optimización estática.

Los autores posicionan este trabajo como un paso significativo hacia la resolución de las limitaciones de los controladores convencionales y de sintonización metaheurística en sistemas de baja inercia. Sin embargo, el artículo mantiene un tono modesto respecto a sus limitaciones, reconociendo que los resultados se basan en estudios de simulación y aún no han sido validados mediante implementación en hardware-in-the-loop o experimentación en tiempo real. Los autores señalan que, si bien el método propuesto mostró un desempeño superior en la mayoría de los escenarios probados, los algoritmos de optimización seleccionados superaron ligeramente el desempeño del RL-TD3-PID en casos de perturbación específicos. Se identifica como trabajo futuro la validación experimental y la extensión del marco a topologías de microrred más complejas y entornos con retraso de comunicación.