Computing an Optimal Control Policy for an Energy Storage

Resumen Técnico: Computación de una Política de Control Óptimo para un Almacenamiento de Energía

Planteamiento del Problema
El artículo aborda el desafío de gestionar la variabilidad de la potencia en las fuentes de energía renovable, específicamente en los Convertidores de Energía de Olas (WEC, por sus siglas en inglés) como el dispositivo SEAREV. A diferencia de la generación convencional, la producción de energía de las olas es altamente estocástica y fluctúa rápidamente (por ejemplo, con un periodo de ~1.5s), lo que plantea riesgos de estabilidad para la red eléctrica. Los autores plantean el problema como una tarea de Control Óptimo: determinar una política de control para un Sistema de Almacenamiento de Energía (ESS) que suavice la potencia inyectada en la red ($P_{grid}$) respetando al mismo tiempo las restricciones físicas de la capacidad de almacenamiento ($E_{sto}$).

El objetivo es minimizar una función de costo $J$ que representa la variabilidad promedio (penalización) de la potencia inyectada sobre un horizonte infinito. El sistema se modela como un problema de optimización dinámica estocástica donde las decisiones en cada paso de tiempo están acopladas por el estado de la energía almacenada. Un requisito previo clave para aplicar la Programación Dinámica (DP) es que la dinámica del sistema debe ser markoviana; sin embargo, las series temporales de potencia de las olas no son inherentemente markovianas, lo que requiere una transformación de los datos de entrada.

Metodología
Los autores proponen una metodología de tres etapas que combina el análisis de series temporales, el modelado estocástico y la optimización numérica mediante una biblioteca de Python personalizada.

1. Modelado Estocástico de la Producción de Olas:

   • El modelado directo de la potencia ($P_{prod}$) es difícil debido a su distribución no gaussiana. En su lugar, los autores modelan la velocidad de rotación ($\Omega$) del péndulo interno del WEC, que sigue una distribución más gaussiana.
   • Emplean un modelo Autorregresivo (AR) de orden 2 (AR(2)) para capturar la dinámica de $\Omega$.
   • Ajuste del Modelo: Se encontró que la Estimación de Máxima Verosimilitud Condicional (CMLE) estándar era inadecuada para reproducir la función de autocorrelación (ACF) de los datos en retardos de tiempo cortos. En consecuencia, los autores implementaron un método de "ajuste de ACF de múltiples retardos", minimizando la diferencia al cuadrado entre las ACFs teóricas y empíricas sobre un horizonte de 15 segundos.
   • El modelo AR(2) resultante se reformula en una representación de espacio de estados utilizando la velocidad ($\Omega$) y la aceleración ($A$) como variables de estado, junto con la energía almacenada ($E_{sto}$). Esto genera un vector de estado markoviano de 3 dimensiones $x = (E_{sto}, \Omega, A)$.

2. La Biblioteca StoDynProg:

   • Para resolver el problema de optimización resultante, los autores desarrollaron StoDynProg, una biblioteca de Python genérica para la Programación Dinámica Estocástica (SDP).
   • Arquitectura: La biblioteca utiliza SysDescription para definir las dinámicas del sistema y las funciones de costo, y DPSolver para gestionar la discretización del espacio de estados y ejecutar los algoritmos.
   • Algoritmo: La biblioteca implementa la Iteración de Política, la cual demuestra ser significativamente más eficiente que la Iteración de Valor para este problema. La Iteración de Política alterna entre la evaluación de la política (resolver ecuaciones lineales para una política fija) y la mejora de la política (encontrar el control óptimo para la función de valor actual).
   • Interpolación: Un componente crítico es el uso de un MultilinearInterpolator personalizado (adaptado del proyecto Dolo) para manejar la interpolación n-dimensional en mallas rectangulares, un requisito para evaluar las funciones de valor entre puntos de la malla discretos.

3. Ejecución de la Optimización:

   • El espacio de estados se discretiza en una malla de aproximadamente 110,000 puntos ($30 \times 60 \times 60$ para energía, velocidad y aceleración, respectivamente).
   • El algoritmo se inicializa con una ley de control heurística lineal simple y itera hasta la convergencia (lograda en ~5 iteraciones de política).

Resultados Clave

• Convergencia y Eficiencia: El algoritmo de Iteración de Política convergió en aproximadamente 3 minutos en una computadora de escritorio estándar. En contraste, un enfoque de Iteración de Valor habría requerido aproximadamente 5 horas (100 veces más lento) debido al costo de la optimización en cada paso.
• Política de Control: La política óptima resultante $\mu(E_{sto}, \Omega, A)$ es una función de retroalimentación de estado. Confirma que una mayor energía almacenada conduce a una mayor inyección en la red, pero incorpora de manera única la velocidad y la aceleración para modular la potencia, anticipando efectivamente los cambios de energía mecánica.
• Mejora del Desempeño: Al aplicarse a muestras de simulación de 1000 segundos del SEAREV:
  • La política optimizada redujo la desviación estándar de la potencia inyectada en aproximadamente un 20% en comparación con la política heurística lineal (específicamente 27%, 16% y 22% a través de tres muestras).
  • La política optimizada utilizó la capacidad de almacenamiento de manera más efectiva, particularmente en niveles de energía más altos, suavizando mejor los "picos y valles" que el enfoque lineal.
• Limitaciones: Los autores señalan que en escenarios de alta producción con aceleraciones abruptas (que exceden las 4 desviaciones estándar), el modelo AR lineal no logra capturar la dinámica no lineal del WEC. En consecuencia, la política optimizada produce una salida con "picos" en estos regímenes específicos, desempeñándose ligeramente peor que la heurística lineal en esos casos aislados.

Significancia y Reivindicaciones
El artículo afirma demostrar la aplicación práctica de la Programación Dinámica Estocástica a un problema realista de gestión de energía utilizando una herramienta de Python genérica y de código abierto.

• Herramientas: La principal contribución es StoDynProg, una biblioteca diseñada para manejar dimensiones arbitrarias de espacios de estado y control, abordando la "Maldición de la Dimensionalidad" mediante la imposición de modelos markovianos de bajo orden (limitando las dimensiones de estado a 3 o 4).
• Rigor Metodológico: El trabajo destaca la importancia de un ajuste de modelo apropiado (ACF de múltiples retardos frente a CMLE) para asegurar que el modelo estocástico refleje con precisión la estructura de correlación del sistema, lo cual es crítico para la solución de la DP.
• Aplicabilidad: Los autores sostienen que, si bien el ejemplo específico es el suavizado de la energía de las olas, la biblioteca y la metodología son lo suficientemente genéricas como para aplicarse a otros problemas de Control Óptimo en ingeniería eléctrica, ingeniería mecánica y ciencias de la vida, siempre que el sistema pueda modelarse como un proceso markoviano con una dimensión de estado manejable.

El artículo concluye modestamente, señalando que aunque la reducción del 20% en la variabilidad es significativa, el valor económico de esta mejora depende de los códigos de red y los criterios de penalización específicos (por ejemplo, el "parpadeo" o flicker), que son temas para investigaciones futuras.