Sizing of Battery Considering Renewable Energy Bidding Strategy with Reinforcement Learning

Resumen Técnico: Dimensionamiento de Baterías Considerando Estrategias de Oferta con Aprendizaje por Refuerzo

1. Planteamiento del Problema

La integración masiva de Energías Renovables Variables (ERV), como la solar fotovoltaica y la eólica, en los mercados eléctricos presenta dos desafíos interconectados:

• Incertidumbre: La generación renovable y los precios del mercado son estocásticos y difíciles de predecir con precisión.
• Optimización Conjunta: Los productores de energía renovable necesitan participar en los mercados de tiempo real mediante estrategias de oferta (bidding) y utilizar Sistemas de Almacenamiento de Energía (BESS) para arbitraje y gestión de desviaciones.

El problema central identificado es que los métodos existentes suelen abordar el dimensionamiento óptimo del BESS y la estrategia de oferta de forma secuencial (en dos etapas).

• Los métodos tradicionales de dos etapas requieren modelos de sustitución (surrogate models) muy precisos en todo el espacio de búsqueda o cargas computacionales prohibitivas para obtener optimización global.
• Los enfoques basados en reglas o modelos simplificados no capturan adecuadamente la dinámica del mercado.
• Existe una necesidad de un algoritmo que realice la co-optimización (optimización simultánea) del tamaño de la batería y la política de oferta, gestionando la incertidumbre de manera eficiente.

2. Metodología Propuesta

Los autores proponen un algoritmo novedoso basado en Aprendizaje por Refuerzo (RL) que extiende el marco estándar para permitir la co-optimización del diseño del sistema (tamaño de la batería) y la política de control (oferta).

• Marco de Aprendizaje por Refuerzo:

  • Se utiliza un Deep Recurrent Q-Network (DRQN), que combina Deep Q-Learning con redes de memoria de corto y largo plazo (LSTM). Esto permite manejar la naturaleza parcialmente observable del problema (POMDP), donde el agente no conoce la generación futura ni los precios con antelación.
  • El agente observa el estado del sistema (generación pasada, precios pasados, estado de carga - SOC) y decide la oferta ($b_t$) y un factor de escala ($\rho_t$) para ajustar la carga/descarga de la batería.
  • La recompensa se define como el beneficio neto, restando los costos de degradación de la batería y las penalizaciones por desviación de la oferta.

• Algoritmo de Co-optimización:

  • A diferencia del RL tradicional donde el diseño del sistema es fijo, aquí el tamaño de la batería ($E_{max}$) se trata como un parámetro de diseño ($\omega$) que se optimiza simultáneamente.
  • Se introduce una distribución de probabilidad $p_\mu(\omega)$ (una distribución gaussiana) para generar el tamaño de la batería al inicio de cada episodio.
  • Se utiliza un enfoque de gradiente de política para actualizar la media ($\mu$) de esta distribución basándose en el retorno acumulado (beneficio neto anualizado menos costo de instalación).
  • El algoritmo integra un marco de RL distribuido (inspirado en Ape-X), permitiendo el procesamiento paralelo de datos a largo plazo y múltiples trabajadores para mejorar la eficiencia computacional.

• Modelo de Mercado:

  • Se simula un mercado de tiempo real donde el productor debe cumplir con compromisos de despacho.
  • Se incluyen costos por desequilibrio (penalizaciones por oferta vs. generación real) y costos de degradación de la batería.

3. Contribuciones Clave

• Algoritmo de Co-optimización Unificado: Es, según los autores, el primer trabajo que aplica un algoritmo de co-optimización (inspirado en la cognición encarnada) específicamente para sistemas de energía, optimizando simultáneamente la política de oferta y el tamaño físico de la batería dentro del mismo ciclo de entrenamiento.
• Eficiencia Computacional: El método evita la necesidad de entrenar modelos separados para cada tamaño de batería posible, reduciendo significativamente la carga computacional en comparación con los métodos de dos etapas o la búsqueda exhaustiva.
• Gestión de Incertidumbre a Largo Plazo: La combinación de DRQN (para memoria a corto plazo) y el marco distribuido permite manejar datos históricos extensos y variaciones estacionales, algo difícil para métodos de optimización estocástica tradicionales.
• Robustez en el Entrenamiento: Se demuestra que actualizar el tamaño de la batería durante el entrenamiento ayuda a evitar fallos en la convergencia de la política de oferta, explorando configuraciones de sistema más favorables.

4. Resultados Experimentales

Los experimentos se realizaron con datos reales de generación solar (METPV-20) y precios del mercado japonés (JEPX).

• Validación con Datos a Corto Plazo (1 semana):

  • Se comparó el método propuesto con un enfoque de dos etapas (entrenar DRQN para cada tamaño de batería fijo).
  • El método propuesto convergió a tamaños de batería óptimos (ej. 120% de la capacidad de generación para costos bajos, 50% para costos medios) que coincidían con los resultados de la búsqueda exhaustiva.
  • Aunque el tiempo de entrenamiento fue mayor que para un tamaño fijo (48 min vs 8 min), fue mucho más rápido que calcular exhaustivamente los beneficios para todos los tamaños posibles.

• Aplicación a Datos a Largo Plazo (1 año completo):

  • Se utilizó un marco distribuido con 12 trabajadores.
  • Estabilidad: Al optimizar conjuntamente, la tasa de fallos en el entrenamiento (recompensa negativa) disminuyó drásticamente (del 87.5% en configuraciones fijas al 37.5% en co-optimización).
  • Beneficio: La co-optimización permitió encontrar configuraciones de sistema que maximizaron los ingresos totales, superando a las configuraciones de capacidad fija inicial.

5. Significado e Impacto

Este trabajo representa un avance significativo en la gestión de activos de energía renovable:

• Viabilidad Económica: Proporciona una herramienta computacionalmente eficiente para que los productores de energía determinen la inversión óptima en almacenamiento, maximizando el retorno de inversión en entornos de mercado volátiles.
• Paradigma de Diseño: Introduce un nuevo paradigma donde el diseño físico (hardware) y la estrategia de control (software) se aprenden juntos, en lugar de secuencialmente, lo cual es crucial para sistemas complejos con alta incertidumbre.
• Escalabilidad: La arquitectura distribuida propuesta permite escalar el método a horizontes temporales más largos y sistemas de mayor complejidad, facilitando la transición hacia redes eléctricas con alta penetración de renovables.

En conclusión, el algoritmo propuesto demuestra que la co-optimización basada en RL es una alternativa superior a los métodos tradicionales para el dimensionamiento de BESS, ofreciendo soluciones más robustas, rentables y computacionalmente eficientes.