Optimal design of solar-battery hybrid resources considering multi-market participation under weather and price uncertainty

Resumen Técnico: Diseño Óptimo de Recursos Híbridos Solar-Batería Considerando la Participación en Múltiples Mercados Bajo Incertidumbre Meteorológica y de Precios

Enunciado del Problema
La integración rápida de energía renovable variable (ERV) requiere recursos flexibles y coordinados capaces de participar simultáneamente en múltiples mercados eléctricos. Si bien los recursos híbridos —que integran generación renovable y almacenamiento en baterías dentro de una única entidad de mercado— ofrecen ventajas operativas y financieras significativas sobre los recursos co-ubicados (con pujas separadas), su diseño óptimo sigue siendo un desafío complejo. La dificultad central reside en el acoplamiento de decisiones de inversión a largo plazo (dimensionamiento del sistema) con la optimización operativa a corto plazo bajo condiciones estocásticas (incertidumbre en la generación renovable y en los precios del mercado).

Los enfoques de optimización convencionales suelen basarse en pronósticos deterministas o modelos de incertidumbre simplificados, los cuales pueden no capturar las dinámicas no lineales y las restricciones operativas inherentes a la participación en múltiples mercados (mercados de energía, servicios auxiliares y mercados de capacidad). Además, la literatura existente frecuentemente trata el diseño del sistema y las estrategias operativas como problemas separados o se centra principalmente en los mercados de energía, descuidando los complejos compromisos involucrados en la provisión de servicios auxiliares (SA) y las ventajas específicas de las arquitecturas híbridas acopladas en corriente continua (CC), como la recuperación de la energía fotovoltaica (FV) recortada.

Metodología
Para abordar estos desafíos, los autores proponen un marco de co-optimización basado en Aprendizaje por Refuerzo Profundo (DRL). Este enfoque integra las variables de diseño del sistema directamente en el proceso de aprendizaje de la política, permitiendo la optimización conjunta del dimensionamiento del sistema híbrido y de las estrategias coordinadas de puja en múltiples mercados dentro de una formulación estocástica unificada.

• Arquitectura del Marco: El método extiende trabajos previos de co-optimización basados en DRL incorporando la participación en múltiples mercados. El marco utiliza una red de Memoria a Corto y Largo Plazo (LSTM) para manejar la observabilidad parcial de las variables del mercado y las renovables, procesando datos de series temporales de generación FV y precios de mercado. El agente emplea un algoritmo de Gradiente de Política Determinista Profundo (DDPG) para aprender políticas operativas.
• Optimización del Diseño: A diferencia de los enfoques de dos niveles tradicionales que separan el diseño y la operación, este marco trata el vector de diseño del sistema (capacidad FV, capacidad de energía de la batería y potencia nominal de la batería) como un parámetro de una política estocástica. La distribución de los parámetros de diseño se actualiza mediante métodos de gradiente de política basados en los retornos económicos acumulados (ingresos menos costos) observados durante los episodios de entrenamiento.
• Manejo de Restricciones: Un componente crítico de la metodología es la estrategia de "asignación de capacidad en serie". Para garantizar la viabilidad bajo incertidumbre, las acciones del agente se transforman en pujas factibles mediante un proceso de asignación secuencial:
  1. Reservas de Contingencia: Se asignan primero, principalmente desde la capacidad de descarga de la batería, respetando los límites del Estado de Carga (SOC) y los requisitos de duración.
  2. Servicios de Regulación: Las capacidades de regulación ascendente y descendente se asignan a continuación, teniendo en cuenta los márgenes restantes de la batería y un factor de fiabilidad para los pronósticos de generación FV.
  3. Pujas en el Mercado de Energía: El rango operativo factible restante determina la puja en el mercado de energía forward, contabilizando explícitamente los desequilibrios potenciales.
• Modelo de Mercado: El estudio modela la participación en mercados de energía forward, reservas de contingencia, servicios de regulación y mercados de capacidad. Contabiliza explícitamente los errores de pronóstico FV, modelando los desequilibrios de energía como costos de penalización en lugar de depender de suposiciones de arbitraje en tiempo real. El marco distingue entre recursos híbridos acoplados en CC (entidad única, inversor compartido) y recursos co-ubicados acoplados en CA (entidades separadas).

Contribuciones Clave
El artículo identifica y aborda tres lagunas específicas de investigación:

1. DRL Consciente de Restricciones para la Provisión de SA Híbrida: Si bien el DRL se ha aplicado al almacenamiento en baterías, este trabajo extiende el marco a híbridos FV-batería con restricciones operativas estrictas. Permite la participación conjunta en SA tanto de la FV como de la batería bajo incertidumbre de pronóstico, superando las restricciones suaves o las suposiciones de pronóstico perfecto encontradas en estudios anteriores.
2. Comparación Cuantitativa de Estructuras de Mercado: El artículo proporciona una comparación cuantitativa sistemática entre modelos de participación híbrida y co-ubicada en entornos de múltiples mercados. Evalúa las diferencias en flexibilidad operativa, estrategias de puja y desempeño económico, ofreciendo perspectivas sobre cómo las estructuras de mercado influyen en el valor del recurso.
3. Co-optimización Consciente de la Incertidumbre de Diseño y Operación: La contribución principal es la integración de la participación en múltiples mercados en la optimización del diseño de sistemas FV-batería bajo incertidumbre. A diferencia de trabajos previos que dependen de pronósticos deterministas para el dimensionamiento, este marco aprende capacidades óptimas y políticas operativas simultáneamente, optimizando directamente el desempeño económico a largo plazo en entornos estocásticos.

Resultados
Estudios de casos numéricos utilizando datos históricos de CAISO demuestran la efectividad del marco:

• Híbrido vs. Co-ubicado: Bajo tamaños de sistema idénticos, los recursos híbridos lograron consistentemente recompensas más altas que los recursos co-ubicados. La configuración híbrida redujo las penalizaciones por desequilibrio en aproximadamente un 40% (de 3.622 $a 2.193$ en una semana de muestra) al mitigar internamente los errores de pronóstico FV. Además, la arquitectura acoplada en CC permitió la recuperación de la energía FV "recortada", desplazándola a períodos de alto precio, aumentando así los ingresos del mercado de energía.
• Resultados de la Co-optimización: La optimización conjunta de diseño y operación generó configuraciones que superaron las líneas base de diseño fijo. Por ejemplo, en un escenario de línea base, el marco identificó una duración óptima de batería de 2,71 horas, que estaba por debajo del requisito de 4 horas del mercado de capacidad, pero seguía siendo rentable debido a los ingresos de los mercados de energía y SA.
• Sensibilidad de la Política: El marco se adaptó con éxito a cambios hipotéticos de política. Cuando el requisito de duración del mercado de capacidad se aumentó a 8 horas, el diseño óptimo se desplazó hacia una mayor capacidad FV y una menor capacidad de batería, lo que indica que los mandatos de duración por sí solos no garantizan la implementación de baterías si entran en conflicto con la viabilidad económica. Por el contrario, el aumento de los precios de SA para la regulación ascendente impulsó el diseño óptimo hacia mayores potencias nominales de batería.
• Aplicabilidad a Largo Plazo: Utilizando un marco de RL distribuido con un año de datos, el estudio confirmó que las variaciones estacionales influyen significativamente en las estructuras de ingresos y las estrategias óptimas. El enfoque distribuido redujo el tiempo de entrenamiento para la optimización de un año completo a aproximadamente 10 horas, demostrando la viabilidad computacional para la planificación a largo plazo.

Significado y Afirmaciones
El artículo afirma que su marco propuesto ofrece una herramienta robusta para identificar configuraciones de sistemas híbridos económicamente racionales que son resilientes a las incertidumbres meteorológicas y de precios. Al integrar las variables de diseño en el proceso de aprendizaje, el método evita la carga computacional de la optimización de dos niveles y captura la compleja interacción entre el dimensionamiento del sistema y las estrategias operativas en múltiples mercados.

Los autores enfatizan que su trabajo proporciona nuevas perspectivas sobre el valor de los recursos híbridos, particularmente su capacidad para recuperar energía recortada y mitigar desequilibrios, aspectos que a menudo se pasan por alto en estudios que se centran exclusivamente en los mercados de energía o asumen pronósticos perfectos. El estudio concluye que, si bien los recursos híbridos ofrecen una flexibilidad y rentabilidad superiores, su diseño óptimo es altamente sensible a las reglas del mercado (como los requisitos de duración de la capacidad) y a las señales de precios, lo que hace necesaria una planificación adaptativa y consciente de la incertidumbre. Los autores notan modestamente que el trabajo futuro podría extender este marco a entornos que involucren a múltiples tomadores de decisiones, como plantas de energía virtuales.