Multi-market value-stacking: Battery control for combined imbalance participation and non-uniform FCR bidding

Resumen Técnico: Acumulación de Valor en Múltiples Mercados con Ofertas de FCR No Uniformes

Enunciado del Problema
La creciente penetración de Fuentes de Energía Renovable (FER) en los sistemas eléctricos europeos ha intensificado las desviaciones de frecuencia y los desequilibrios del sistema, haciendo necesarias servicios auxiliares robustos como la Reserva de Contención de Frecuencia (FCR). Los Sistemas de Almacenamiento de Energía por Batería (BESS) son ideales para estos servicios debido a su rápida respuesta; sin embargo, se clasifican como Recursos de Energía Limitada (LER). Esta clasificación exige una gestión estricta del Estado de Energía (SoE) para garantizar la disponibilidad continua tanto para la activación de FCR ascendente como descendente.

La investigación existente suele emplear ofertas de FCR uniformes, donde los compromisos de capacidad de reserva permanecen estáticos durante todo el período de control. Este enfoque estático no explota plenamente la flexibilidad del BESS, ya que no equilibra dinámicamente la compensación entre reservar energía para la entrega de FCR y utilizar esa energía para el arbitraje de desequilibrios. Si bien el Aprendizaje por Refuerzo Profundo (DRL) se ha aplicado al control de desequilibrios en tiempo real, ha operado en gran medida bajo estas restricciones de ofertas uniformes y estáticas. Por el contrario, la oferta no uniforme (compromisos variables en el tiempo) ha demostrado ser prometedora en entornos deterministas, pero no se ha integrado eficazmente con un control estocástico en tiempo real de alta resolución. Este artículo aborda la brecha: ¿se puede desbloquear un ingreso adicional combinando ofertas de FCR no uniformes con el control de desequilibrios en tiempo real?

Metodología
Los autores proponen un marco de control de dos etapas diseñado para el contexto europeo para desacoplar las decisiones de oferta a largo plazo del control rápido en tiempo real:

1. Etapa 1: Optimización de Ofertas de FCR No Uniformes Basada en Datos

   • Objetivo: Derivar una secuencia temporal de ofertas de FCR (en bloques de 4 horas) que maximice el beneficio esperado sin depender de una previsión perfecta para la capa de tiempo real.
   • Enfoque: Se realiza una optimización Monte Carlo (MC) basada en datos ex-post utilizando datos de frecuencia y precios realizados. Para cada bloque de 4 horas, el sistema evalúa ofertas candidatas discretas (de 0 a $P_{nom}-1$ MW).
   • Simulación: Cada oferta candidata se prueba mediante 50 simulaciones MC a una resolución de 1 segundo, incorporando activaciones históricas de FCR y liquidaciones financieras.
   • Control Heurístico: Una heurística basada en reglas simples gestiona el SoE durante estas simulaciones para garantizar el cumplimiento de las restricciones de FCR mientras se capturan los ingresos por desequilibrios.
   • Ajuste: Para evitar sesgos derivados de los niveles de SoE al final del bloque, se aplica un ajuste de valor terminal a la métrica de beneficio, teniendo en cuenta el costo de oportunidad de la energía restante en el bloque subsiguiente. Se selecciona la oferta con el mayor beneficio ajustado esperado para el bloque.

2. Etapa 2: Control de Desequilibrios en Tiempo Real Basado en DRL

   • Objetivo: Explotar la flexibilidad residual (la diferencia entre la potencia nominal y la oferta de la Etapa 1) para el comercio de desequilibrios en tiempo real, manteniendo la viabilidad del SoE.
   • Agente: Una Red de Doble Q-Profunda (DDQN) opera en intervalos de 1 minuto, alineada con las actualizaciones de la señal de precios de desequilibrio.
   • Espacio de Estados: El agente observa señales del mercado (precios de desequilibrio, características temporales), el estado físico (SoE, uso acumulado de ciclos) y el contexto de restricciones (distancia a los límites de SoE, compromisos de FCR actuales/próximos).
   • Espacio de Acciones: Decisiones discretas de carga, inactividad o descarga mapeadas a la flexibilidad residual disponible.
   • Mecanismo de Seguridad: Una capa de seguridad de dos niveles garantiza el cumplimiento: (i) una máscara de acciones filtra los puntos de ajuste que probablemente violen las restricciones, y (ii) una anulación reactiva corrige las acciones si las activaciones estocásticas de FCR empujan el SoE fuera de los límites.
   • Función de Recompensa: Una función multiobjetivo equilibra el ingreso neto por desequilibrios, la seguridad operativa (penalizando la proximidad/violación del SoE) y la salud de la batería (penalizando el volumen excesivo de ciclos diarios).

Contribuciones Clave

• Marco Novel: Introducción de una arquitectura de dos etapas que integra ofertas de FCR no uniformes con control en tiempo real basado en DRL, abordando la limitación de las ofertas estáticas en la literatura existente.
• Prueba de Concepto: Demostración de que las estrategias de oferta variables en el tiempo pueden derivarse mediante optimización MC basada en datos para crear un "envolvente de viabilidad" dinámico para el controlador en tiempo real.
• Implementación Algorítmica: Aplicación de DDQN para gestionar la compleja compensación entre el cumplimiento de FCR y el arbitraje de desequilibrios bajo restricciones variables en el tiempo, utilizando una estructura de recompensa específica para gestionar la degradación de la batería.

Resultados
El marco se evaluó utilizando un BESS de 10 MW / 20 MWh en el mercado belga durante todo el año 2022, empleando datos de frecuencia y mercado de alta resolución.

• Aumento de Beneficios: La estrategia no uniforme propuesta logró un beneficio neto total de 3,06 millones de euros, lo que representa un aumento del 7,56% sobre la mejor línea base uniforme (2,84 millones de euros).
• Composición de Ingresos: El ingreso específico de FCR permaneció comparable entre las estrategias no uniforme y uniforme óptima, lo que indica que el optimizador asignó eficazmente la capacidad durante los períodos de precios máximos de FCR. La ganancia principal (aproximadamente el 7,5%) provino de un arbitraje de desequilibrios aumentado.
• Dinámicas Operativas: Al reducir dinámicamente las obligaciones de FCR durante períodos de alta volatilidad de desequilibrios, la estrategia no uniforme amplió los márgenes operativos del SoE. Esto permitió que el agente DRL ejecutara estrategias de arbitraje más agresivas que estarían restringidas bajo ofertas estáticas.
• Salud del Activo: A pesar de un mayor número de ciclos de carga en comparación con las líneas base uniformes, el agente mantuvo con éxito el volumen total dentro del límite de ciclos diarios prescrito ($C_{max}$), demostrando una utilización efectiva del margen disponible sin violar las restricciones de longevidad.
• Comportamiento de Ofertas: El optimizador seleccionó ofertas de FCR más grandes cuando los precios de FCR eran altos y redujo las ofertas cuando aumentó la volatilidad de los precios de desequilibrio, creando un patrón de transición diagonal entre la capacidad de FCR y la flexibilidad de desequilibrios.

Significado y Afirmaciones
El artículo afirma que la oferta no uniforme desbloquea valor adicional al alinear más eficazmente las obligaciones de reserva con las oportunidades de desequilibrio que cambian rápidamente. El estudio postula que la arquitectura "oferta luego control de flexibilidad residual" proporciona una abstracción reutilizable para otros escenarios de acumulación de valor que involucran restricciones dependientes del tiempo (por ejemplo, aFRR, BESS híbridos con PV).

Los autores mantienen una postura moderada respecto a la implementación actual:

• La optimización de la Etapa 1 se basa en datos ex-post, sirviendo como prueba de concepto y como referencia de límite superior en lugar de una herramienta de previsión desplegable.
• El uso de DDQN se presenta como una línea base estable para aislar el impacto de la estrategia de oferta en lugar de comparar algoritmos de RL con alternativas de última generación.
• Se identifica que el trabajo futuro es necesario para integrar la selección proactiva de ofertas basada en previsión y explorar arquitecturas de RL más robustas.

Los resultados sugieren que ir más allá de los compromisos estáticos y uniformes permite a los operadores de BESS capturar ingresos adicionales significativos en entornos de múltiples mercados, manteniendo al mismo tiempo un cumplimiento estricto de los requisitos de servicios auxiliares.