Resumen Técnico: Programación Conjunta de Demanda Diferible y No Diferible con Suministro Estocástico Colocalizado

1. Formulación del Problema

Este artículo aborda la programación óptima de dos tipos distintos de demandas eléctricas dentro de un sistema energético que cuenta con suministro estocástico colocalizado (por ejemplo, energía solar en tejados) y electricidad importada de la red. El sistema se modela como un Proceso de Decisión de Markov (MDP) con horizonte finito, tiempo discreto, estado continuo y restricciones.

Los dos tipos de demanda son:

• Demanda Diferible: Llega de forma aleatoria (por ejemplo, carga de Vehículos Eléctricos) y debe completarse antes de un plazo específico. La cantidad servida puede retrasarse, pero la demanda no servida al vencimiento del plazo incurre en una penalización estrictamente creciente y convexa.
• Demanda No Diferible: Está siempre presente (por ejemplo, climatización, iluminación) y debe servirse inmediatamente. Sin embargo, la cantidad servida es sensible al precio, determinada por una función de utilidad conocida, diferenciable y cóncava.

El sistema opera bajo una tarifa regulada de Medición Neta de Energía (NEM), que es determinista, variable en el tiempo y lineal a trozos. Esta tarifa distingue entre tarifas de importación ($\pi^+_t$) y tarifas de exportación ($\pi^-_t$), donde $\pi^+_t \ge \pi^-_t$. El objetivo es maximizar el excedente económico esperado (utilidad total del consumo menos pagos por electricidad y penalizaciones por completado) durante el horizonte de programación.

El desafío central reside en el espacio de políticas de dimensión infinita resultante de las variables de estado continuas (demanda diferible restante y generación estocástica) y las variables de acción continuas (tasas de servicio para ambos tipos de demanda), agravado por la no linealidad de la estructura de precios NEM.

2. Metodología y Análisis Teórico

El Principio de la Procrastinación

Los autores establecen que la política de programación óptima sigue un "Principio de Procrastinación". Este principio dicta que la compra de electricidad a la red debe retrasarse hasta que sea estrictamente necesario cumplir con los plazos, y, por el contrario, la generación renovable local debe priorizarse para el consumo inmediato o la exportación en función de los riesgos futuros de precios y generación.

Caracterización Estructural de la Política Óptima

Mediante un análisis riguroso de la ecuación de Bellman, el artículo demuestra que la política óptima puede reducirse de un espacio de dimensión infinita a un espacio euclidiano de dimensión finita definido por tres parámetros de procrastinación (umbrales) para cada paso de tiempo $t$:

1. $\theta^-_t(g_t)$: Un umbral inferior sobre la demanda diferible restante. Por debajo de este, el sistema prioriza exportar la generación local sobre servir la demanda diferible, incluso si eso significa diferir aún más la carga.
2. $\theta^+_t(g_t)$: Un umbral superior. Por encima de este, el sistema debe servir agresivamente la demanda diferible utilizando tanto la generación local como las compras a la red para evitar penalizaciones por completado.
3. $\theta^0_t(g_t)$: Un parámetro que gobierna la región de "cero neto" donde el hogar ni importa ni exporta.

Estos umbrales dividen el espacio de estados en tres modos operativos distintos:

• Producción Neta: La generación local supera la demanda; el excedente se exporta.
• Consumo Neto: La demanda supera la generación local; se compra energía de la red.
• Cero Neto: La generación local coincide exactamente con la demanda; no hay interacción con la red.

Dentro de estas regiones, la política define una estructura de prioridad para asignar la generación local entre la demanda no diferible, la demanda diferible y la exportación. Por ejemplo, en la región de "cero neto", la política equilibra la utilidad marginal de los dispositivos no diferibles contra el valor marginal de servir la carga diferible, determinado por los valores específicos de los umbrales.

Aprendizaje por Refuerzo con Umbrales de Procrastinación (PTRL)

Para resolver el MDP cuando las distribuciones de probabilidad subyacentes son desconocidas, los autores proponen PTRL, un algoritmo estructurado de Aprendizaje por Refuerzo (RL).

• Reducción de Dimensionalidad: En lugar de aprender una política de acción completa sobre el espacio continuo de $(K+1)$ dimensiones (donde $K$ es el número de dispositivos no diferibles), PTRL aprende únicamente los tres umbrales de procrastinación ($\theta_t$).
• Arquitectura del Algoritmo: PTRL utiliza un marco Soft Actor-Critic (SAC). La red "Actor" genera la media y la covarianza de los umbrales de procrastinación basándose en el estado actual. La red "Critic" estima el valor (función Q) de un par estado-umbral.
• Ejecución de la Política: Una vez que el actor genera los umbrales, las acciones reales de programación (tasas de servicio) se calculan de manera determinista utilizando las reglas estructurales derivadas en el Teorema 2.

3. Resultados Clave

Contribuciones Teóricas

• Optimalidad de la Procrastinación: El artículo demuestra formalmente que, tanto para tarifas NEM invariantes en el tiempo como variables, la política óptima se caracteriza por los tres umbrales de procrastinación. Esto reduce significativamente la complejidad del problema de programación.
• Dependencia Lineal del Tiempo: Para modelos de generación independientes del tiempo, el artículo demuestra que los umbrales de procrastinación satisfacen una dependencia lineal del tiempo ($\theta^+_t = \theta^+_{t+1} + \bar{v}$), reduciendo aún más el número de parámetros a aprender.

Rendimiento Numérico

Los experimentos se realizaron utilizando trazas de datos del mundo real de la Adaptive Charging Network (ACN) para la demanda de VE y el conjunto de datos de Pecan Street para la generación solar y el consumo doméstico.

• Convergencia: PTRL convergió significativamente más rápido (aproximadamente 800 episodios para modelos independientes, 2.000 para modelos markovianos) en comparación con puntos de referencia estándar como SAC y DDPG, que requirieron aproximadamente 6.000 y 2.000 episodios respectivamente.
• Brecha de Optimalidad: Bajo datos de prueba sintéticos que coinciden con la distribución de entrenamiento, PTRL logró una brecha con respecto a la política óptima de solo 3,34%, en comparación con el 36,76% para SAC y el 25,91% para DDPG.
• Robustez con Datos de Campo: Cuando se probó con datos de campo fuera de la muestra, PTRL superó a todos los puntos de referencia (SAC, DDPG y Control Predictivo de Modelo) por márgenes sustanciales (por ejemplo, ~107% de mejora sobre SAC). Esto confirma la robustez del algoritmo frente a la discrepancia de modelos y la estocasticidad del mundo real.
• Eficiencia Computacional: PTRL demostró una ventaja computacional significativa sobre el Control Predictivo de Modelo (MPC), siendo aproximadamente 19 veces más rápido en tiempo de evaluación, lo que lo hace adecuado para la implementación en línea.
• Utilización de Fuentes de Energía: PTRL aprendió eficazmente a priorizar el consumo de energía renovable durante horas valle (cuando los precios de exportación son más bajos) y a guardar las renovables de alto valor de las horas punta para la exportación, una estrategia que los puntos de referencia estándar no lograron replicar con la misma eficacia.

4. Significado y Afirmaciones

El artículo afirma que su contribución principal es la caracterización estructural de la política óptima para un problema complejo de programación energética del mundo real. Al identificar el "Principio de Procrastinación", los autores transforman un MDP intratable de dimensión infinita en un problema de estimación de parámetros de baja dimensión.

La importancia de este trabajo radica en:

1. Puente entre Teoría y Práctica: Proporciona una base teórica (políticas de umbral) que permite el desarrollo de algoritmos de aprendizaje basados en datos altamente eficientes (PTRL) que superan tanto a los métodos estándar de RL como a los métodos de control tradicionales (MPC).
2. Manejo de Precios No Lineales: A diferencia de trabajos anteriores que a menudo asumen precios mayoristas lineales, este artículo aborda la naturaleza lineal a trozos y variable en el tiempo de las tarifas minoristas reguladas NEM, lo cual es crítico para la implementación práctica en entornos residenciales y comerciales.
3. Optimización Conjunta: Es el primer trabajo que programa conjuntamente demandas diferibles y no diferibles con suministro estocástico colocalizado, capturando las dependencias intertemporales y las compensaciones económicas inherentes a los sistemas modernos de prosumidores.

Los autores mantienen modestia respecto a futuras extensiones, señalando que el marco actual asume funciones de utilidad conocidas para la demanda no diferible y un único tipo de tarea diferible. Sugieren que el trabajo futuro podría implicar la integración de optimización inversa en línea para aprender utilidades y la extensión del marco a múltiples tareas diferibles simultáneas.