Addressing Terminal Constraints in Data-Driven Demand Response Scheduling

Resumen Técnico: Abordaje de Restricciones Terminales en la Programación de Respuesta a la Demanda Basada en Datos

Enunciado del Problema
Los procesos químicos electrificados, como las Unidades de Separación de Aire (ASU), reciben incentivos crecientes para participar en esquemas de Respuesta a la Demanda (DR) con el fin de aprovechar los mercados eléctricos variables en el tiempo. Esto requiere operar con flexibilidad: reducir la producción durante los períodos de precios altos y utilizar el inventario almacenado para satisfacer la demanda, todo ello cumpliendo restricciones operativas estrictas. Un desafío crítico en este dominio es satisfacer las restricciones terminales (por ejemplo, garantizar un nivel mínimo de almacenamiento de producto al final del horizonte de programación) para mantener la estabilidad dinámica en los períodos subsiguientes.

Los métodos convencionales de optimización basados en modelos (por ejemplo, MPC no lineal) son computacionalmente costosos y difíciles de mantener debido a la complejidad de los modelos de primeros principios. Si bien el Aprendizaje por Refuerzo (RL) ofrece una alternativa basada en datos con bajo costo computacional en línea, los algoritmos de RL sin modelo luchan con la asignación de crédito a largo plazo. Específicamente, cuando las restricciones terminales se imponen mediante señales de recompensa dispersas y retardadas (por ejemplo, una penalización solo en el paso de tiempo final), el agente falla al vincular las acciones de control tempranas con resultados distantes. Esto a menudo conduce a un comportamiento miope, donde el agente agota el almacenamiento para minimizar los costos inmediatos, violando las restricciones terminales y desestabilizando el proceso.

Metodología
Los autores proponen un marco híbrido que integra la Planificación en el Espacio de Objetivos (GSP) con el algoritmo de Gradiente de Política Determinista Profundo (DDPG) para abordar la asignación de crédito a largo plazo. El enfoque se basa en una estructura de control jerárquica donde un agente de RL de alto nivel calcula los puntos de ajuste óptimos, y un Controlador Predictivo por Modelo Lineal (LMPC) de bajo nivel rastrea estos puntos de ajuste.

Las contribuciones metodológicas centrales incluyen:

1. Formulación del Objetivo: En lugar de tratar las restricciones terminales únicamente como problemas de optimización con restricciones, los autores las codifican como estados de objetivo deseables. Para la ASU, el espacio de objetivos ($G$) se define discretizando el nivel de almacenamiento del producto y los períodos de tiempo. Esta abstracción reduce el espacio de estados de alta dimensión (incluyendo impurezas y temperaturas) a una representación de baja dimensión centrada en la variable de restricción (almacenamiento).
2. Modelos Temporalmente Abstractos: El sistema aprende dos tipos de modelos:
   • Modelos de Estado a Objetivo: Redes neuronales ($r_\gamma, \Gamma$) que estiman el retorno descontado y el factor de descuento desde un estado actual hasta un subobjetivo alcanzable.
   • Modelos de Objetivo a Objetivo: Transiciones aprendidas ($\tilde{r}, \tilde{\Gamma}$) entre períodos de tiempo adyacentes en el espacio de objetivos, construidas a partir de trayectorias observadas.
3. Moldeamiento de Recompensas Basado en Potencial: Para propagar el valor a través de horizontes extendidos, los autores emplean una actualización de moldeamiento de recompensas basada en potencial. La recompensa inmediata se aumenta mediante la diferencia en los valores de potencial ($\Phi$), donde la función de potencial se deriva del valor proyectado del subobjetivo alcanzable más valioso. Esto proporciona una señal de aprendizaje densa, por paso, que guía al agente hacia los objetivos terminales sin alterar la política óptima.
4. Poda de Grafos: Para garantizar la validez de la planificación en el espacio de objetivos, se aplica un mecanismo de poda de dos etapas (búsqueda en anchura hacia adelante y hacia atrás) al Grafo Acíclico Dirigido (DAG) de transiciones de objetivos. Esto elimina nodos desconectados o caminos sin salida que no pueden alcanzar el conjunto terminal, asegurando que la iteración de valores opere sobre un subgrafo conectado.

Contribuciones Clave

• Integración de GSP con DDPG: El artículo demuestra cómo GSP puede integrarse con algoritmos estándar de RL actor-crítico para resolver problemas de programación a largo plazo con restricciones terminales.
• Eficiencia de Muestra: Al utilizar modelos temporalmente abstractos, el método desacopla la propagación de valores de las dinámicas de alta frecuencia, reduciendo significativamente el número de respaldos de Bellman necesarios para propagar el valor terminal a estados tempranos.
• Mitigación de la Miopía: El enfoque aborda explícitamente la brecha de asignación de crédito en el RL sin modelo, evitando que el agente sacrifique la estabilidad a largo plazo por ahorros de costos a corto plazo.

Resultados
El método propuesto se evaluó en una ASU simulada de referencia durante un horizonte de 72 horas con precios eléctricos variables en el tiempo.

• Curvas de Aprendizaje: La variante "GSP en línea" (aprendiendo modelos durante el entrenamiento) y "GSP fuera de línea" (utilizando modelos preentrenados) demostraron una eficiencia de muestra superior en comparación con DDPG estándar. El GSP en línea se acercó al rendimiento óptimo en el paso 1.000, y el GSP fuera de línea convergió en 500 pasos, mientras que el DDPG estándar tuvo dificultades para converger efectivamente dentro del mismo marco temporal.
• Cumplimiento de Restricciones: Las políticas de DDPG estándar exhibieron un comportamiento miope, agotando el almacenamiento temprano en el horizonte y quedando significativamente por debajo de la restricción de almacenamiento terminal. En contraste, las políticas basadas en GSP mantuvieron niveles de almacenamiento elevados y respondieron estratégicamente a las señales de precios, cumpliendo consistentemente la restricción terminal.
• Estudio de Ablación: Eliminar la proyección de estado a objetivo (GSP en línea sin proyección) resultó en una degradación del rendimiento, confirmando que el mapeo detallado de estados a objetivos abstractos es esencial para una asignación de crédito efectiva.
• Sobrecarga Computacional: El costo computacional del GSP en línea fue modesto, añadiendo aproximadamente un 15% al tiempo de reloj por episodio debido a la reconstrucción de grafos y la iteración de valores, mientras que el GSP fuera de línea añadió menos del 5%.

Significado y Afirmaciones
El artículo afirma que la Planificación en el Espacio de Objetivos proporciona un mecanismo efectivo para inyectar conocimiento de dominio en el RL sin modelo mediante la construcción de espacios de objetivos alineados con variables clave de restricción. Los autores afirman que este enfoque permite a los agentes adquirir representaciones interpretables de compensaciones temporales, resolviendo el problema de asignación de crédito a largo plazo que típicamente limita la aplicabilidad de los métodos basados en datos en sistemas de procesos. Los resultados sugieren que las abstracciones basadas en objetivos son una ruta prometedora para abordar otros problemas de control donde las restricciones terminales o de trayectoria son críticas, ofreciendo un equilibrio entre la flexibilidad de los métodos basados en datos y los requisitos de estabilidad de los procesos industriales.