Resumen Técnico: Aprendizaje por Refuerzo Profundo Asistido por Pronósticos para la Gestión de la Energía en Microrredes Comunitarias con Hidrógeno

1. Planteamiento del Problema

Las microrredes comunitarias que integran el almacenamiento de hidrógeno ofrecen una vía para mejorar la utilización de las energías renovables y la resiliencia local. Sin embargo, su operación se ve complicada por la demanda residencial incierta, la generación renovable variable, los precios dinámicos de la electricidad y la dinámica acoplada del almacenamiento de baterías a corto plazo y el almacenamiento de hidrógeno de larga duración.

Los sistemas de gestión de energía (EMS) existentes suelen depender del control basado en reglas o de la optimización determinista, los cuales tienen dificultades para adaptarse a los cambios rápidos en la producción renovable y la demanda. Si bien se ha aplicado el Aprendizaje por Refuerzo Profundo (DRL), específicamente la Optimización de Política Próxima (PPO), a tales sistemas, las iteraciones previas (p. ej., [12]) operaban de forma reactiva basándose en observaciones instantáneas sin incorporar explícitamente información de carga futura. Este artículo aborda la brecha en el desarrollo de un marco de control predictivo que integre pronósticos de carga de múltiples horizontes en el espacio de estados del DRL para mejorar el despacho económico y la eficiencia del aprendizaje, específicamente dentro del contexto de una microrred comunitaria habilitada para el hidrógeno.

2. Metodología

2.1. Arquitectura del Sistema

El estudio evalúa una microrred residencial de 1000 casas en Rockhampton, Australia, que cuenta con:

• Generación: Arreglos fotovoltaicos (PV) y turbinas eólicas.
• Almacenamiento: Un Sistema de Almacenamiento de Energía en Baterías (BESS) para el equilibrio a corto plazo y un subsistema de hidrógeno (electrolizador, tanque de almacenamiento, pila de combustible) para la autonomía de larga duración.
• Interacción con la Red: Capacidades de importación/exportación con la red de servicios públicos.
• Modelo Matemático: El sistema se modela en tiempo discreto con ecuaciones de balance de potencia que acoplan la generación, el almacenamiento, la conversión de hidrógeno y el intercambio con la red.

2.2. Marco de Pronóstico

Se emplea un modelo de pronóstico basado en Transformers para predecir la carga de la comunidad en múltiples horizontes ($H \in \{1, 6, 12, 24, 48, 72\}$ horas).

• Características de Entrada: Carga histórica, irradiancia, temperatura ambiente, velocidad del viento, precios de electricidad e indicadores temporales.
• Arquitectura: El modelo utiliza embeddings de entrada, codificación posicional y mecanismos de autoatención de múltiples cabezales para capturar dependencias temporales de largo alcance.
• Desempeño: El modelo se entrena de forma independiente y se congela antes de ser integrado en el EMS. Las métricas de evaluación incluyen RMSE, MAE, MAPE, $R^2$ y correlación.

2.3. Sistema de Gestión de Energía (EMS) Predictivo

La contribución central es la extensión de un controlador basado en PPO hacia un marco asistido por pronósticos.

• Aumento del Espacio de Estados: El estado estándar de PPO (SOC de la batería, nivel de hidrógeno, precios actuales, etc.) se aumenta con el vector de pronóstico de carga multi-horizonte ($\hat{P}_{L, t+1:t+H}$).
• Espacio de Acciones: Acciones continuas para la carga/descarga de la batería, el despacho del generador diésel (durante apagones) y la producción/consumo de hidrógeno.
• Función de Recompensa: Diseñada para minimizar los costos operativos (importación/exportación de red, degradación, demanda no satisfecha) mientras se penaliza la operación cerca de los extremos de almacenamiento.
• Entrenamiento: El agente PPO aprende a maximizar la recompensa acumulada con descuento. El estudio compara cuatro escenarios:
  1. Sin batería (línea base física).
  2. PPO sin pronósticos (reactivo).
  3. PPO con pronósticos imperfectos (propuesto).
  4. PPO con pronósticos perfectos (límite superior teórico).

3. Principales Contribuciones

1. Evaluación de Pronóstico Multi-Horizonte: Una evaluación exhaustiva de la predicción de la carga comunitaria en horizontes de 1, 6, 12, 24, 48 y 72 horas utilizando una arquitectura Transformer.
2. Controlador PPO Enriquecido con Pronósticos: Desarrollo de un EMS predictivo donde las expectativas de carga futura se integran directamente en el estado del DRL, permitiendo que la política anticipe picos de demanda y cambios de precios.
3. Aislamiento Cuantitativo del Valor del Pronóstico: Una comparación rigurosa que aísla el valor operativo de la información de pronóstico al contrastar el PPO asistido por pronósticos contra los benchmarks de PPO no predictivo y de pronóstico perfecto.
4. Evaluación Holística: Reporte sobre impactos económicos, operativos, ambientales y de resiliencia, reconociendo explícitamente las limitaciones respecto a la precisión del pronóstico y las trayectorias específicas de los componentes.

4. Resultados

4.1. Precisión del Pronóstico

El desempeño del pronóstico fue mixto y dependiente del horizonte:

• Horizonte de 1 hora: Logró el mejor desempeño con un RMSE de 239.32 kW y un $R^2 = 0.201$.
• Horizontes Intermedios (6h, 12h): Desempeñaron pobremente, con valores de $R^2$ negativos ($-0.757$y$-1.914$), lo que indica un desempeño peor que un predictor de valor medio.
• Horizonte de 24 horas: RMSE de 249.79 kW, MAPE de 62.52% y $R^2$ de 0.126.
• Horizontes más largos (48h, 72h): El RMSE se estabilizó alrededor de 246–247 kW con valores de $R^2$ ligeramente por encima de 0.1.

4.2. Aprendizaje y Desempeño Económico

A pesar de la limitada precisión predictiva, el PPO asistido por pronósticos demostró beneficios significativos:

• Convergencia: El controlador asistido por pronósticos convergió aproximadamente un 14.3% antes (Episodio 30 vs. 35) que el controlador no predictivo.
• Mejora de la Recompensa: La recompensa final aumentó un 8.3% en comparación con la línea base no predictiva.
• Ahorros Anuales:
  • Sin pronósticos: A$2,439.86.
  • Con pronósticos: A$2,765.83.
  • Ganancia Incremental: A$325.97 (un aumento del 13.4%).
  • El modelo implementado capturó aproximadamente el 90.5% de los ahorros alcanzables con pronósticos perfectos.
• Utilización de Renovables: Aumentó de 35.3% (sin pronóstico) a 36.4% (con pronóstico).
• Importaciones de Red: Se redujeron en 170.15 kWh en relación con el caso no predictivo.

4.3. Hallazgos Operativos y de Resiliencia

• Carga Pico y Recorte: El pronóstico no redujo significativamente la carga neta pico (reducción de solo 0.65 kW) ni el recorte; de hecho, el recorte fue ligeramente mayor con los pronósticos. El valor principal residió en el tiempo económico más que en el suavizado de picos.
• Resiliencia: Durante los escenarios de interrupción de la red, la configuración de batería/controlador proporcionó un valor de protección del 20.1% en comparación con no tener batería. Sin embargo, no se observó ninguna mejora medible en la resiliencia entre el controlador asistido por pronósticos y el no predictivo; el pronóstico no mejoró el manejo de los apagones en los escenarios de estrés probados.
• Impacto Ambiental: El pronóstico redujo las emisiones relacionadas con la importación de red en un 85.08 kg de CO2 adicionales en comparación con el caso no predictivo. Las grandes reducciones de emisiones reportadas fueron impulsadas por la contabilidad de créditos de exportación más que por recortes físicos directos de emisiones.

5. Significancia y Reivindicaciones

El artículo concluye que los pronósticos imperfectos aún pueden mejorar el aprendizaje de DRL y el despacho económico, incluso cuando la precisión del pronóstico (medida por $R^2$) es baja o negativa para ciertos horizontes. El controlador logró extraer exitosamente la estructura temporal útil de los pronósticos para optimizar la programación del almacenamiento y las transacciones con la red.

No obstante, los autores mantienen una postura modesta respecto a las implicaciones más amplias:

• Alcance Limitado: Los resultados no respaldan afirmaciones de una precisión de pronóstico superior, una reducción importante de la carga pico o una resiliencia mejorada por el pronóstico.
• Valor Específico: El valor del pronóstico es primordialmente económico (ahorro de costos) y relacionado con la eficiencia del aprendizaje (convergencia más rápida), en lugar de la estabilidad física de la red o la reducción de picos.
• Requerimientos Futuros: El artículo enfatiza que, antes de que se puedan hacer afirmaciones de despliegue más amplias, se requiere más trabajo sobre la calibración de pronósticos, estudios de interrupción de mayor duración y el reporte de las trayectorias a nivel de componentes (específicamente las operaciones del electrolizador de hidrógeno y la pila de combustible) para verificar cómo los pronósticos influyen en la gestión del almacenamiento de larga duración.

El estudio sirve como una prueba de concepto de que integrar predicciones de múltiples horizontes en los espacios de estados de DRL genera beneficios económicos tangibles, incluso cuando los modelos de pronóstico subyacentes no son altamente precisos.