Resumen Técnico: Métodos de Aprendizaje por Refuerzo Profundo Basados en Datos y Explicables para la Gestión Óptima de la Energía en Edificios

1. Planteamiento del Problema

La integración de fuentes de energía renovables (RES), como los paneles fotovoltaicos (PV), y cargas flexibles como bombas de calor y vehículos eléctricos en los sistemas energéticos de los edificios ha introducido una complejidad significativa. Esta complejidad surge de la generación de potencia volátil, las tarifas eléctricas dinámicas y el acoplamiento de los sectores térmico y eléctrico. Los métodos de control tradicionales, como el Control Predictivo basado en Modelo (MPC), dependen de modelos de sistema explícitos y pronósticos, lo que puede ser computacionalmente intensivo y difícil de mantener en entornos inciertos. Si bien el Aprendizaje por Refuerzo Profundo (DRL) ofrece una alternativa prometedora basada en datos, capaz de aprender políticas óptimas sin modelos explícitos, su naturaleza de "caja negra" obstaculiza la confianza del usuario y la adopción práctica en infraestructuras críticas. Existe una falta de marcos que no solo optimicen la gestión energética, sino que también proporcionen información transparente y accionable sobre el proceso de toma de decisiones, particularmente cuando se validan con datos empíricos del mundo real en lugar de basarse únicamente en conjuntos de datos sintéticos.

2. Metodología

Los autores proponen un marco unificado de Aprendizaje por Refuerzo Profundo Explicable (XRL) aplicado a la gestión de la energía en edificios residenciales. La metodología consta de tres módulos interconectados:

A. Ingesta de Datos y Validación de Pronósticos

• Fuentes de Datos: El estudio utiliza dos conjuntos de datos:
  1. Datos Empíricos: Mediciones del mundo real del Living Lab Energy Campus (LLEC) en el Instituto de Tecnología de Karlsruhe (KIT), recolectadas entre junio y septiembre de 2024. Esto incluye demanda residencial, generación fotovoltaica (PV), electricidad de la red y datos meteorológicos.
  2. Datos Sintéticos: Generados mediante EnergyPlus (específicamente el modelo Generator_PVWatts) para simular un año completo de comportamiento energético de un edificio bajo diversas condiciones climáticas.
• Pronóstico: Se emplea una red de Memoria de Corto Plazo de Larga Memoria (LSTM) para pronosticar la demanda y los precios de la electricidad. El análisis comparativo determinó que un horizonte de predicción de 1 hora ofrece la mejor precisión y estabilidad.
• Espacio de Estados: La representación del estado se amplía para incluir mediciones históricas (demanda, PV, potencia de la batería, Estado de Carga - SoC), señales externas (precios dinámicos, clima), indicadores calendáricos y pronósticos a corto plazo (demanda y precio).

B. Aprendizaje de Políticas y Protocolo de Referencia

• Algoritmos: Se entrenaron y compararon seis algoritmos de DRL:
  • On-policy: Advantage Actor-Critic (A2C), Proximal Policy Optimization (PPO).
  • Off-policy: Deep Q-Network (DQN), Soft Actor-Critic (SAC), Twin Delayed Deep Deterministic Policy Gradient (TD3), Deep Deterministic Policy Gradient (DDPG).
• Entorno: El agente controla las corrientes de carga/descarga de la batería (espacio de acción continuo para la mayoría de los algoritmos, discreto para DQN) para maximizar el beneficio económico respetando las restricciones físicas (por ejemplo, evitar la sobrecarga).
• Función de Recompensa: La recompensa se define por el compromiso económico entre los costos de interacción con la red y los costos de la demanda neta, con penalizaciones por acciones inseguras (por ejemplo, violar los límites de SoC).
• Optimización de Hiperparámetros: Se realizó una búsqueda automatizada utilizando la biblioteca Optuna para identificar los hiperparámetros óptimos para cada algoritmo.

C. Interpretación de la Política (XRL)

Para abordar el problema de la caja negra, los autores emplean técnicas de interpretación post-hoc:

1. Aproximación por Árboles de Decisión (Destilación de Políticas): Las políticas aprendidas de DRL se aproximan mediante árboles de decisión para extraer reglas legibles por humanos. Esto proporciona transparencia estructural sobre cómo las variables de estado influyen en las acciones (Cargar, Descargar, Inactivo).
2. Análisis de Eliminación de Características: Se excluyen características específicas del estado (por ejemplo, SoC, PV, pronósticos de precios) durante el entrenamiento para cuantificar su impacto en las recompensas acumuladas, identificando así los impulsores dominantes de la política.

3. Contribuciones Clave

El artículo describe cuatro contribuciones principales:

1. Pipeline Integrado de XRL: Un marco estructurado que vincula los resultados de las políticas de DRL con mecanismos de explicabilidad (árboles de decisión y ablación de características) adaptados específicamente para espacios de estado de alta dimensión en la gestión energética de edificios.
2. Protocolo de Evaluación Comparativa: Una evaluación rigurosa de múltiples algoritmos de DRL (tanto on-policy como off-policy) bajo idénticas restricciones ambientales.
3. Diseño Mejorado del Espacio de Estados: La incorporación tanto de mediciones históricas como de información de pronósticos a corto plazo, con un horizonte de pronóstico validado mediante análisis de error cuantitativo.
4. Información Cuantitativa: Identificación de las variables de estado dominantes que influyen en la formación de la política y un análisis de cómo la información de pronóstico moldea las estrategias de control.

4. Resultados

• Rendimiento de los Algoritmos: Los algoritmos on-policy, específicamente A2C y PPO, superaron a los métodos off-policy (DQN, SAC, TD3, DDPG) en términos de recompensas acumuladas y estabilidad de la política tanto en los conjuntos de datos reales como en los sintéticos.
  • Razonamiento: Los autores especulan que los métodos on-policy se benefician del uso de trayectorias frescas alineadas con las condiciones actuales de pronóstico, mientras que los métodos off-policy pueden sufrir sesgos debido a los buffers de experiencia que contienen datos de pronóstico desactualizados.
  • Rendimiento de A2C: A2C logró la mayor recompensa acumulada (ganancia de beneficio de 568.49 EUR) en el conjunto de prueba empírico, superando significativamente al baseline (0 EUR) y a otros algoritmos.
• Hallazgos de Interpretabilidad:
  • Árboles de Decisión: Los árboles de decisión destilados revelaron que el Estado de Carga (SoC) es el principal motor para activar acciones. Si el SoC > 90%, el agente descarga; de lo contrario, evalúa los pronósticos de precio y la humedad.
  • Importancia de las Características: El análisis de eliminación de características confirmó que el SoC, la generación PV y los pronósticos de precios son críticos. Curiosamente, mientras que la demanda actual se encontró menos crítica para los algoritmos on-policy (ya que debe satisfacerse independientemente), la demanda y el precio pronosticados fueron esenciales para optimizar la preparación de la batería.
  • Generalización: Las políticas entrenadas con datos empíricos demostraron un rendimiento robusto cuando se evaluaron con el conjunto de datos sintético, con los agentes on-policy superando consistentemente a los off-policy.
• Comparación con el Baseline: El marco XRL redujo los costos operativos en comparación con un controlador base (derivado de reglas de datos empíricos) y proporcionó una lógica de decisión transparente.

5. Significación y Reivindicaciones

El artículo afirma que el marco XRL propuesto logra cerrar la brecha entre el alto rendimiento del DRL de caja negra y la transparencia requerida para la adopción práctica en sistemas energéticos.

• Confianza y Adopción: Al proporcionar información transparente y accionable (vía árboles de decisión y análisis de características), el marco aumenta la confianza entre expertos del dominio y operadores de edificios, facilitando la adopción de la IA en la gestión energética.
• Cumplimiento Regulatorio: Los autores señalan que tal transparencia es cada vez más requerida por regulaciones como la Ley de IA de la Unión Europea.
• Complemento para MPC: El marco se presenta no como un reemplazo del Control Predictivo basado en Modelo (MPC), sino como una alternativa complementaria totalmente basada en datos que puede actualizarse mediante reentrenamiento en lugar de rediseño del modelo. Además, las reglas interpretables derivadas de XRL pueden informar o simplificar las formulaciones de MPC.
• Escalabilidad: La naturaleza basada en datos permite el potencial de aprendizaje por transferencia, donde las políticas entrenadas en un edificio pueden adaptarse a otros.

Los autores mantienen un tono modesto, reconociendo que, si bien los árboles de decisión destilados proporcionan información valiosa, son aproximaciones y no pueden capturar completamente la sutileza de la política completa de DRL. El trabajo se centra en un solo edificio, pero sugiere direcciones futuras para la coordinación a nivel de red y el control de emergencia.