Resumen Técnico: Building2Building (B2B)

Planteamiento del Problema

El Aprendizaje por Refuerzo (RL) ha demostrado un sólido rendimiento en tareas de control, sin embargo, las políticas aprendidas suelen ser frágiles cuando se enfrentan a cambios en la dinámica, los espacios de acción, los espacios de observación o los objetivos. Esta falta de generalización es una barrera crítica para el despliegue en el mundo real. Los benchmarks existentes para estudiar la generalización, como Meta-World y RLBench, están mayoritariamente confinados a la robótica y los videojuegos. Estos suelen introducir una diversidad limitada, centrándose principalmente en variaciones de parámetros dinámicos (por ejemplo, la fricción) o metas de tareas, pero rara vez ofrecen espacios de observación y acción heterogéneos o entornos físicos complejos. En consecuencia, la investigación en adaptación cruzada de dominios y transferencia en RL suele depender de configuraciones experimentales personalizadas y no reproducibles, lo que fragmenta el progreso.

Los autores identifican el control de Calefacción, Ventilación y Aire Acondicionado (HVAC) en edificios como un dominio ideal para abordar estas brechas. Los edificios exhiben una vasta diversidad en diseños, materiales, exposición climática y configuraciones de HVAC, aunque comparten principios físicos comunes basados en la termodinámica y la conservación de la energía. Además, los sistemas HVAC representan un desafío social significativo, ya que representan casi la mitad del consumo energético en los edificios (los cuales comprenden aproximadamente un tercio del uso global de energía).

Metodología

La Suite Building2Building (B2B)

Los autores presentan Building2Building (B2B), una suite de gran escala de entornos de control HVAC realistas construida sobre EnergyPlus, un simulador de energía de edificios de vanguardia. B2B está diseñado para ser totalmente compatible con la interfaz de Gymnasium.

Generación de Entornos:

• Escala: La suite genera un conjunto de datos de 6,000 entornos que abarcan múltiples tipos de edificios (casas, restaurantes, almacenes, tiendas minoristas, oficinas pequeñas/medianas), climas y configuraciones de HVAC.
• Generadores:
  1. Un generador residencial que produce casas de zona única basadas en las características estadísticas del parque de edificios residenciales de Quebec.
  2. Un generador paramétrico basado en edificios comerciales de referencia de la norma ASHRAE 90.1 en 16 ubicaciones de América del Norte. Este generador muestrea el tamaño del edificio, la relación ventana-pared, el aislamiento y la infiltración de aire, mientras impone límites de parámetros dependientes del clima para asegurar la consistencia física.
• Interfaz de Control: B2B expone actuadores de HVAC de bajo nivel, gestionando:
  • Sistemas unitarios: Control de la temperatura del aire de suministro (SAT) y el caudal de aire de suministro.
  • Sistemas de bucle de aire central: Control de la SAT central, mezcladores de aire exterior, aperturas de dampers de zona y bobinas de recalentamiento a nivel de zona.
  • Sistemas de base/solo calefacción: Control mediante termostatos de zona.
• Observaciones: Los agentes reciben datos meteorológicos (temperatura, humedad), información de calendario, temperaturas de zona interior y consumo de energía HVAC normalizado.

Representación Estructurada del Entorno

Para abordar la falta de formas estandarizadas de describir flotas heterogéneas de entornos, B2B introduce una representación estructurada que extiende la API estándar de Gymnasium.

• Universo Morfológico: Define un vocabulario común para una familia de entornos, incluyendo un espacio de atributos común ($C_c$), un espacio de observación ($S_c$) y un espacio de acción ($A_c$), junto con un conjunto de tipos de nodos ($T$) con espacios locales.
• Morfología: Describe una instancia específica de entorno como un grafo donde los nodos representan componentes (por ejemplo, zonas térmicas, equipos de HVAC) con atributos locales específicos.
• Descomposición: Las observaciones y acciones se descomponen en una parte común y una parte de grafo morfológico. Esto permite que los algoritmos (por ejemplo, Redes Neuronales de Grafos, Transformadores de Grafos Heterogéneos) operen sobre la estructura del entorno en lugar de tamaños fijos de entrada/salida.

Tareas de Benchmark

Los autores definen cuatro configuraciones de benchmark reproducibles para aislar fuentes específicas de variación:

1. Adaptación de Objetivos: Entrenamiento y prueba en la misma dinámica de edificio pero con funciones de recompensa variables (por ejemplo, cambiando los pesos de energía $w_E$ o las estrategias de consigna de temperatura: constante, basada en ocupación o aleatoria).
2. Adaptación de Dinámicas: Recompensa y espacio de acción fijos, pero variando las dinámicas del edificio (clima, tamaño, envolvente) dentro del mismo arquetipo.
3. Desplazamientos en el Espacio de Acción: Dinámicas y recompensa fijas, pero cambiando el conjunto de actuadores controlables entre el entrenamiento y la prueba (por ejemplo, entrenar solo con flujo de aire, probar con flujo de aire + SAT).
4. Generalización de Dominio Cruzado: Entrenamiento y prueba en tipos de edificios completamente diferentes con espacios de observación y acción heterogéneos (por ejemplo, entrenar en tiendas minoristas, probar en oficinas pequeñas).

Formulación de la Recompensa

La función de recompensa equilibra el confort térmico y la eficiencia energética:
$$r_t = -\frac{1}{Z \tau_T} \sum_{z=1}^{Z} (T_z(t) - T^{target}_z(t))^2 - w_E \frac{1}{\tau_E} E_{HVAC}(t)$$
Para manejar las diferencias de escala entre miles de entornos, los autores introducen constantes de normalización $\tau_T$ y $\tau_E$. $\tau_E$ se fija como el consumo de potencia medio por paso de una política reactiva de base para un tipo de edificio y clima dado, permitiendo que un único peso $w_E$ defina el compromiso a través de diversos entornos.

Resultados Clave

Baselines (Líneas Base):
Los autores establecieron líneas base utilizando:

1. Control Reactivo: Lógica de control supervisora inspirada en la guía ASHRAE 36 (bucles PI y mecanismos de Trim-and-Respond).
2. Agentes PPO: Entrenados en subconjuntos del conjunto de prueba.

Experimentos de Adaptación de Dinámicas:

• Se probaron tres clases de modelos en casas de zona única: (1) Especialistas por edificio, (2) Agentes no especialistas (remuestreo de edificios) y (3) Agentes parametrizados (remuestreo + atributos del edificio).
• Hallazgos: Los especialistas por edificio lograron el mejor rendimiento, pero hubo una brecha sustancial en comparación con los no especialistas. Los agentes parametrizados superaron a los no especialistas, demostrando el beneficio de condicionar con los parámetros del edificio (área de piso, año de construcción, etc.) para la adaptación de la dinámica. Sin embargo, los modelos no especialistas y parametrizados mostraron fallos de "cola larga" en edificios de prueba específicos, mientras que los especialistas fueron consistentes.

Experimentos de Transferencia de Dominio Cruzado:

• Una política única fue entrenada simultáneamente en cuatro tipos de edificios (tiendas minoristas, restaurantes, oficinas pequeñas, oficinas medianas) utilizando una variante de la arquitectura Amorpheus (codificadores/decodificadores específicos de tipo con un transformador compartido).
• Hallazgos: La política generalizada se adaptó con éxito a edificios no vistos del conjunto de prueba. En varios casos, superó al controlador reactivo de línea base, demostrando la viabilidad de aprender políticas de control a través de morfologías heterogéneas sin necesidad de un reentrenamiento por edificio.

Significación y Reivindicaciones

El artículo afirma que B2B proporciona un banco de pruebas necesario, a gran escala, diverso y físicamente fundamentado para la investigación sistemática de la generalización y la transferencia en el control continuo. Su significación radica en tres áreas:

1. Avance de la Investigación en RL: Al ofrecer un marco estandarizado con espacios de observación y acción heterogéneos, B2B permite el estudio riguroso del aprendizaje multitarea, el meta-aprendizaje y la transferencia de dominio cruzado, yendo más allá de las limitaciones de los actuales benchmarks centrados en la robótica.
2. Aplicabilidad en el Mundo Real: El benchmark cierra la brecha entre la investigación fundamental de RL y el despliegue en el mundo real en la gestión de la energía. Soporta un nuevo paradigma de entrenamiento donde las políticas se entrenan a través de una distribución de edificios en lugar de requerir un gemelo digital altamente detallado para cada edificio individual.
3. Impacto Social: Al permitir un control de HVAC mejorado a escala, este trabajo contribuye directamente a reducir el consumo de energía en los edificios, bajando los costes operativos y ayudando a la mitigación del cambio climático.

Los autores enfatizan que, si bien los métodos actuales de RL muestran promesa en la generalización, el benchmark B2B revela que aún quedan desafíos significativos, particularmente en el manejo de los casos de fallo de "cola larga" al transferir a entornos no vistos sin un condicionamiento específico.