Resumen Técnico: Un Marco Unificado en Python para el Control Directo Basado en PPO de Unidades de Manejo de Aire (AHU)

Enunciado del Problema

Los sistemas de climatización de edificios son responsables de una parte significativa del consumo energético global (30–40% del uso de energía en edificios), sin embargo, mantener un rendimiento óptimo es un desafío debido a las características no lineales de las envolventes de los edificios y las variaciones estocásticas de la carga. Las estrategias de control tradicionales, como los termostatos de encendido/apagado y los controladores PID de punto de ajuste fijo, a menudo luchan por equilibrar simultáneamente el confort térmico, la Calidad del Aire Interior (CAI) y la eficiencia energética. Específicamente, estos métodos convencionales frecuentemente fallan en ajustar dinámicamente las tasas de ventilación basándose en la ocupación en tiempo real y los niveles de CO2, lo que conduce tanto a un desperdicio excesivo de energía por sobre-ventilación como a riesgos para la salud por una CAI deficiente. Además, los estudios existentes de Aprendizaje por Refuerzo Profundo (DRL) a menudo tratan la CAI como una penalización suave en lugar de una restricción dura, dependen de herramientas complejas de co-simulación que dificultan la implementación, o carecen de modelos físicos integrados (como redes térmicas y ecuaciones de balance de masa) dentro de un entorno unificado en Python.

Metodología

Los autores proponen un marco unificado en Python que implementa un algoritmo de Optimización Directa de la Política Cercana (PPO) para controlar una Unidad de Manejo de Aire (AHU). La metodología se basa en los siguientes componentes:

1. Modelado Físico y Matemático

El entorno de simulación utiliza un modelo de red térmica 2R-2C acoplado con ecuaciones de balance de masa dinámicas para la humedad y el CO2.

• Dinámica Térmica: Modelada utilizando resistencia térmica ($R_{in}, R_{out}$) y capacitancia ($C_{wall}$) para simular el comportamiento termodinámico transitorio.
• Humedad y CO2: El sistema calcula la humedad interior y la concentración de CO2 basándose en las tasas de generación de los ocupantes, las propiedades del aire de suministro y las tasas de ventilación.
• Lógica del Economizador: Se integra un economizador basado en entalpía para permitir el "enfriamiento gratuito" cuando las condiciones exteriores (temperatura y humedad) son más favorables que las condiciones interiores.

2. Estrategias de Control Comparadas

El estudio evalúa cuatro estrategias de control distintas durante una simulación dinámica de 24 horas:

1. Termostato de Encendido/Apagado: Una lógica de conmutación de referencia con una diferencia fija (histéresis).
2. Controlador PID: Una señal de control continua que modula la velocidad del ventilador basándose en ganancias proporcionales, integrales y derivativas.
3. Agente PPO Estándar: Un agente de RL entrenado para regular la temperatura con una relación de aire fresco fija (50%).
4. Agente PPO "Inteligente" Propuesto: Un agente avanzado que presenta Lógica de Flujo Jerárquico.

3. El Marco PPO Propuesto

La innovación central reside en la Lógica de Flujo Jerárquico y el diseño del entorno:

• Espacio de Estados: El agente observa la temperatura interior actual ($T_{air}$) y el error térmico instantáneo ($e(t)$).
• Espacio de Acciones: El agente genera una acción continua para controlar la tasa total de flujo de aire.
• Lógica de Flujo Jerárquico (Anulación de CAI): Este es un mecanismo de seguridad crítico. El entorno calcula el volumen mínimo de aire fresco requerido para mantener el CO2 por debajo de 1000 ppm basándose en la ocupación en tiempo real. La actuación final es el máximo entre el flujo solicitado por el agente y el flujo mínimo de CAI calculado. Esto asegura que el agente no pueda cerrar la ventilación para ahorrar energía si eso comprometiera la calidad del aire.
• Función de Recompensa: El agente es recompensado basándose en el error cuadrático negativo de la desviación de la temperatura respecto al punto de ajuste de 22°C ($R = -|T_{air} - T_{set}|^2$).
• Entrenamiento: El agente es entrenado utilizando la biblioteca Stable Baselines3 durante 300,000 pasos de tiempo con perturbaciones horarias dinámicas.

Contribuciones Clave

El documento identifica tres contribuciones principales al campo del control de HVAC:

1. Entorno Gym Autonomo: Un entorno personalizado en Python que acopla un modelo térmico 2R-2C con un balance dinámico de CO2, eliminando la necesidad de herramientas externas de co-simulación.
2. Restricciones Duras de CAI: A diferencia de muchos estudios de RL que tratan la CAI como una penalización suave, este marco impone la CAI como una restricción dura mediante la Lógica de Flujo Jerárquico, asegurando que los niveles de CO2 nunca superen el límite de seguridad de 1000 ppm.
3. Optimización Integrada: El sistema equilibra exitosamente el único objetivo de regulación de temperatura con la necesidad física de ventilación, demostrando que un agente de RL puede aprender a optimizar el uso de energía sin sacrificar la salud de los ocupantes.

Resultados

Los resultados de la simulación, que comparan las cuatro estrategias durante un período de 24 horas con perfiles de ocupación y clima dinámicos, indican:

• Confort Térmico: Tanto los controladores PID como PPO superaron significativamente al termostato de encendido/apagado, eliminando las grandes oscilaciones de temperatura (patrón de sierra) asociadas con la conmutación binaria. Los agentes PPO lograron una estabilidad comparable a la del controlador PID.
• Calidad del Aire Interior (CO2):
  • El termostato de encendido/apagado resultó en picos frecuentes de CO2 que superaron los 1300 ppm.
  • El controlador PID mantuvo el CO2 alrededor de 920 ppm, pero mostró excedencias ocasionales del límite durante caídas de ocupación.
  • El PPO Inteligente con Lógica de Economizador demostró la mayor precisión, manteniendo los niveles de CO2 estrictamente por debajo de 910 ppm durante la demanda máxima y rastreando el umbral de 1000 ppm con precisión para prevenir la sobre-ventilación.
• Eficiencia Energética:
  • Encendido/Apagado: 2776 kWh
  • PID: 2760 kWh
  • PPO Estándar: 2762 kWh
  • PPO Inteligente (con Economizador/DCV): 2609 kWh
    La estrategia PPO Inteligente logró aproximadamente 6% de ahorro de energía en comparación con las referencias PID y de encendido/apagado, mientras simultáneamente alcanzó los niveles más bajos de CO2.

Significado y Afirmaciones

El documento afirma que esta investigación aborda brechas significativas en la literatura actual de control de HVAC al proporcionar una solución robusta, generalizada y fácilmente implementable basada en Python. El significado del trabajo es doble:

1. Implementación Práctica: Al integrar modelos físicos (2R-2C, balance de masa) directamente en un entorno estilo Gym, el marco ofrece una vía para soluciones "de extremo a extremo" que pueden transferirse más fácilmente a implementaciones de hardware real en comparación con enfoques complejos de co-simulación.
2. Seguridad y Eficiencia: La Lógica de Flujo Jerárquico demuestra que los agentes de RL pueden ser restringidos para priorizar la seguridad (CAI) sin comprometer su capacidad para aprender políticas energéticas óptimas. El estudio demuestra que la ventilación dinámica controlada por demanda impulsada por RL puede reducir el consumo de energía mientras se adhiere estrictamente a los estándares de salud, ofreciendo una alternativa viable a los sistemas de control tradicionales basados en reglas o reactivos.

Los autores concluyen que, aunque el trabajo actual es una simulación, el marco está diseñado para ser desplegado en AHUs físicas reales, con trabajos futuros planificados para validar estos hallazgos utilizando datos de edificios reales y despliegue de hardware en el mundo real.