⚡ electrical engineering

Comparative Field Deployment of Reinforcement Learning and Model Predictive Control for Residential HVAC

Este artículo presenta un despliegue de campo de un mes comparando el Control Predictivo basado en Modelos (MPC) y el Aprendizaje por Refuerzo basado en Modelos (RL) para HVAC residencial, demostrando que si bien ambos lograron ahorros de energía similares (18.1% y 20.9% respectivamente) con necesidades de datos comparables, el RL requirió significativamente menos esfuerzo de ingeniería pero comprometió inicialmente el confort del ocupante debido a desafíos de seguridad e inicialización.

Autores originales: Ozan Baris Mulayim, Elias N. Pergantis, Levi D. Reyes Premer, Bingqing Chen, Guannan Qu, Kevin J. Kircher, Mario Bergés

Publicado 2026-07-20

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Ozan Baris Mulayim, Elias N. Pergantis, Levi D. Reyes Premer, Bingqing Chen, Guannan Qu, Kevin J. Kircher, Mario Bergés

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina el sistema de calefacción y aire acondicionado de tu hogar como un mayordomo robot muy entusiasta, pero un poco torpe. Su único trabajo es mantener la casa a la temperatura que tú fijas en un dial. Si le dices que se mantenga a 20 °C, encenderá la calefacción a toda potencia hasta alcanzar los 20 °C, luego se apagará, solo para volver a encenderse cuando la casa se enfríe. Este método de "configúralo y olvídate" funciona, pero es un desperdicio. Es como conducir un coche con el pie pegado al acelerador, solo tocando el freno cuando estás a punto de chocar, en lugar de frenar suavemente antes de la señal de alto.

Para solucionar esto, los científicos han intentado enseñar al robot a ser más inteligente. Hay dos formas principales de hacerlo. La primera es como darle al robot un mapa detallado y un libro de texto de física. Esto se llama Control Predictivo basado en Modelos (MPC). El robot utiliza el mapa para calcular exactamente cómo se calentará o enfriará la casa durante el día siguiente, planificando sus movimientos perfectamente para ahorrar energía mientras te mantiene cómodo. La segunda forma es el Aprendizaje por Refuerzo (RL). En lugar de un mapa, le das al robot un sistema de recompensas: "Buen trabajo si ahorras energía, mal trabajo si haces que la casa sea demasiado fría". El robot aprende mediante ensayo y error, descubriendo los mejores movimientos al observar lo que sucede, de forma muy similar a un personaje de un videojuego que aprende a superar un nivel muriendo repetidamente hasta que capta el patrón.

La gran pregunta es: ¿Qué método es mejor para una casa real? El método del libro de texto (MPC) está probado, pero requiere que un ingeniero humano construya el mapa y ajuste las reglas, lo que lleva mucho tiempo y esfuerzo. El método de aprendizaje (RL) promete hacer el trabajo automáticamente, pero no se estaba seguro de si podría aprender lo suficientemente rápido sin que la casa se quedara helada o se desperdiciara energía mientras "descubre las cosas". Este artículo toma estos dos enfoques fuera del laboratorio de simulación por computadora y los lanza a una casa real, ocupada, en un clima frío para ver cuál de ellos funciona realmente en el mundo real.

El Gran Duelo de los Termostatos: Mapas vs. Aprendizaje

En una acogedora casa de la era de 1920 en West Lafayette, Indiana, dos cerebros digitales se enfrentaron durante un mes. Un cerebro era el sistema de Control Predictivo basado en Modelos (MPC), el "planificador" que depende de un modelo preconstruido de cómo reacciona la casa al calor. El otro era Ibex-RL, un sistema de Aprendizaje por Refuerzo (RL), el "aprendiz" que intenta descubrir el comportamiento de la casa sobre la marcha mientras está en funcionamiento. Ambos tenían la tarea de controlar una bomba de calor —el corazón del sistema de calefacción del hogar— para ahorrar electricidad mientras mantenían la comodidad de los residentes.

El Marcador: ¿Quién ahorró más energía?
Los resultados fueron sorprendentemente cercanos, como dos corredores terminando una carrera por un margen mínimo.

El planificador MPC logró ahorrar un 18,1% de la energía en comparación con la configuración estándar de temperatura constante.
El aprendiz RL incluso lo superó ligeramente, ahorrando un 20,9% de la energía.

Ambos métodos demostraron estadísticamente ser mejores que no hacer nada, pero la diferencia entre los dos robots no fue lo suficientemente significativa como para declarar un ganador claro en términos de puro ahorro de energía.

El Factor de la Comodidad: El Problema del "Demasiado Frío"
Aquí es donde los dos robots tuvieron personalidades muy diferentes.
El planificador MPC era el tipo cauteloso y que sigue las reglas. Se mantuvo muy cerca de la temperatura que los residentes deseaban (18 °C por la noche, 20 °C durante el día). Los residentes estaban contentos y el sistema mantuvo niveles de confort "aceptables" todo el tiempo.

El aprendiz RL, sin embargo, era un poco más arriesgado. Aprendió que mantener la casa un poco más fresca ahorraba más energía. Como resultado, mantuvo la casa más fría de lo que los residentes preferían, especialmente durante los primeros días mientras aún estaba "aprendiendo". Esto provocó tres reportes de incomodidad por parte de las personas que vivían allí. La casa se enfrió lo suficiente como para que los residentes realmente se quejaran. Aunque el sistema RL finalmente se ajustó, pasó más tiempo en la zona de "demasiado frío" que el sistema MPC.

El Esfuerzo: ¿Qué tan difícil fue la configuración?
Aquí es donde la historia se pone interesante para cualquiera que intente construir estos sistemas.

MPC es como construir un traje a medida. Requiere un sastre (un ingeniero) que tome medidas, ajuste la tela y corrija las costuras. Los investigadores estimaron que configurar el MPC para una nueva casa tomaría unos cinco días del tiempo de un ingeniero solo para la lógica de control, más cuatro días para la configuración física.
RL es como comprar una chaqueta inteligente que se ajusta sola. Una vez que la estructura básica está ahí, se adapta al usuario. Los investigadores estimaron que configurar el RL para una nueva casa tomaría solo unos dos días de trabajo de control.

En resumen, el sistema RL requirió aproximadamente un tercio menos de esfuerzo de ingeniería para su despliegue que el sistema MPC. Fue más rápido para ponerse en marcha, pero vino con la "curva de aprendizaje" inicial de hacer que los residentes sintieran un poco de frío.

Los Fallos y la "Caja Negra"
El experimento no estuvo exento de contratiempos. El sistema RL tuvo un poco de crisis de identidad. Se suponía que debía aprender la física de la casa (qué tan rápido se enfrían las paredes, cuánta luz solar entra por las ventanas), pero debido a que estaba aprendiendo de datos del mundo real sin un "simulador" perfecto para practicar primero, algunos de sus números aprendidos se volvieron extraños. Por ejemplo, brevemente pensó que la luz solar enfriaba la casa (un área solar negativa), lo cual es físicamente imposible. Sin embargo, el sistema fue construido con rieles de seguridad (restricciones) que evitaron que estas ideas extrañas causaran que la calefacción se descontrolara. Mantuvo la casa segura, incluso si su mapa interno estaba un poco distorsionado.

El Veredicto
Este estudio sugiere que el Aprendizaje por Ref Reinforcement Learning es una vía viable para hacer las casas más inteligentes y ahorrar energía, potencialmente ahorrando mucho tiempo a los ingenieros en el proceso. Sin embargo, también destaca que el RL aún no es una varita mágica. Puede ser un poco "tosco" al principio, arriesgando el confort del ocupante mientras descubre cómo funciona.

El artículo concluye que, si bien el RL ofrece una forma más rápida y automatizada de desplegar controles inteligentes, todavía enfrenta desafíos para garantizar la seguridad y el confort durante su fase de aprendizaje. El futuro ideal podría no ser una elección entre los dos, sino un híbrido: usar la seguridad y la estructura del "planificador" (MPC) para guiar al "aprendiz" (RL), creando un sistema que sea tanto fácil de configurar como amable con el confort de los residentes. Por ahora, si quieres la apuesta más segura para una casa nueva, el planificador (MPC) sigue siendo la opción confiable. Si quieres probar el futuro de la automatización y estás dispuesto a tolerar algunas noches frías mientras aprende, el aprendiz (RL) está listo para que le des una oportunidad.

Resumen Técnico: Despliegue de Campo Comparativo de Aprendizaje por Refuerzo Basado en Modelos y Control Predictivo Basado en Modelos para HVAC Residencial

Planteamiento del Problema

El Control Predictivo Basado en Modelos (MPC) ha demostrado un potencial significativo para mejorar la eficiencia energética en los sistemas de Calefacción, Ventilación y Aire Acondicionado (HVAC) residenciales en comparación con los métodos de control estándar. Sin embargo, el despliegue de MPC a menudo requiere un esfuerzo de ingeniería sustancial, incluyendo el ajuste manual de modelos basados en la física y funciones de costo. El Aprendizaje por Refuerzo (RL) ofrece una alternativa prometedora que podría automatizar el descubrimiento de estrategias y reducir las cargas de modelado. No obstante, la aplicación práctica del RL en entornos residenciales permanece mayormente sin demostrar. Existen brechas críticas respecto al confort del ocupante durante la fase de aprendizaje, los requisitos de datos y la seguridad de la adaptación en línea. Además, la mayor parte de la investigación en RL se basa en simuladores de alta fidelidad, lo que crea un cuello de botella que niega el objetivo de un despliegue escalable y "libre de simuladores". Existe una falta de estudios empíricos comparativos a largo plazo que evalúen las compensaciones entre MPC y RL en hogares reales y ocupados.

Metodología

Para abordar estas brechas, los autores realizaron un despliegue de campo de un mes en una casa unifamiliar ocupada en West Lafayette, Indiana, durante un periodo de invierno frío. El estudio comparó dos algoritmos de control supervisorio para una bomba de calor aire-aire con respaldo de resistencia eléctrica por etapas:

Variante MPC: Un enfoque de MPC basado en datos que aprende un modelo de dinámica de sistemas informado por la física (circuito térmico 2R1C) mediante identificación de sistemas fuera de línea. Utiliza una Máquina de Vectores de Soporte (SVM) para predecir ganancias de calor exógenas. El controlador optimiza una función de costo que equilibra los costos de energía y el malestar térmico, con un ajuste en línea del peso del malestar para mantener la satisfacción del ocupante.
Variante RL (Ibex-RL): Un enfoque de RL basado en modelos derivado del marco de política de MPC diferenciable. A diferencia del RL estándar libre de modelo, Ibex-RL aprende simultáneamente un modelo de dinámica de sistema informado por la física y una función de costo cuadrática. Emplea una estrategia híbrida de "fuera de línea a en línea":
- Fase Fuera de Línea: Utiliza aprendizaje por imitación sobre datos históricos para inicializar la dinámica del sistema y los parámetros de costo, asegurando un punto de partida "seguro pero subóptimo" sin requerir un simulador de alta fidelidad.
- Fase En Línea: Se adapta continuamente tanto el modelo de dinámica ( $\theta_{state}$ ) como los parámetros de costo ( $\theta_{cost}$ ) utilizando actualizaciones basadas en gradientes derivadas de una señal de recompensa no cuadrática que refleja el objetivo de MPC.

Configuración Experimental:

Acción de Control: Ambos controladores ajustaron el punto de consigna (setpoint) de la temperatura del termostato (enviado vía API) basándose en mediciones de temperatura interior y potencia eléctrica.
Restricciones: Ambos utilizaron un circuito térmico 2R1C. Una restricción de seguridad estricta impidió que los puntos de consigna bajaran de 17°C.
Línea Base: El desempeño se comparó contra una línea base de consigna constante (horario preferido por el ocupante) y un periodo de operación no supervisada.
Datos: El entrenamiento y la validación utilizaron datos históricos de diferentes periodos (2022 para MPC, 2023 para RL). Los datos de evaluación se recolectaron durante el despliegue de 30 días (enero–febrero de 2025).

Contribuciones Clave

El artículo realiza tres contribuciones primarias a la literatura:

Primera Comparación Empírica: Proporciona la primera comparación directa y directa, lado a lado, de MPC y RL basado en modelos en una casa residencial ocupada, yendo más allá de los estudios de simulación.
Despliegue de RL a Largo Plazo: Documenta un test de campo de un mes de un algoritmo de RL basado en modelos (Ibex-RL) sin la red de seguridad de un simulador de alta fidelidad pre-entrenado, ofreciendo perspectivas sobre la adaptación y estabilidad a largo plazo.
Hoja de Ruta Práctica: Esboza lecciones específicas aprendidas respecto a la precisión del modelo, la garantía de seguridad y el esfuerzo de ingeniería, proporcionando una evaluación realista de los desafíos para desplegar controladores avanzados "en el mundo real".

Resultados

Ahorro de Energía

En relación con la línea base de consigna constante, ambos controladores lograron ahorros de energía significativos normalizados por el clima:

MPC: Ahorró 18.1% (IC 95%: 4.4% a 30.9%).
RL (Ibex-RL): Ahorró 20.9% (IC 95%: 2.6% a 38.3%).
El análisis estadístico indicó que no hubo una diferencia significativa en los ahorros de energía entre los dos algoritmos. Cuando se normalizó por la diferencia de temperatura interior-exterior (aislando la eficiencia del equipo de la reducción del punto de consigna), el MPC mostró una eficiencia ligeramente mayor (11.28% de ahorro) en comparación con el RL (8.04%), aunque la diferencia no fue estadísticamente significativa.

Confort del Ocupante

MPC: Mantuvo niveles de confort aceptables, con un Porcentaje de Disgusto Predicho (PPD) promedio temporal de 9.92%, manteniéndose dentro del umbral de aceptabilidad típico del 10%. No se recibieron reportes de malestar.
RL: Recibió tres reportes de malestar del ocupante. La casa estuvo generalmente más fría de lo que el usuario prefería, particularmente durante una fase de adaptación inicial y en días específicos de frío. El PPD promedio temporal fue mayor, situándose en 13.53%. El controlador de RL mantuvo la casa más fría para maximizar el ahorro de energía, priorizando la señal de recompensa sobre el seguimiento estricto del punto de consigna durante la fase de aprendizaje.

Esfuerzo de Ingeniería y Escalabilidad

Los autores estimaron el esfuerzo de ingeniería recurrente requerido para desplegar estos algoritmos específicos en una nueva casa (asumiendo infraestructura existente y datos históricos):

MPC: Aproximadamente 5 días-ingeniero (para el ajuste del modelo, preprocesamiento de datos y sintonización).
RL: Aproximadamente 2 días-ingeniero (para la configuración del aprendizaje por imitación y el ajuste de hiperparámetros).
Los autores estiman que un nuevo despliegue de RL requeriría aproximadamente un tercio menos de esfuerzo de ingeniería que el MPC. Sin embargo, señalan que el desarrollo inicial del algoritmo de RL requirió una modificación significativa del marco Gnu-RL (aprox. 45 días-estudiante) y enfrentó desafíos de mantenimiento únicos, como fallos en la comunicación de la API que corrompieron los datos de aprendizaje en línea.

Significancia y Reivindicaciones

El artículo sostiene que, si bien el RL reduce el esfuerzo de despliegue y logra ahorros de energía comparables al MPC, enfrenta desafíos distintos relacionados con la inicialización segura del controlador y los desajustes entre los espacios de estado/acción modelados y los reales.

Los autores enfatizan que sus hallazgos son específicos de las variantes implementadas (Ibex-RL y la implementación específica de MPC) y no deben verse como un veredicto general sobre todos los métodos de RL o MPC. Argumentan que el estudio destaca un compromiso crítico: el RL ofrece un camino hacia el control automatizado y escalable con menores costos de ingeniería recurrentes, pero esto conlleva riesgos para el confort del ocupante durante la fase de adaptación y requiere capas de seguridad robustas para manejar problemas de integridad de datos en el mundo real.

En última instancia, el artículo sugiere que el futuro del control avanzado de HVAC no reside en una competencia entre paradigmas, sino en su convergencia. Los autores postulan que las soluciones híbridas —fusionando el aprendizaje y la adaptación automatizada del RL dentro del marco interpretable y consciente de las restricciones del MPC— pueden ser el camino más viable hacia la capacidad de despliegue escalable en el mundo real.