⚡ electrical engineering

Comparative Field Deployment of Reinforcement Learning and Model Predictive Control for Residential HVAC

Este artigo apresenta uma implementação de campo de um mês comparando o Controle Preditivo Baseado em Modelo (MPC) e o Aprendizado por Reforço Baseado em Modelo (RL) para HVAC residencial, demonstrando que, embora ambos tenham alcançado economias de energia semelhantes (18,1% e 20,9%, respectivamente) com necessidades de dados comparáveis, o RL exigiu significativamente menos esforço de engenharia, mas inicialmente comprometeu o conforto dos ocupantes devido a desafios de segurança e inicialização.

Autores originais: Ozan Baris Mulayim, Elias N. Pergantis, Levi D. Reyes Premer, Bingqing Chen, Guannan Qu, Kevin J. Kircher, Mario Bergés

Publicado 2026-07-20

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Ozan Baris Mulayim, Elias N. Pergantis, Levi D. Reyes Premer, Bingqing Chen, Guannan Qu, Kevin J. Kircher, Mario Bergés

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine o sistema de aquecimento e arrefecimento da sua casa como um mordomo robô muito entusiasta, mas ligeiramente limitado. O seu único trabalho é manter a casa à temperatura que definiu num seletor. Se lhe disser para se manter aos 20°C, ele irá disparar o aquecedor até atingir os 20°C, depois desligar-se, apenas para o ligar novamente quando a casa arrefecer. Este método de "definir e esquecer" funciona, mas é dispendioso. É como conduzir um carro com o pé colado ao acelerador, apenas tocando nos travões quando está prestes a bater, em vez de abrandar suavemente antes da sinalização de paragem.

Para resolver isto, os cientistas têm tentado ensinar o robô a ser mais inteligente. Existem duas formas principais de o fazer. A primeira é como dar ao robô um mapa detalhado e um livro de física. Isto chama-se Controlo Preditivo Baseado em Modelos (MPC). O robô utiliza o mapa para calcular exatamente como a casa vai aquecer ou arrefecer ao longo do dia, planificando os seus movimentos perfeitamente para poupar energia enquanto o mantém confortável. A segunda forma é o Aprendizagem por Reforço (RL). Em vez de um mapa, dá-lhe um sistema de recompensas: "Bom trabalho se poupares energia, mau trabalho se torna a casa demasiado fria". O robô aprende por tentativa e erro, descobrindo os melhores movimentos ao observar o que acontece, tal como um personagem de um videojogo que aprende a vencer um nível ao morrer repetidamente até acertar no padrão.

A grande questão é: Qual método é melhor para uma casa real? O método do livro de texto (MPC) é comprovado, mas requer um engenheiro humano para construir o mapa e ajustar as regras, o que leva muito tempo e esforço. O método de aprendizagem (RL) promete fazer o trabalho automaticamente, mas ninguém tinha a certeza se conseguiria aprender rápido o suficiente sem deixar a casa gelada ou desperdiçar energia enquanto "descobre as coisas". Este artigo retira estas duas abordagens do laboratório de simulação computacional e lança-as numa casa real, ocupada, num clima frio para ver qual delas realmente funciona no mundo real.

O Grande Duelo dos Termostatos: Mapas vs. Aprendizagem

Numa acolhedora casa da era de 1920 em West Lafayette, Indiana, dois cérebros digitais competiram frente a frente durante um mês. Um cérebro era o sistema de Controlo Preditivo Baseado em Modelos (MPC), o "planeador" que depende de um modelo pré-construído de como a casa reage ao calor. O outro era o Ibex-RL, um sistema de Aprendizagem por Reforço (RL), o "aprendiz" que tenta descobrir o comportamento da casa sobre a marcha enquanto está em funcionamento. Ambos foram incumbidos de controlar uma bomba de calor — o coração do sistema de aquecimento da casa — para poupar eletricidade enquanto mantinham os residentes confortáveis.

O Placar: Quem Poupou Mais Energia?
Os resultados foram surpreendentemente próximos, como dois corredores a terminar uma corrida por uma margem mínima.

O planeador MPC conseguiu poupar 18,1% de energia em comparação com a configuração padrão de temperatura constante.
O aprendiz RL conseguiu ultrapassar ligeiramente, poupando 20,9% de energia.

Ambos os métodos foram estatisticamente comprovados como sendo melhores do que não fazer nada, mas a diferença entre os dois robôs não foi significativa o suficiente para declarar um vencedor claro em termos de pura poupança de energia.

O Fator Conforto: O Problema do "Demasiado Frio"
É aqui que os dois robôs tiveram personalidades muito diferentes.
O planeador MPC era o tipo cauteloso e cumpridor de regras. Mantinha-se muito próximo da temperatura que os residentes queriam (18°C à noite, 20°C durante o dia). Os residentes estavam felizes e o sistema manteve níveis de conforto "aceitáveis" durante todo o tempo.

O aprendiz RL, no entanto, era um pouco um tomador de riscos. Aprendeu que manter a casa ligeiramente mais fresca poupava mais energia. Como resultado, manteve a casa mais fresca do que os residentes preferiam, especialmente durante os primeiros dias, enquanto ainda estava a "aprender". Isto levou a três relatos de desconforto das pessoas que lá viviam. A casa ficou suficientemente fria para que os residentes reclamassem de facto. Embora o sistema RL tenha acabado por se ajustar, passou mais tempo na zona de "demasiado frio" do que o sistema MPC.

O Esforço: Quão Difícil Foi Configurar?
É aqui que a história se torna interessante para quem tenta construir estes sistemas.

MPC é como construir um fato à medida. Requer um alfaiate (um engenheiro) para tirar medidas, ajustar o tecido e ajustar as costuras. Os investigadores estimaram que configurar o MPC para uma nova casa levaria cerca de cinco dias do tempo de um engenheiro apenas para a lógica de controlo, mais quatro dias para a configuração física.
RL é como comprar um casaco inteligente e autoajustável. Uma vez que a estrutura básica está lá, adapta-se ao utilizador. Os investigadores estimaram que configurar o RL para uma nova casa levaria apenas cerca de dois dias de trabalho de controlo.

Em suma, o sistema RL exigiu cerca de um terço menos de esforço de engenharia para ser implementado do que o sistema MPC. Foi mais rápido de colocar a funcionar, mas veio com a "curva de aprendizagem" inicial de tornar os residentes um pouco mais frios.

As Falhas e a "Caixa Negra"
O experimento não foi isento de contratempos. O sistema RL teve uma pequena crise de identidade. Deveria aprender a física da casa (a rapidez com que as paredes arrefecem, quanta luz solar entra pelas janelas), mas como estava a aprender a partir de dados do mundo real sem um "simulador" perfeito para praticar primeiro, alguns dos seus números aprendidos ficaram estranhos. Por exemplo, pensou brevemente que a luz solar arrefecia a casa (uma área solar negativa), o que é fisamente impossível. No entanto, o sistema foi construído com trilhos de segurança (restrições) que impediram que estas ideias estranhas fizessem o aquecedor agir de forma descontrolada. Manteve a casa segura, mesmo que o seu mapa interno estivesse um pouco distorcido.

O Veredito
Este estudo sugere que a Aprendizagem por Reforço é um caminho viável para tornar as casas mais inteligentes e poupar energia, potencialmente poupando muito tempo aos engenheiros no processo. No entanto, também destaca que o RL ainda não é uma varinha mágica. Pode ser um pouco "áspero nas arestas" no início, arriscando o conforto do ocupante enquanto descobre como funciona.

O artigo conclui que, embora o RL ofereça uma forma mais rápida e automatizada de implementar controlos inteligentes, ainda enfrenta desafios para garantir a segurança e o conforto durante a sua fase de aprendizagem. O futuro ideal poderá não ser uma escolha entre os dois, mas sim um híbrido: usar a segurança e a estrutura do "planeador" (MPC) para guiar o "aprendiz" (RL), criando um sistema que seja simultaneamente fácil de configurar e gentil com o conforto dos residentes. Por agora, se quer a aposta mais segura para uma nova casa, o planeador (MPC) continua a ser a escolha fiável. Se quer experimentar o futuro da automação e está disposto a tolerar algumas noites frias enquanto ele aprende, o aprendiz (RL) está pronto para lhe dar uma oportunidade.

Resumo Técnico: Implantação de Campo Comparativa de Aprendizado por Reforço Baseado em Modelo e Controle Preditivo Baseado em Modelo para HVAC Residencial

Problema

O Controle Preditivo Baseado em Modelo (MPC) demonstrou um potencial significativo para melhorar a eficiência energética em sistemas de Aquecimento, Ventilação e Ar Condicionado (HVAC) residenciais em comparação com métodos de controle padrão. No entanto, a implantação de MPC frequentemente exige um esforço de engenharia substancial, incluindo o ajuste manual de modelos baseados em física e funções de custo. O Aprendizado por Reforço (RL) oferece uma alternativa promissora que poderia automatizar a descoberta de estratégias e reduzir os encargos de modelagem. Contudo, a aplicação prática de RL em ambientes residenciais permanece amplamente não demonstrada. Existem lacunas críticas em relação ao conforto do ocupante durante a fase de aprendizado, requisitos de dados e a segurança da adaptação online. Além disso, a maioria das pesquisas de RL depende de simuladores de alta fidelidade, criando um gargalo que anula o objetivo de uma implantação escalável e "livre de simulador". Há uma falta de estudos empíricos comparativos de longo prazo avaliando as compensações entre MPC e RL em casas reais e ocupadas.

Metodologia

Para abordar essas lacunas, os autores conduziram uma implantação de campo de um mês em uma única casa isolada ocupada em West Lafayette, Indiana, durante um período de inverno rigoroso. O estudo comparou dois algoritmos de controle supervisório para uma bomba de calor ar-ar com backup de resistência elétrica em estágios:

Variante MPC: Uma abordagem de MPC baseada em dados que aprende um modelo de dinâmica de sistema informado pela física (circuito térmico 2R1C) via identificação de sistema offline. Utiliza uma Máquina de Vetores de Suporte (SVM) para prever ganhos de calor exógenos. O controlador otimiza uma função de custo equilibrando custos de energia e desconforto térmico, com ajuste online do peso do desconforto para manter a satisfação do ocupante.
Variante RL (Ibex-RL): Uma abordagem de RL baseada em modelo fundamentada na estrutura de política de MPC Diferenciável. Diferente do RL padrão livre de modelo, o Ibex-RL aprende simultaneamente um modelo de dinâmica de sistema informado pela física e uma função de custo quadrática. Emprega uma estratégia híbrida offline-para-online:
- Fase Offline: Utiliza aprendizado por imitação em dados históricos para inicializar os parâmetros de dinâmica do sistema e de custo, garantindo um ponto de partida "seguro, porém subótimo", sem exigir um simulador de alta fidelidade.
- Fase Online: Adapta continuamente tanto o modelo de dinâmica ( $\theta_{state}$ ) quanto os parâmetros de custo ( $\theta_{cost}$ ) usando atualizações baseadas em gradiente derivadas de um sinal de recompensa não quadrático que espelha o objetivo do MPC.

Configuração Experimental:

Ação de Controle: Ambos os controladores ajustaram o setpoint de temperatura do termostato (enviado via API) com base na temperatura interna e medições de potência elétrica.
Restrições: Ambos utilizaram um circuito térmico 2R1C. Uma restrição de segurança rígida impediu setpoints abaixo de 17°C.
Baseline: O desempenho foi comparado contra um baseline de setpoint constante (cronograma preferido pelo ocupante) e um período de operação não supervisionada.
Dados: O treinamento e a validação utilizaram dados históricos de diferentes períodos (2022 para MPC, 2023 para RL). Os dados de avaliação foram coletados durante a implantação de 30 dias (Jan–Fev 2025).

Principais Contribuições

O artigo apresenta três contribuições primárias para a literatura:

Primeira Comparação Empírica: Fornece a primeira comparação direta, lado a lado, de MPC e RL baseado em modelo em uma casa residencial ocupada, indo além dos estudos de simulação.
Implantação de Longo Prazo de RL: Documenta um teste de campo de um mês de um algoritmo de RL baseado em modelo (Ibaca-RL) sem a rede de segurança de um simulador de alta fidelidade pré-treinado, oferecendo insights sobre adaptação de longo prazo e estabilidade.
Roteiro Prático: Esboça lições específicas aprendidas em relação à precisão do modelo, garantia de segurança e esforço de engenharia, forneindo uma avaliação realista dos desafios de implantar controladores avançados "no mundo real".

Resultados

Economia de Energia

Em relação a um baseline de setpoint constante, ambos os controladores alcançaram economias de energia significativas normalizadas pelo clima:

MPC: Economizou 18,1% (IC 95%: 4,4% a 30,9%).
RL (Ibex-RL): Economizou 20,9% (IC 95%: 2,6% a 38,3%).
A análise estatística indicou que não houve diferença significativa nas economias de energia entre os dois algoritmos. Quando normalizado pela diferença de temperatura interna-externa (isolando a eficiência do equipamento da redução de setpoint), o MPC mostrou uma eficiência ligeiramente superior (11,28% de economia) em comparação ao RL (8,04%), embora a diferença não tenha sido estatisticamente significativa.

Conforto do Ocupante

MPC: Manteve níveis de conforto aceitáveis, com uma porcentagem média de tempo de Percentual Preditivo de Insatisfação (PPD) de 9,92%, permanecendo dentro do limiar típico de aceitabilidade de 10%. Não foram recebidos relatos de desconforto.
RL: Recebeu três relatos de desconforto do ocupante. A casa ficou geralmente mais fria do que a preferência do usuário, particularmente durante uma fase inicial de adaptação e em dias específicos de frio intenso. O PPD médio de tempo foi maior, em 13,53%. O controlador de RL manteve a casa mais fria para maximizar a economia de energia, priorizando o sinal de recompensa em vez do rastreamento estrito do setpoint durante a fase de aprendizado.

Esforço de Engenharia e Escalabilidade

Os autores estimaram o esforço recorrente de engenharia necessário para implantar esses algoritmos específicos em uma nova casa (assumindo infraestrutura existente e dados históricos):

MPC: Aproximadamente 5 dias-engenheiro (para ajuste de modelo, pré-processamento de dados e calibração).
RL: Aproximadamente 2 dias-engenheiro (para configuração de aprendizado por imitação e ajuste de hiperparâmetros).
Os autores estimam que uma nova implantação de RL exigiria cerca de um terço menos de esforço de engenharia do que o MPC. No entanto, eles observam que o desenvolvimento inicial do algoritmo de RL exigiu modificações significativas no framework Gnu-RL (aprox. 45 dias-estudante) e enfrentou desafios únicos de manutenção, como falhas de comunicação de API que corromperam os dados de aprendizado online.

Significância e Alegações

O artigo alega que, embora o RL reduza o esforço de implantação e alcance economias de energia comparáveis ao MPC, ele enfrenta desafios distintos relacionados à inicialização segura do controlador e descompassos entre os espaços de estado/ação modelados e reais.

Os autores enfatizam que suas descobertas são específicas para as variantes implementadas (Ibex-RL e a implementação específica de MPC) e não devem ser vistas como um veredito geral sobre todos os métodos de RL ou MPC. Eles argumentam que o estudo destaca uma compensação crítica: o RL oferece um caminho para o controle escalável e automatizado com menores custos recorrentes de engenharia, mas isso traz riscos ao conforto do ocupante durante a fase de adaptação e requer camadas de segurança robustas para lidar com problemas de integridade de dados do mundo real.

Em última análise, o artigo sugere que o futuro do controle de HVAC avançado não reside em uma competição entre paradigmas, mas em sua convergência. Os autores postulam que soluções híbridas — fundindo o aprendizado e a adaptação automatizados do RL dentro da estrutura interpretável e consciente de restrições do MPC — podem ser o caminho mais viável para a capacidade de implantação escalável no mundo real.