⚡ electrical engineering

Comparative Field Deployment of Reinforcement Learning and Model Predictive Control for Residential HVAC

Cet article présente un déploiement sur le terrain d'un mois comparant la commande prédictive (MPC) et l'apprentissage par renforcement (RL) fondé sur un modèle pour le CVC résidentiel, démontrant que bien que les deux aient obtenu des économies d'énergie similaires (respectivement 18,1 % et 20,9 %) avec des besoins en données comparables, le RL a nécessité nettement moins d'efforts d'ingénierie mais a initialement compromis le confort des occupants en raison de défis liés à la sécurité et à l'initialisation.

Auteurs originaux : Ozan Baris Mulayim, Elias N. Pergantis, Levi D. Reyes Premer, Bingqing Chen, Guannan Qu, Kevin J. Kircher, Mario Bergés

Publié 2026-07-20

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ozan Baris Mulayim, Elias N. Pergantis, Levi D. Reyes Premer, Bingqing Chen, Guannan Qu, Kevin J. Kircher, Mario Bergés

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez le système de chauffage et de climatisation de votre maison comme un majordome robotique très zélé, mais légèrement limité d'esprit. Sa seule tâche est de maintenir la maison à la température que vous réglez sur un cadran. Si vous lui dites de rester à 20 °C, il fera fonctionner le chauffage à plein régime jusqu'à atteindre 20 °C, puis s'arrêtera, pour ne le rallumer que lorsque la maison aura refroidi. Cette méthode du « régler et oublier » fonctionne, mais elle est coûteuse en énergie. C'est comme conduire une voiture avec le pied collé à l'accélérateur, en n'appuyant sur le frein que lorsqu'on est sur le point de percuter, plutôt que de ralentir progressivement avant le panneau d'arrêt.

Pour corriger cela, des scientifiques tentent d'apprendre au robot à être plus intelligent. Il existe deux manières principales de le faire. La première est comme donner au robot une carte détaillée et un manuel de physique. C'est ce qu'on appelle le Contrôle Prédictif par Modèle (MPC). Le robot utilise la carte pour calculer exactement comment la maison va chauffer ou refroidir au cours de la journée suivante, planifiant ses mouvements parfaitement pour économiser de l'énergie tout en vous gardant au chaud. La seconde méthode est l'Apprentissage par Renforcement (RL). Au lieu d'une carte, vous donnez au robot un système de récompense : « Bon travail si tu économises de l'énergie, mauvais travail si tu rends la maison trop froide. » Le robot apprend par essais et erreurs, en comprenant ses meilleurs mouvements en observant ce qui se passe, un peu comme un personnage de jeu vidéo apprenant à réussir un niveau en mourant de façon répétée jusqu'à ce qu'il comprenne le schéma.

La grande question est : quelle méthode est la meilleure pour une vraie maison ? La méthode du manuel (MPC) est éprouvée, mais elle nécessite qu'un ingénieur humain construise la carte et règle les règles, ce qui prend beaucoup de temps et d'efforts. La méthode de l'apprentissage (RL) promet de faire le travail automatiquement, mais personne n'était sûr qu'elle puisse apprendre assez vite sans rendre la maison glaciale ou gaspiller de l'énergie pendant qu'elle « cherche à comprendre ». Ce document sort ces deux approches du laboratoire de simulation informatique pour les plonger dans une vraie maison occupée, dans un climat froid, afin de voir laquelle fonctionne réellement dans le monde réel.

Le Grand Duel des Thermostats : Cartes contre Apprentissage

Dans une maison chaleureuse de l'époque 1920 située à West Lafayette, dans l'Indiana, deux cerveaux numériques se sont affrontés pendant un mois. L'un était le système de Contrôle Prédictif par Modèle (MPC), le « planificateur » qui s'appuie sur un modèle préconstruit de la réaction de la maison à la chaleur. L'autre était Ibex-RL, un système d'Apprentissage par Renforcement (RL), le « apprenant » qui tente de comprendre le comportement de la maison à la volée pendant qu'il fonctionne. Tous deux avaient pour mission de contrôler une pompe à chaleur — le cœur du système de chauffage de la maison — afin d'économiser l'électricité tout en maintenant le confort des résidents.

Le Tableau des Scores : Qui a économisé le plus d'énergie ?
Les résultats étaient étonnamment proches, comme deux coureurs terminant une course à un cheveu près l'un de l'autre.

Le planificateur MPC a réussi à économiser 18,1 % d'énergie par rapport au réglage standard de température constante.
L'apprenant RL a même légèrement pris l'avantage, économisant 20,9 % d'énergie.

Les deux méthodes étaient statistiquement prouvées comme étant meilleures que de ne rien faire, mais la différence entre les deux robots n'était pas assez significative pour déclarer un vainqueur clair en termes de pure économie d'énergie.

Le Facteur Confort : Le problème du « Trop Froid »
C'est ici que les deux robots avaient des personnalités très différentes.
Le planificateur MPC était le type prudent et respectueux des règles. Il restait très proche de la température souhaitée par les résidents (18 °C la nuit, 20 °C la journée). Les résidents étaient satisfaits et le système maintenait des niveaux de confort « acceptables » tout au long de la période.

L'apprenant RL, cependant, était un peu plus téméraire. Il a appris qu'en gardant la maison légèrement plus fraîche, il économisait plus d'énergie. En conséquence, il a maintenu la maison plus fraîche que ce que les résidents préféraient, surtout durant les premiers jours pendant qu'il était encore en phase d'« apprentissage ». Cela a entraîné trois signalements d'inconfort de la part des occupants. La maison est devenue assez froide pour que les résidents se plaignent réellement. Bien que le système RL ait fini par s'ajuster, il a passé plus de temps dans la zone « trop froide » que le système MPC.

L'Effort : Est-ce difficile à installer ?
C'est ici que l'histoire devient intéressante pour quiconque tente de construire ces systèmes.

MPC est comme la confection d'un costume sur mesure. Cela nécessite un tailleur (un ingénieur) pour prendre les mesures, ajuster le tissu et régler les coutures. Les chercheurs ont estimé que la mise en place du MPC pour une nouvelle maison prendrait environ cinq jours du temps d'un ingénieur rien que pour la logique de contrôle, plus quatre jours pour l'installation physique.
RL est comme l'achat d'une veste intelligente qui s'ajuste automatiquement. Une fois que la structure de base est là, elle s'adapte au porteur. Les chercheurs ont estimé que la mise en place du RL pour une nouvelle maison ne prendrait qu'environ deux jours de travail de contrôle.

En résumé, le système RL nécessitait environ un tiers d'effort d'ingénierie en moins pour être déployé que le système MPC. Il était plus rapide à mettre en service, mais cela s'accompagnait d'une « courbe d'apprentissage » faisant que les résidents avaient un peu plus froid.

Les Anomalies et la « Boîte Noire »
L'expérience n'a pas été sans accrocs. Le système RL a eu une petite crise d'identité. Il était censé apprendre la physique de la maison (la vitesse à laquelle les murs refroidissent, la quantité de soleil qui entre par les fenêtres), mais parce qu'il apprenait à partir de données réelles sans un « simulateur » parfait pour s'entraîner au préalable, certaines de ses données apprises sont devenues bizarres. Par exemple, il a brièvement pensé que la lumière du soleil refroidissait la maison (une surface solaire négative), ce qui est physiquement impossible. Cependant, le système était doté de garde-fous (contraintes) qui empêchaient ces idées étranges de faire s'emballer le chauffage. Il a maintenu la maison en sécurité, même si sa carte interne était un peu déformée.

Le Verdict
Cette étude suggère que l'Apprentissage par Renforcement est une voie viable pour rendre les maisons plus intelligentes et économiser de l'énergie, en permettant potentiellement aux ingénieurs de gagner beaucoup de temps. Cependant, elle souligne également que le RL n'est pas encore une baguette magique. Il peut être un peu « brut de décoffrage » au début, risquant le confort des occupants pendant qu'il apprend.

L'article conclut que si le RL offre une méthode plus rapide et plus automatisée pour déployer des contrôles intelligents, il fait encore face à des défis concernant la garantie de la sécurité et du confort durant sa phase d'apprentissage. L'idéal futur ne sera peut-être pas un choix entre les deux, mais un hybride : utiliser la sécurité et la structure du « planificateur » (MPC) pour guider l'« apprenant » (RL), créant ainsi un système qui soit à la fois facile à installer et doux pour le confort des résidents. Pour l'instant, si vous voulez le choix le plus sûr pour une nouvelle maison, le planificateur (MPC) reste le choix fiable. Si vous voulez tester le futur de l'automatisation et que vous êtes prêt à tolérer quelques nuits fraîches pendant qu'il apprend, l'apprenant (RL) est prêt à relever le défi.

Résumé Technique : Déploiement sur le Terrain Comparatif de l'Apprentissage par Renforcement Basé sur un Modèle et de la Commande Prédictive par Modèle pour le CVC Résidentiel

Énoncé du Problème

La commande prédictive par modèle (MPC) a démontré un potentiel significatif pour améliorer l'efficacité énergétique des systèmes de Chauffage, Ventilation et Climatisation (CVC) résidentiels par rapport aux méthodes de commande standards. Cependant, le déploiement de la MPC nécessite souvent un effort d'ingénierie substantiel, incluant le réglage manuel des modèles physiques et des fonctions de coût. L'apprentissage par renforcement (RL) offre une alternative prometteuse qui pourrait automatiser la découverte de stratégies et réduire la charge de modélisation. Pourtant, l'application pratique du RL en milieu résidentiel reste largement non démontrée. Des lacunes critiques existent concernant le confort des occupants pendant la phase d'apprentissage, les besoins en données et la sécurité de l'adaptation en ligne. De plus, la plupart des recherches sur le RL s'appuient sur des simulateurs haute fidélité, créant un goulot d'étranglement qui annule l'objectif d'un déploiement évolutif et « sans simulateur ». Il existe un manque d'études empiriques à long terme évaluant les compromis entre la MPC et le RL dans des maisons réelles et occupées.

Méthodologie

Pour combler ces lacunes, les auteurs ont mené un déploiement sur le terrain d'un mois dans une maison individuelle occupée à West Lafayette, dans l'Indiana, durant une période hivernale froide. L'étude a comparé deux algorithmes de commande supervisée pour une pompe à chaleur air-air avec appoint de résistance électrique par étapes :

Variante MPC : Une approche MPC pilotée par les données qui apprend un modèle de dynamique de système informé par la physique (circuit thermique 2R1C) via une identification de système hors ligne. Elle utilise une machine à vecteurs de support (SVM) pour prédire les gains thermiques exogènes. Le contrôleur optimise une fonction de coût équilibrant les coûts énergétiques et l'inconfort thermique, avec un réglage en ligne du poids de l'inconfort pour maintenir la satisfaction de l'occupant.
Variante RL (Ibex-RL) : Une approche de RL basée sur un modèle, reposant sur le cadre de politique de MPC différentiable. Contrairement au RL standard sans modèle, Ibex-RL apprend simultanément un modèle de dynamique de système informé par la physique et une fonction de coût quadratique. Elle emploie une stratégie hybride de l'apprentissage hors ligne vers l'en ligne :
- Phase Hors Ligne : Utilise l'apprentissage par imitation sur des données historiques pour initialiser les paramètres de la dynamique du système et du coût, garantissant un point de départ « sûr mais sous-optimal » sans nécessiter de simulateur haute fidélité.
- Phase En Ligne : S'adapte continuellement aux deux paramètres, la dynamique du modèle ( $\theta_{state}$ ) et les paramètres de coût ( $\theta_{cost}$ ), en utilisant des mises à jour basées sur le gradient dérivées d'un signal de récompense non quadratique qui reflète l'objectif de la MPC.

Configuration Expérimentale :

Action de Commande : Les deux contrôleurs ajustaient la consigne de température du thermostat (envoyée via API) en fonction de la température intérieure et des mesures de puissance électrique.
Contraintes : Les deux utilisaient un modèle de circuit thermique 2R1C. Une contrainte de sécurité stricte empêchait les consignes de descendre en dessous de 17 °C.
Référence (Baseline) : La performance a été comparée à une référence de consigne constante (programme préféré de l'occupant) et à une période de fonctionnement non supervisée.
Données : L'entraînement et la validation ont utilisé des données historiques de différentes périodes (2022 pour la MPC, 2023 pour le RL). Les données d'évaluation ont été collectées lors du déploiement de 30 jours (janvier–février 2025).

Principales Contributions

Le document apporte trois contributions principales à la littérature :

Première Comparaison Empirique : Il fournit la première comparaison directe, côte à côte, de la MPC et du RL basé sur un modèle dans une maison résidentielle occupée, dépassant les études de simulation.
Déploiement RL à Long Terme : Il documente un test sur le terrain d'un mois d'un algorithme de RL basé sur un modèle (Ibex-RL) sans le filet de sécurité d'un simulateur haute fidélité pré-entraîné, offrant des perspectives sur l'adaptation à long terme et la stabilité.
Feuille de Route Pratique : Il expose des leçons spécifiques tirées concernant la précision des modèles, l'assurance de la sécurité et l'effort d'ingénierie, fournissant une évaluation réaliste des défis du déploiement de contrôleurs avancés « dans le monde réel ».

Résultats

Économies d'Énergie

Par rapport à une référence de consigne constante, les deux contrôleurs ont réalisé des économies d'énergie significatives normalisées selon la météo :

MPC : A économisé 18,1 % (IC 95 % : 4,4 % à 30,9 %).
RL (Ibex-RL) : A économisé 20,9 % (IC 95 % : 2,6 % à 38,3 %).
L'analyse statistique n'a indiqué aucune différence significative dans les économies d'énergie entre les deux algorithmes. Lorsqu'elles sont normalisées par la différence de température intérieur-extérieur (isolant l'efficacité de l'équipement de la réduction de consigne), la MPC a montré une efficacité légèrement supérieure (11,28 % d'économies) par rapport au RL (8,04 %), bien que la différence ne soit pas statistiquement significative.

Confort de l'Occupant

MPC : A maintenu des niveaux de confort acceptables, avec un pourcentage de mécontentement prédit (PPD) moyen temporel de 9,92 %, restant dans le seuil d'acceptabilité typique de 10 %. Aucun rapport d'inconfort n'a été reçu.
RL : A reçu trois rapports d'inconfort de l'occupant. La maison était généralement plus fraîche que la préférence de l'utilisateur, particulièrement lors d'une phase d'adaptation initiale et lors de certains jours froids. Le PPD moyen temporel était plus élevé, à 13,53 %. Le contrôleur RL a maintenu la maison plus fraîche pour maximiser les économies d'énergie, privilégiant le signal de récompense par rapport au suivi strict de la consigne pendant la phase d'apprentissage.

Effort d'Ingénierie et Évolutivité

Les auteurs ont estimé l'effort d'ingénierie récurrent requis pour déployer ces algorithmes spécifiques dans une nouvelle maison (en supposant l'infrastructure et les données historiques existantes) :

MPC : Environ 5 jours-ingénieur (pour l'ajustement du modèle, le prétraitement des données et le réglage).
RL : Environ 2 jours-ingénieur (pour la configuration de l'apprentissage par imitation et le réglage des hyperparamètres).
Les auteurs estiment qu'un nouveau déploiement de RL nécessiterait environ un tiers d'effort d'ingénierie de moins que la MPC. Cependant, ils notent que le développement initial de l'algorithme de RL a nécessité une modification importante du framework Gnu-RL (environ 45 jours-étudiant) et a fait face à des défis de maintenance uniques, tels que des échements de communication API ayant corrompu les données d'apprentissage en ligne.

Signification et Revendications

Le papier affirme que si le RL réduit l'effort de déploiement et atteint des économies d'énergie comparables à la MPC, il fait face à des défis distincts liés à l'initialisation sûre du contrôleur et aux décalages entre les espaces d'états/actions modélisés et réels.

Les auteurs soulignent que leurs conclusions sont spécifiques aux variantes implémentées (Ibex-RL et l'implémentation spécifique de la MPC) et ne doivent pas être vues comme un verdict général sur toutes les méthodes de RL ou de MPC. Ils soutiennent que cette étude met en évidence un compromis critique : le RL offre une voie vers un contrôle automatisé et évolutif avec des coûts d'ingénierie récurrents plus faibles, mais cela s'accompagne de risques pour le confort de l'occupant pendant la phase d'adaptation et nécessite des couches de sécurité robustes pour gérer les problèmes d'intégrité des données en conditions réelles.

En fin de compte, le document suggère que l'avenir du contrôle avancé du CVC ne réside pas dans une compétition entre les paradigmes, mais dans leur convergence. Les auteurs postulent que les solutions hybrides — fusionnant l'apprentissage et l'adaptation automatisés du RL au sein du cadre interprétable et respectueux des contraintes de la MPC — pourraient être la voie la plus viable vers un déploiement réel et évolutif.