Résumé technique : Un cadre Python unifié pour le contrôle direct des CTA basé sur PPO

Énoncé du problème

Les systèmes de CVC des bâtiments sont responsables d'une part significative de la consommation énergétique mondiale (30 à 40 % de l'énergie utilisée par les bâtiments), mais le maintien d'une performance optimale est difficile en raison des caractéristiques non linéaires des enveloppes des bâtiments et des variations stochastiques des charges. Les stratégies de contrôle traditionnelles, telles que les thermostats marche/arrêt et les contrôleurs PID à consigne fixe, peinent souvent à équilibrer simultanément le confort thermique, la qualité de l'air intérieur (QAI) et l'efficacité énergétique. Plus précisément, ces méthodes conventionnelles échouent fréquemment à ajuster dynamiquement les débits de ventilation en fonction de l'occupation en temps réel et des niveaux de CO2, entraînant soit un gaspillage énergétique excessif dû à une surventilation, soit des risques pour la santé liés à une mauvaise QAI. De plus, les études existantes sur l'apprentissage par renforcement profond (DRL) traitent souvent la QAI comme une pénalité souple plutôt que comme une contrainte stricte, s'appuient sur des outils de co-simulation complexes qui entravent la mise en œuvre, ou manquent de modèles physiques intégrés (tels que des réseaux thermiques et des équations de bilan de masse) au sein d'un environnement Python unifié.

Méthodologie

Les auteurs proposent un cadre Python unifié qui implémente un algorithme d'optimisation directe de la politique proximale (PPO) pour contrôler une centrale de traitement d'air (CTA). La méthodologie repose sur les composants suivants :

1. Modélisation physique et mathématique

L'environnement de simulation utilise un modèle de réseau thermique 2R-2C couplé à des équations de bilan de masse dynamiques pour l'humidité et le CO2.

• Dynamique thermique : Modélisée à l'aide de résistances thermiques ($R_{in}, R_{out}$) et de capacités ($C_{wall}$) pour simuler le comportement thermodynamique transitoire.
• Humidité et CO2 : Le système calcule l'humidité intérieure et la concentration de CO2 en fonction des taux de génération par les occupants, des propriétés de l'air soufflé et des débits de ventilation.
• Logique d'économiseur : Un économiseur basé sur l'enthalpie est intégré pour permettre le « refroidissement gratuit » lorsque les conditions extérieures (température et humidité) sont plus favorables que les conditions intérieures.

2. Stratégies de contrôle comparées

L'étude évalue quatre stratégies de contrôle distinctes sur une simulation dynamique de 24 heures :

1. Thermostat marche/arrêt : Une logique de commutation de base avec un différentiel fixe (hystérésis).
2. Contrôleur PID : Un signal de contrôle continu modulant la vitesse du ventilateur en fonction des gains proportionnel, intégral et dérivé.
3. Agent PPO standard : Un agent d'apprentissage par renforcement entraîné pour réguler la température avec un ratio d'air neuf fixe (50 %).
4. Agent PPO « intelligent » proposé : Un agent avancé doté d'une Logique de flux hiérarchique.

3. Le cadre PPO proposé

L'innovation centrale réside dans la Logique de flux hiérarchique et la conception de l'environnement :

• Espace d'état : L'agent observe la température intérieure actuelle ($T_{air}$) et l'erreur thermique instantanée ($e(t)$).
• Espace d'action : L'agent génère une action continue pour contrôler le débit d'air total.
• Logique de flux hiérarchique (Priorité QAI) : Il s'agit d'un mécanisme de sécurité critique. L'environnement calcule le volume d'air neuf minimal requis pour maintenir le CO2 en dessous de 1000 ppm en fonction de l'occupation en temps réel. L'action finale est le maximum entre le débit demandé par l'agent et le débit minimal de QAI calculé. Cela garantit que l'agent ne peut pas couper la ventilation pour économiser de l'énergie si cela compromet la qualité de l'air.
• Fonction de récompense : L'agent est récompensé en fonction de l'erreur quadratique négative de l'écart de température par rapport à la consigne de 22 °C ($R = -|T_{air} - T_{set}|^2$).
• Entraînement : L'agent est entraîné à l'aide de la bibliothèque Stable Baselines3 sur 300 000 pas de temps avec des perturbations horaires dynamiques.

Contributions clés

L'article identifie trois contributions principales au domaine du contrôle des CVC :

1. Environnement Gym autonome : Un environnement Python personnalisé qui couple un modèle thermique 2R-2C avec un bilan dynamique de CO2, éliminant le besoin d'outils de co-simulation externes.
2. Contraintes QAI strictes : Contrairement à de nombreuses études sur l'apprentissage par renforcement qui traitent la QAI comme une pénalité souple, ce cadre impose la QAI comme une contrainte stricte via la Logique de flux hiérarchique, garantissant que les niveaux de CO2 ne dépassent jamais la limite de sécurité de 1000 ppm.
3. Optimisation intégrée : Le système parvient à équilibrer l'objectif unique de régulation de la température avec la nécessité physique de la ventilation, démontrant qu'un agent d'apprentissage par renforcement peut apprendre à optimiser l'utilisation de l'énergie sans sacrifier la santé des occupants.

Résultats

Les résultats de la simulation, comparant les quatre stratégies sur une période de 24 heures avec des profils d'occupation et de météo dynamiques, indiquent :

• Confort thermique : Les contrôleurs PID et PPO surpassent nettement le thermostat marche/arrêt, éliminant les grandes oscillations de température (modèle en dents de scie) associées à la commutation binaire. Les agents PPO ont atteint une stabilité comparable à celle du contrôleur PID.
• Qualité de l'air intérieur (CO2) :
  • Le thermostat marche/arrêt a entraîné des pics fréquents de CO2 dépassant 1300 ppm.
  • Le contrôleur PID a maintenu le CO2 autour de 920 ppm mais a montré des dépassements occasionnels de la limite lors de baisses d'occupation.
  • Le PPO intelligent avec logique d'économiseur a démontré la plus grande précision, maintenant les niveaux de CO2 strictement en dessous de 910 ppm pendant les pics de demande et suivant avec exactitude le seuil de 1000 ppm pour éviter la surventilation.
• Efficacité énergétique :
  • Marche/Arrêt : 2776 kWh
  • PID : 2760 kWh
  • PPO standard : 2762 kWh
  • PPO intelligent (avec économiseur/DCV) : 2609 kWh
    La stratégie PPO intelligente a réalisé des économies d'énergie d'environ 6 % par rapport aux bases PID et marche/arrêt, tout en atteignant simultanément les niveaux de CO2 les plus bas.

Importance et affirmations

L'article affirme que cette recherche comble des lacunes importantes dans la littérature actuelle sur le contrôle des CVC en fournissant une solution robuste, généralisée et facilement implémentable basée sur Python. L'importance de ce travail est double :

1. Mise en œuvre pratique : En intégrant directement des modèles physiques (2R-2C, bilan de masse) dans un environnement de style Gym, le cadre offre une voie vers des solutions « de bout en bout » qui peuvent être plus facilement transférées vers des implémentations matérielles réelles par rapport aux approches de co-simulation complexes.
2. Sécurité et efficacité : La Logique de flux hiérarchique prouve que les agents d'apprentissage par renforcement peuvent être contraints de prioriser la sécurité (QAI) sans compromettre leur capacité à apprendre des politiques énergétiques optimales. L'étude démontre qu'une ventilation dynamique à commande de demande pilotée par l'apprentissage par renforcement peut réduire la consommation d'énergie tout en respectant strictement les normes de santé, offrant une alternative viable aux systèmes de contrôle traditionnels basés sur des règles ou réactifs.

Les auteurs concluent que, bien que le travail actuel soit une simulation, le cadre est conçu pour être déployé sur de véritables centrales de traitement d'air physiques, avec des travaux futurs prévus pour valider ces résultats en utilisant des données réelles de bâtiments et un déploiement matériel dans le monde réel.