Safe Deep Reinforcement Learning for Building Heating Control and Demand-side Flexibility

1. Problématique

Le secteur du bâtiment représente environ 40 % de la consommation énergétique mondiale. Avec l'augmentation de la part des énergies renouvelables intermittentes, la stabilité du réseau électrique dépend de plus en plus de la flexibilité côté demande (Demand-Side Flexibility). Les systèmes de chauffage, ventilation et climatisation (CVC) sont des candidats idéaux pour fournir cette flexibilité.

Cependant, le contrôle de ces systèmes présente plusieurs défis :

• Limites des méthodes classiques : Le contrôle basé sur des règles (RBC) est simple mais rigide, ne s'adaptant pas aux prix dynamiques de l'électricité. Le contrôle prédictif (MPC) est performant mais dépend de modèles physiques précis et coûteux en calcul.
• Risques du Deep Reinforcement Learning (DRL) : Bien que le DRL offre une approche pilotée par les données capable d'apprendre des stratégies optimales sans modèle explicite, son caractère exploratoire pose des problèmes de sécurité. Il existe un risque que l'agent apprenant viole les contraintes opérationnelles (confort des occupants) ou, plus critique dans ce contexte, ne respecte pas les demandes de flexibilité imposées par les opérateurs du réseau.
• Besoin de garanties : Il est crucial de garantir que les bâtiments répondent aux contraintes de flexibilité (réduction ou augmentation de la consommation sur une fenêtre temporelle donnée) sans compromettre la sécurité du système ni le confort thermique.

2. Méthodologie

Les auteurs proposent un cadre de contrôle hybride combinant un Apprentissage par Renforcement Profond (DRL) et un Filtre de Sécurité Adaptatif en Temps Réel (RASF).

A. Modélisation et Architecture

• Modèle Thermique : L'environnement de simulation utilise des Réseaux de Neurones Physiquement Cohérents (PCNN). Cette approche hybride combine un modèle linéaire basé sur la physique avec un réseau de neurones non linéaire pour capturer les dynamiques non forcées, assurant à la fois précision et interprétabilité sans nécessiter de modèle physique complet.
• Contrôleur DRL : L'algorithme utilisé est le Deep Deterministic Policy Gradient (DDPG), adapté aux espaces d'actions continus (niveau d'ouverture de la vanne de la pompe à chaleur).
  • État ($S_t$) : Inclut l'ensoleillement, la température ambiante, la température de la pièce, la température des pièces voisines, l'heure, le scénario de chauffage/refroidissement, la fenêtre de flexibilité, et l'énergie consommée.
  • Récompense ($R_t$) : Une fonction pondérée pénalisant les violations de confort thermique, le coût de l'électricité et le non-respect des contraintes de flexibilité.
• Filtre de Sécurité Adaptatif (RASF) : C'est le cœur de l'innovation. Ce module agit comme une couche de sécurité entre l'agent DRL et l'environnement.
  • Il calcule une action « sûre » ($u_{safe,t}$) basée sur le budget énergétique restant et le temps restant de la fenêtre de flexibilité.
  • Il introduit une tolérance dynamique ($\tau_t$) qui s'ajuste en temps réel en fonction de la température de la pièce (pour éviter les violations de confort) et du prix de l'électricité (pour permettre une consommation plus libre si le prix est bas).
  • Le filtre ajuste l'action proposée par le DRL ($u_t$) pour garantir que la contrainte globale de flexibilité est respectée à tout moment, tout en minimisant l'impact sur le confort.

B. Cas d'étude

La méthode a été testée sur des données réelles d'un appartement (UMAR) du bâtiment NEST de l'Empa en Suisse. La simulation couvre une période d'un mois avec des demandes de flexibilité aléatoires (réduction ou augmentation de la consommation par rapport au scénario de référence « Business as Usual »).

3. Contributions Clés

1. Filtre de sécurité sans modèle (Model-free) : Développement d'un filtre adaptatif en temps réel qui ne nécessite ni identification de modèle physique préalable ni connaissance a priori du système. Il s'adapte aux observations en temps réel (température, prix).
2. Intégration DRL-Sécurité : Création d'un cadre de contrôle unifié où le DRL optimise la performance (coût, confort) tandis que le filtre garantit strictement le respect des contraintes de flexibilité imposées par le réseau.
3. Validation sur données réelles : Démonstration de l'efficacité de l'approche via une simulation proche de la réalité utilisant des données d'un laboratoire vivant, prouvant la capacité à optimiser l'énergie tout en fournissant des services de flexibilité.

4. Résultats

Les performances ont été comparées entre quatre stratégies : un contrôleur à règles (RB), un DRL sans flexibilité, un DRL avec flexibilité (sans filtre), et le DRL avec le filtre de sécurité (RASF).

• Efficacité Économique et Énergétique :
  • Le contrôleur DRL avec filtre de sécurité (Cas IV) a réduit les coûts d'électricité de 64,5 % par rapport au contrôleur à règles de base.
  • Par rapport au contrôleur DRL sans filtre, il maintient une efficacité énergétique et des coûts comparables, avec une légère augmentation des violations de confort.
  • Les économies globales par rapport au contrôleur à règles atteignent jusqu'à 50 %.
• Respect de la Flexibilité :
  • Le DRL seul (Cas III) échoue parfois à respecter les contraintes de flexibilité strictes.
  • L'ajout du RASF (Cas IV) garantit un respect total (100 %) des demandes de flexibilité, même dans des scénarios complexes.
• Confort Thermique :
  • L'intégration du filtre entraîne une augmentation minime des violations de température de confort (passant de 100,56 à 103,56 kWh de violations sur un mois), ce qui est considéré comme un compromis acceptable pour garantir la sécurité du réseau.

5. Signification et Conclusion

Ce travail démontre qu'il est possible de déployer des contrôleurs DRL dans des applications critiques de gestion de l'énergie sans sacrifier la sécurité opérationnelle.

• Avantage principal : La méthode permet aux bâtiments de devenir des acteurs actifs dans l'équilibrage du réseau électrique, fournissant de la flexibilité de manière fiable sans dépendre de modèles physiques complexes ou de règles statiques inefficaces.
• Impact : L'approche « Safe DRL » offre une voie prometteuse pour la scalabilité des solutions de gestion de l'énergie dans des bâtiments hétérogènes, en équilibrant l'efficacité énergétique, le confort des occupants et les exigences du réseau.
• Perspectives : Les auteurs suggèrent de tester la robustesse du filtre face à des conditions extrêmes et d'étendre l'approche à des systèmes multi-agents coordonnant plusieurs bâtiments.

En résumé, cette recherche valide l'efficacité d'un filtre de sécurité adaptatif pour rendre l'apprentissage par renforcement applicable et sûr dans le contexte de la flexibilité énergétique des bâtiments.