Résumé Technique : Building2Building (B2B)

Problématique

L'apprentissage par renforcement (RL) a démontré de solides performances dans les tâches de contrôle, pourtant les politiques apprises restent souvent fragiles face aux changements de dynamique, d'espaces d'action, d'espaces d'observation ou d'objectifs. Ce manque de généralisation constitue une barrière critique au déploiement dans le monde réel. Les benchmarks existants pour étudier la généralisation, tels que Meta-World et RLBench, sont largement confinés à la robotique et aux jeux vidéo. Ils introduisent souvent une diversité limitée, se concentrant principalement sur les variations de paramètres dynamiques (ex: frottement) ou les objectifs de tâches, tout en offrant rarement des espaces d'observation et d'action hétérogènes ou des environnements physiques complexes. Par conséquent, la recherche sur l'adaptation croisée et le transfert en RL repose souvent sur des configurations expérimentales personnalisées et non reproductibles, fragmentant ainsi les progrès.

Les auteurs identifient le contrôle du chauffage, de la ventilation et de la climatisation (CVC) dans les bâtiments comme un domaine idéal pour combler ces lacunes. Les bâtiments présentent une vaste diversité de configurations (plans, matériaux, exposition climatique, configuration CVC), mais partagent des principes physiques communs basés sur la thermodynamique et la conservation de l'énergie. De plus, les systèmes CVC représentent un défi sociétal majeur, représentant près de la moitié de la consommation énergétique des bâtiments (lesquels constituent environ un tiers de la consommation énergétique mondiale).

Méthodologie

La suite Building2Building (B2B)

Les auteurs introduisent Building2Building (B2B), une suite à grande échelle d'environnements de contrôle CVC réalistes construite sur EnergyPlus, un simulateur d'énergie pour bâtiments de pointe. B2B est conçu pour être entièrement compatible avec l'interface Gymnasium.

Génération d'environnements :

• Échelle : La suite génère un ensemble de données de 6 000 environnements couvrant plusieurs types de bâtiments (maisons, restaurants, entrepôts, magasins de détail, petits/moyens bureaux), climats et configurations CVC.
• Générateurs :
  1. Un générateur résidentiel produisant des maisons à zone unique basées sur les caractéristiques statistiques du parc de bâtiments résidentiels du Québec.
  2. Un générateur paramétrique basé sur les bâtiments commerciaux de référence de l'ASHRAE 90.1 dans 16 localisations en Amérique du Nord. Ce générateur échantillonne la taille du bâtiment, le rapport fenêtre/mur, l'isolation et l'infiltration d'air, tout en imposant des limites de paramètres dépendantes du climat pour garantir la cohérence physique.
• Interface de contrôle : B2B expose des actionneurs CVC de bas niveau, gérant :
  • Systèmes unitaires : Contrôle de la température de l'air soufflé (SAT) et du débit d'air soufflé.
  • Systèmes de boucle centrale : Contrôle de la SAT centrale, des mélangeurs d'air extérieur, des ouvertures de registres de zone et des serpentins de réchauffage par zone.
  • Systèmes de chauffage par plinthes/chauffage uniquement : Contrôle via les thermostats de zone.
• Observations : Les agents reçoivent des données météorologiques (température, humidité), des informations calendaires, les températures des zones intérieures et la consommation d'énergie CVC normalisée.

Représentation structurée de l'environnement

Pour remédier à l'absence de méthodes standard pour décrire des flottes d'environnements hétérogènes, B2B introduit une représentation structurée qui étend l'API standard de Gymnasium.

• Univers morphologique : Définit un vocabulaire commun pour une famille d'environnements, incluant un espace d'attributs commun ($C_c$), un espace d'observation ($S_c$) et un espace d'action ($A_c$), ainsi qu'un ensemble de types de nœuds ($T$) avec des espaces locaux.
• Morphologie : Décrit une instance d'environnement spécifique comme un graphe où les nœuds représentent des composants (ex: zones thermiques, équipement CVC) avec des attributs locaux spécifiques.
• Décomposition : Les observations et les actions sont décomposées en une partie commune et une partie de graphe morphologique. Cela permet aux algorithmes (ex: réseaux de neurones sur graphes, transformeurs de graphes hétérogènes) d'opérer sur la structure de l'environnement plutôt que sur des tailles d'entrées/sorties fixes.

Tâches de référence (Benchmarks)

Les auteurs définissent quatre configurations de benchmark reproductibles pour isoler des sources spécifiques de variation :

1. Adaptation d'objectif : Entraînement et test sur la même dynamique de bâtiment mais avec des fonctions de récompense variables (ex: changement des poids énergétiques $w_E$ ou des stratégies de consigne de température : constante, basée sur l'occupation ou aléatoire).
2. Adaptation de dynamique : Récompense et espace d'action fixes, mais variations de la dynamique du bâtiment (climat, taille, enveloppe) au sein du même archétype.
3. Décalages de l'espace d'action : Dynamique et récompense fixes, mais changement de l'ensemble des actionneurs contrôlables entre l'entraînement et le test (ex: entraînement sur le flux d'air uniquement, test sur le flux d'air + SAT).
4. Généralisation inter-domaines : Entraînement et test sur des types de bâtiments entièrement différents avec des espaces d'observation et d'action hétérogènes (ex: entraînement sur des magasins de détail, test sur de petits bureaux).

Formulation de la récompense

La fonction de récompense équilibre le confort thermique et l'efficacité énergétique :
$$r_t = -\frac{1}{Z \tau_T} \sum_{z=1}^{Z} (T_z(t) - T^{target}_z(t))^2 - w_E \frac{1}{\tau_E} E_{HVAC}(t)$$
Pour gérer les différences d'échelle à travers des milliers d'environnements, les auteurs introduisent des constantes de normalisation $\tau_T$ et $\tau_E$. $\tau_E$ est fixé comme la consommation de puissance moyenne par étape d'une politique réactive de base pour un type de bâtiment et un climat donnés, permettant à un poids unique $w_E$ de définir le compromis à travers divers environnements.

Résultats Clés

Baselines (Référentiels) :
Les auteurs ont établi des baselines utilisant :

1. Contrôle réactif : Logique de contrôle supervisée inspirée de l'ASHRAE Guideline 36 (boucles PI et mécanismes "Trim-and-Respond").
2. Agents PPO : Entraînés sur des sous-ensembles de l'ensemble de test.

Expériences d'adaptation de la dynamique :

• Trois classes de modèles ont été testées sur des maisons à zone unique : (1) Spécialistes par bâtiment, (2) Agents non-spécialistes (ré-échantillonnage de bâtiments), et (3) Agents paramétrés (ré-échantillonnage + attributs du bâtiment).
• Constats : Les spécialistes par bâtiment ont obtenu les meilleures performances, mais il y avait un écart substantiel par rapport aux non-spécialistes. Les agents paramétrés ont surpassé les non-spécialistes, démontrant l'avantage de conditionner sur les paramètres du bâtiment (surface au sol, année de construction, etc.) pour l'adaptation de la dynamique. Cependant, les modèles non-spécialistes et paramétrés ont montré des échecs de type "longue traîne" sur des bâtiments de test spécifiques, là où les spécialistes étaient constants.

Expériences de transfert inter-domaines :

• Une politique unique a été entraînée simultanément sur quatre types de bâtiments (magasin de détail, restaurant, petit bureau, moyen bureau) en utilisant une variante de l'architecture Amorpheus (encodeurs/décodeurs spécifiques au type avec un transformeur partagé).
• Constats : La politique généralisée s'est adaptée avec succès à des bâtiments non vus de l'ensemble de test. Dans plusieurs cas, elle a surpassé le contrôleur de base réactif, démontrant la faisabilité de l'apprentissage de politiques de contrôle à travers des morphologies hétérogènes sans ré-entraînement par bâtiment.

Signification et Revendications

L'article affirme que B2B fournit un banc d'essai nécessaire, à grande échelle, diversifié et physiquement ancré pour l'étude systématique de la généralisation et du transfert en contrôle continu. Sa signification réside dans trois domaines :

1. Avancement de la recherche en RL : En offrant un cadre standardisé avec des espaces d'observation et d'action hétérogènes, B2B permet une étude rigoureuse de l'apprentissage multi-tâches, du méta-apprentissage et du transfert inter-domaines, dépassant les limites des benchmarks actuels centrés sur la robotique.
2. Applicabilité au monde réel : Le benchmark comble le fossé entre la recherche fondamentale en RL et le déploiement réel dans la gestion de l'énergie. Il soutient un nouveau paradigme d'entraînement où les politiques sont entraînées sur une distribution de bâtiments plutôt que de nécessiter un jumeau numérique hautement détaillé pour chaque bâtiment individuel.
3. Impact sociétal : En permettant un meilleur contrôle CVC à grande échelle, ce travail contribue directement à la réduction de la consommation d'énergie dans les bâtiments, à la baisse des coûts opérationnels et à l'aide à l'atténuation du changement climatique.

Les auteurs soulignent que bien que les méthodes actuelles de RL soient prometteuses en matière de généralisation, le benchmark B2B révèle que des défis importants subsistent, particulièrement pour gérer les cas d'échec de la "longue traîne" lors du transfert vers des environnements non vus sans un conditionnement spécifique.