Understanding electricity consumption behaviour through Inverse Reinforcement Learning

Résumé technique : Comprendre le comportement de consommation d'électricité par l'apprentissage par renforcement inverse

Énoncé du problème
La consommation résidentielle d'électricité est une composante critique de la demande énergétique mondiale, particulièrement en ce qui concerne le refroidissement de l'espace, qui augmente en raison du changement climatique et des crises énergétiques géopolitiques. Un défi important pour la conception des politiques énergétiques est de comprendre comment les ménages réagissent aux chocs socio-économiques et climatiques (par exemple, les pics de prix et les vagues de chaleur). Les approches existantes simplifient souvent trop le comportement des consommateurs, en s'appuyant sur des modèles « boîte blanche » stylisés qui manquent de granularité, ou sur des méthodes d'apprentissage automatique qui se concentrent sur des sous-populations limitées, entravant ainsi la généralisabilité. De plus, la littérature actuelle manque d'une compréhension quantitative de la manière dont les comportements de refroidissement évoluent sous un stress thermique et socio-économique combiné, particulièrement à des résolutions temporelles sub-journalières. Le problème central est de savoir comment modéliser la consommation des ménages à grande échelle pour de larges groupes de consommateurs tout en évitant la simplification excessive, en maintenant l'interprétabilité et en capturant les réponses non linéaires et hétérogènes aux chocs.

Méthodologie
Les auteurs proposent un cadre basé sur l'Apprentissage par Renforcement Inverse Adversaire (AIRL - Adversarial Inverse Reinforcement Learning) pour inférer les fonctions de récompense qui représentent le comportement de consommation des ménages. La méthodologie se déroule en trois étapes principales :

1. Prétraitement des données et partitionnement (Clustering) :

   • Source de données : Données de compteurs intelligents horaires provenant de ménages italiens (mai–juillet 2021–2023), couvrant les périodes de pré-crise, de crise et de post-crise.
   • Variables de contexte : Variables statiques/quasi-statiques (revenu, urbanisation, ancienneté du bâtiment, estimation de la possession de climatiseurs, indice de vue verte, prix de l'énergie facturée) et variables dynamiques (indice de stress thermique UTCI, profils de consommation).
   • Partitionnement : Pour gérer l'hétérogénéité, les auteurs utilisent un pipeline de partitionnement. Les variables statiques sont standardisées, tandis que les données de séries temporelles dynamiques (consommation et UTCI) sont traitées à l'aide de réseaux à écho (ESN - Echo State Networks) et de l'ACP tensorielle (Tensor PCA) pour extraire des plongements (embeddings) de faible dimension qui préservent la dynamique temporelle. Ceux-ci sont concaténés (poids de 50 % chacun) et regroupés par partitionnement hiérarchique agglomératif (liaison de Ward).
   • Sélection : 11 clusters ont été identifiés. Pour une analyse détaillée, quatre clusters représentatifs ont été sélectionnés : consommation élevée, consommation intermédiaire urbaine, faible consommation urbaine et faible consommation rurale.

2. Apprentissage par renforcement inverse adversaire (AIRL) :

   • Formulation : Les ménages sont traités comme des agents dans un processus de décision de Markov (MDP). L'état $s$ inclut les variables de contexte (UTCI, moment de la journée, type de jour, moyennes mobiles) et l'action $a$ est définie comme la différence de premier ordre dans la consommation ($e_{t+1} - e_t$).
   • Algorithme : Un algorithme AIRL (utilisant spécifiquement l'optimisation de politique proximale ou PPO pour le générateur) est entraîné pour chaque cluster. Le système se compose d'une politique de générateur et d'un discriminateur (réseau de récompense).
   • Désenchevêtrement de la récompense : La fonction de récompense $r(s, a)$ est décomposée en un terme de base $f_\phi(s, a)$ et un terme de façonnage basé sur le potentiel $\Phi_\psi(s)$. Cette structure garantit que la récompense extraite est désenchevêtrée de la dynamique de l'environnement, permettant ainsi la transférabilité à travers des conditions changeantes (par exemple, de 2021 à 2023).
   • Entraînement : Le modèle est entraîné pour maximiser la probabilité que le générateur soit classé comme un expert (les données réelles). Les hyperparamètres sont optimisés via l'optimisation bayésienne pour minimiser une métrique combinée (CM) qui équilibre la similitude de distribution, l'erreur de consommation et la corrélation temporelle.

3. Analyse du comportement :

   • Une fois entraînés, les réseaux de récompense sont interrogés pour extraire des informations comportementales.
   • Consommation optimale : Une distribution softmax sur les valeurs de consommation est construite sur la base de la récompense apprise pour visualiser les états de consommation « optimaux » que les agents choisiraient sous différents niveaux de stress thermique.
   • Comparaison : Ces courbes de consommation optimales impliquées par le modèle sont comparées à la consommation moyenne empirique pour identifier les changements de comportement (persistants, transitoires ou négligeables).
   • Sous-partitionnement : Pour étudier l'hétérogénéité intraday, le cluster à haute consommation a été davantage subdivisé en fonction du moment de la consommation (pic l'après-midi vs pic le soir) afin d'isoler l'effet des modèles d'activité quotidienne.

Résultats clés
L'étude a analysé les données de ménages italiens à travers les étés 2021, 2022 et 2023, englobant la crise énergétique et une vague de chaleur sévère en 2022.

• Réponses hétérogènes aux chocs : Les fonctions de récompense ont révélé que les chocs ont remodelé le comportement de refroidissement différemment selon les groupes :

  • Cluster de haute consommation : A présenté un changement persistant. Bien qu'ils aient réagi fortement à la température en 2021, la crise de 2022 a entraîné une réduction durable de la consommation qui ne s'est pas totalement rétablie en 2023.
  • Cluster de consommation intermédiaire urbaine : A montré un changement transitoire. Ils ont amplifié leur réponse à la chaleur en 2022 mais sont largement revenus aux tendances de 2021 en 2023 lorsque les conditions se sont assouplies.
  • Cluster de faible consommation rurale : A affiché un changement structurel et lent. Initialement plat, ils ont développé un comportement plus sensible à la température en 2022 qui s'est consolidé en 2023, suggérant un potentiel latent d'adoption du refroidissement.
  • Cluster de faible consommation urbaine : A présenté un changement négligeable, restant le groupe le moins réactif, probablement contraint par l'environnement bâti et le budget.

• Hétérogénéité intraday : Le sous-partitionnement du groupe à haute consommation par moment de consommation a révélé des comportements distincts :

  • Pic l'après-midi : Les utilisateurs avec une possession plus élevée de climatiseurs et une activité diurne ont réduit considérablement leur consommation lors du pic de la crise de 2022.
  • Pic le soir : Les utilisateurs présentant des pics en soirée étaient plus réticents au changement à court terme, maintenant des réponses à l'UTCI élevé en 2022 avant de converger vers le comportement du groupe de l'après-midi en 2023.
  • Cela indique que le temps d'utilisation est une dimension distincte de l'hétérogénéité comportementale, indépendante du statut socio-économique.

Signification et revendications
L'article revendique trois contributions principales à la littérature :

1. Innovation méthodologique : Il introduit un cadre AIRL pour inférer des surfaces de réponse comportementale impliquées par la récompense à partir de données de compteurs intelligents à grande échelle. Contrairement aux corrélations empiriques traditionnelles, cette approche représente les ménages comme des agents dont la consommation est façonnée par une fonction de récompense désenchevêtrée, capturant les interactions non linéaires entre les contextes thermiques, socio-économiques et temporels.
2. Aperçu empirique de la dynamique de crise : En appliant le cadre à la crise énergétique italienne 2021–2023, l'étude quantifie comment les comportements de refroidissement changent sous un stress thermique et socio-économique simultané. Elle distingue les ajustements transitoires des changements durables, fournissant une vue granulaire de la manière dont différents groupes de consommateurs s'adaptent (ou échouent à s'adapter) à des conditions extrêmes.
3. Révélation de l'hétérogénéité cachée : L'étude démontre que des différences comportementales existent même au sein de groupes qui semblent similaires en termes socio-économiques et environnementaux. Plus précisément, elle identifie le moment de la consommation (modèles intraday) comme un facteur critique qui influence la manière dont les ménages réagissent aux chocs, une dimension souvent négligée dans les analyses agrégées.

Limites et travaux futurs
Les auteurs reconnaissent des limites concernant la granularité des variables de contexte (par exemple, le revenu et l'urbanisation sont agrégés au niveau municipal/code postal) et l'identifiabilité partielle de la fonction de récompense (les échelles absolues ne sont pas intrinsèques). Ils suggèrent que les travaux futurs pourraient incorporer des données socio-économiques à plus haute résolution, utiliser des architectures LSTM (Long Short-Term Memory) pour une meilleure reproduction des tendances intraday, et explorer les dérivées partielles d'ordre supérieur de la récompense. L'étude note également que les changements de contrats spécifiques et les profils de pauvreté énergétique n'ont pas été explicitement modélisés, suggérant ces points comme des domaines pour une intégration future.