Hierarchical Probabilistic Conformal Prediction for Distributed Energy Resources Adoption

Cet article propose un nouveau cadre de prédiction conforme probabiliste hiérarchique qui combine un processus de Hawkes multivarié avec un algorithme de conformal split sur mesure afin de fournir une quantification d'incertitude agrégée et statistiquement valide pour l'adoption des ressources énergétiques distribuées à travers différents niveaux de réseau, surpassant les modèles de référence existants tant en précision qu'en étalonnage.

L'essentiel

Imaginez le réseau électrique comme une ville immense et complexe. Dans cette ville, il y a des sous-stations (les principaux centres d'énergie) et des circuits (les quartiers plus petits ou les rues qui bifurquent de ces centres).

Pendant longtemps, les urbanistes (les services publics) savaient exactement quelle quantité de puissance entrait dans la ville. Mais maintenant, quelque chose de nouveau se produit : les gens installent leurs propres sources d'énergie, comme des panneaux solaires sur les toits et des batteries domestiques. On appelle cela les Ressources Énergétiques Distribuées (RED).

C'est excellent pour l'environnement, mais c'est un casse-tête pour les urbanistes. Si trop de voisins sur une même rue installent des panneaux solaires, cela peut surcharger les câbles locaux ou provoquer des pics de tension. S'ils ne prévoient pas à l'avance, le réseau pourrait céder.

Le problème est le suivant : Personne ne sait exactement qui installera un panneau, quand, ni où. C'est comme essayer de deviner quels foyers d'une ville achèteront une nouvelle voiture l'année prochaine. La croissance est rapide, inégale et pleine de surprises.

L'ancienne méthode vs La nouvelle méthode

L'ancienne méthode (Prédiction ponctuelle) :
Imaginez un prévisionniste météo qui dit : « Il pleuvra exactement 0,5 pouce demain. » S'il tombe 0,6 pouce, il s'est « trompé ». S'il tombe 0,4 pouce, il s'est « trompé ». Dans le monde réel, être légèrement à côté de la plaque peut être dangereux. Les planificateurs ont besoin d'une plage de valeurs, comme : « Il pleuvra entre 0,3 et 0,7 pouce. »

Le problème des anciennes plages de valeurs :
Même si le prévisionniste obtient la bonne plage pour chaque rue individuellement, le calcul échoue souvent lorsqu'on additionne le tout.

• Rue A : Prédiction de 1 à 3 panneaux.
• Rue B : Prédiction de 1 à 3 panneaux.
• Le Centre (Sous-station) : Si vous additionnez simplement les plages, vous pourriez penser que le total est de 2 à 6 panneaux. Mais parce que les rues sont connectées, si la Rue A reçoit beaucoup, la Rue B pourrait aussi en recevoir beaucoup. Le « vrai » total pourrait être de 0 à 10. L'ancien calcul crée un faux sentiment de sécurité, menant soit à du gaspillage (construire trop), soit à des pannes (construire trop peu).

La solution : HPCP (La « Surveillance intelligente du quartier »)

Les auteurs proposent une nouvelle méthode appelée Prédiction Conforme Hiérarchique Probabiliste (HPCP). Voyez cela comme une « Surveillance intelligente du quartier » pour le réseau électrique.

Voici comment cela fonctionne, en utilisant des analogies simples :

1. Apprendre la « contagion sociale » (Le processus de Hawkes)
Le document utilise un modèle appelé Processus de Hawkes multivarié. Imaginez une rumeur qui se propage dans une ville. Si une personne commence une rumeur, ses voisins sont plus susceptibles de faire de même.

• Dans le réseau : Si un propriétaire sur le Circuit A installe un panneau solaire, cela rend plus probable que ses voisins du Circuit A (et même des voisins d'un Circuit B proche, connecté à la même sous-station) fassent de même.
• Le modèle apprend ces schémas « sociaux ». Il ne se contente pas de regarder l'historique ; il comprend que l'adoption est contagieuse.

2. Le « Jeu de simulation » (Échantillonnage probabiliste)
Au lieu de deviner un seul chiffre, le modèle lance des milliers de jeux de type « et si ».

• Il simule : « Et si 5 personnes de la Rue A installent des panneaux ? Et si 10 ? Et si 2 ? »
• Il fait cela pour chaque rue, créant une immense bibliothèque de futurs possibles.

3. La « Vérification des frères et sœurs » (La recette secrète)
C'est la partie la plus importante. Dans une prédiction standard, on vérifie si la prédiction est correcte pour la Rue A, puis on vérifie la Rue B séparément.

• L'astuce de l'HPCP : Il vérifie la prédiction pour la Rue A, mais il regarde aussi les « frères et sœurs » (les autres rues connectées à la même sous-station).
• Si le modèle prédit que la Rue A aura 5 panneaux, mais que les rues « sœurs » prédisent toutes 0, le modèle sait que quelque chose ne va pas. Il ajuste la prédiction pour s'assurer que lorsqu'on additionne la Rue A + les Frères et Sœurs, le total reste cohérent.
• La métaphore : Imaginez un enseignant qui évalue une classe. Au lieu de simplement vérifier si l'élève A a réussi, l'enseignant vérifie si la note de l'élève A est cohérente avec les notes de son groupe d'étude. Si le score total du groupe est impossible, l'enseignant ajuste les notes individuelles pour garantir que le score total du groupe est valide.

Pourquoi cela importe

Les auteurs ont testé cela sur des données réelles d'Indianapolis, dans l'Indiana, concernant les installations de panneaux solaires.

• C'est plus précis : La méthode a prédit correctement le nombre de nouveaux panneaux plus souvent que les autres méthodes.
• C'est plus serré : Elle n'a pas seulement donné une plage énorme et prudente comme « de 0 à 100 panneaux ». Elle a donné une plage utile comme « de 15 à 25 panneaux », ce qui est bien meilleur pour la planification.
• C'est sûr au niveau supérieur : Plus important encore, elle garantit que si l'on additionne toutes les prédictions des quartiers, la prédiction totale pour le centre d'énergie principal est également correcte.

L'essentiel

Les auteurs ont construit un outil qui aide les entreprises d'électricité à planifier l'avenir sans deviner. En comprenant comment l'adoption des panneaux solaires se propage comme une rumeur à travers les quartiers et en vérissant que les calculs concordent, du niveau de la rue au niveau de la ville, ils peuvent construire un réseau prêt pour la révolution de l'énergie verte sans gaspiller d'argent ni risquer des pannes de courant.

Limites mentionnées dans le document :

• Elle suppose que la structure du réseau (qui est connecté à qui) ne change pas rapidement.
• Elle est plus efficace pour la planification à court terme (prochains mois) plutôt que pour prédire 10 ans dans le futur, car elle repose fortement sur l'historique récent.
• Elle gère actuellement un système à deux niveaux (Rue -> Centre), et non un système complexe à 4 niveaux (Rue -> Quartier -> Centre -> Région).

Résumé technique

Résumé Technique : Prédiction Conforme Probabiliste Hiérarchique pour l'Adoption des Ressources Énergétiques Distribuées

Énoncé du Problème

L'adoption rapide des ressources énergétiques distribuées (RED), telles que les panneaux solaires résidentiels, introduit des défis opérationnels significatifs pour la gestion des réseaux électriques. Une prévision précise de la croissance des RED est essentielle pour une planification proactive des infrastructures, pourtant les approches traditionnelles de prédiction ponctuelle ne parviennent pas à capturer l'incertitude inhérente et la disparité spatiale des modèles d'adoption.

Un défi critique, souvent négligé, est la structure hiérarchique des réseaux de distribution. Les réseaux sont composés de plusieurs circuits connectés à des postes sources (substations). Les décisions opérationnelles nécessitent des prédictions fiables tant au niveau du circuit individuel qu'au niveau agrégé du poste source. Les méthodes de prédiction conforme standard garantissent la validité au niveau individuel (circuit) mais ne garantissent pas que les prédictions agrégées (poste source) maintiennent une couverture statistique. L'agrégation naïve des intervalles de niveau circuit peut conduire à des incohérences logiques, entraînant des intervalles au niveau du poste source qui sous-estiment ou surestiment l'incertitude réelle, compromettant ainsi la gestion des risques et les décisions de planification.

Méthodologie

Le document propose la Prédiction Conforme Probabiliste Hiérarchique (HPCP - Hierarchical Probabilistic Conformal Prediction), un cadre sans distribution conçu pour construire des intervalles de prédiction qui satisfont des garanties de validité statistique simultanément aux niveaux du circuit et du poste source. La méthodologie intègre trois composantes fondamentales :

1. Modèle de Base Probabiliste (Processus de Hawkes Multivarié) :
   Le cadre utilise un processus de Hawkes multivarié pour modéliser la dynamique spatio-temporelle de l'adoption des RED. Contrairement aux modèles de séries temporelles traditionnels, cette approche capture :

   • L'auto-excitation : L'influence des installations passées sur l'adoption future au sein du même circuit.
   • L'influence mutuelle : L'effet de « contagion » où les installations dans un circuit influencent les circuits voisins.
   • Les facteurs exogènes : Les covariables socio-économiques et politiques.
     Le modèle génère des prévisions probabilistes via l'échantillonnage par affinement (thinning sampling), produisant une distribution des comptes d'installations futures plutôt qu'une simple estimation ponctuelle. Cela préserve la variance et le comportement des queues de distribution, cruciaux pour la quantification de l'incertitude.

2. Score de Non-Conformité Hiérarchique :
   L'innovation centrale réside dans la conception du score de non-conformité utilisé dans l'algorithme de prédiction conforme par partition (split conformal prediction).

   • Les méthodes standards traitent souvent les dimensions de manière indépendante ou regroupent les résidus globalement.
   • L'HPCP définit un score basé sur les « circuits frères » (circuits connectés au même poste source). Pour un circuit $k$ donné, le score incorpore les résidus de tous les circuits associés au même poste source.
   • Plus précisément, le score $e_{j,k}$ est la norme $\ell_\infty$ minimale de la différence entre le vecteur observé et les vecteurs simulés, restreinte à l'ensemble des circuits frères. Cela exploite la topologie du réseau pour aligner les bornes des prédictions agrégées.

3. Étalonnage Conforme par Partition (Split Conformal Calibration) :
   Les données sont divisées en ensembles d'entraînement et de calibration.

   • L'ensemble d'entraînement ajuste les paramètres du processus de Hawkes.
   • L'ensemble de calibration simule les résultats futurs pour calculer les scores de non-conformité.
   • Les intervalles de prédiction sont construits en estimant les quantiles appropriés de ces scores.
   • Pour traiter les changements de distribution potentiels, la méthode emploie des ajustements de quantiles pondérés basés sur la proximité temporelle des fenêtres de calibration par rapport au temps de prédiction.

Principales Contributions

• Agrégation Sensible à la Topologie : Le document introduit un nouveau score de non-conformité qui incorpore explicitement la matrice d'affiliation (connectivité circuit-poste source). Cela garantit que les intervalles de prédiction restent valides non seulement pour les circuits individuels, mais aussi pour leur agrégation linéaire au niveau du poste source.
• Garanties Théoriques : Les auteurs établissent des garanties de validité en échantillon fini sous des conditions de régularité modérées (spécifiquement, le mélange fort des résidus). Ils prouvent que la méthode satisfait les contraintes de couverture aux deux niveaux, abordant le défi non trivial des données dépendantes et de l'agrégation hiérarchique.
• Améliorations de l'Efficacité : L'analyse théorique (Proposition 1) démontre que le score proposé produit des intervalles de prédiction plus serrés (plus efficaces) que la prédiction conforme marginale standard, la prédiction conforme jointe et les alternatives basées sur la norme $\ell_p$. Ceci est rendu possible en exploitant la parcimonie de la matrice d'affiliation et en utilisant les propriétés de la norme $\ell_\infty$.
• Validation Empirique : Le cadre est évalué sur des données synthétiques et sur des données réelles d'installations solaires au niveau client provenant d'Indianapolis, Indiana.

Résultats

• Données Synthétiques : À travers divers scénarios de simulation (variations de parcimonie, d'intensité et de corrélations), l'HPCP a systématiquement atteint des taux de couverture empirique supérieurs au niveau de référence nominal tout en produisant des tailles d'intervalles nettement plus petites que les bases de comparaison jointes et corrigées par la méthode de Bonferroni.
• Données Réelles (Indianapolis) :
  • Précision Prédictive : Le modèle de base du processus de Hawkes multivarié a surpassé les bases de comparaison standard (RNN, LSTM, VAR, Processus Gaussiens) en termes d'erreur absolue moyenne (MAE) sur plusieurs résolutions temporelles (mensuelles à annuelles).
  • Quantification de l'Incertitude : L'HPCP a atteint le taux de couverture cible de 90 % tant au niveau des circuits qu'au niveau des postes sources. En revanche, d'autres méthodes ont soit échoué à atteindre les objectifs de couverture, soit produit des intervalles excessivement larges.
  • Sensibilité : La méthode est restée robuste aux variations de la taille de simulation ($M$) et des taux de sous-couverture nominals, avec une efficacité optimale observée pour des tailles de simulation modérées.
  • Aperçus Spatiaux : Le modèle a réussi à identifier les disparités régionales dans la croissance de l'adoption et l'incertitude associée, mettant en évidence les zones présentant un fort potentiel de croissance mais des risques de planification accrus.

Signification et Revendications

Le document affirme que l'HPCP fournit un outil théoriquement fondé et pratiquement fiable pour la planification opérationnelle des RED sensible à la topologie. Sa signification est triple :

1. Fiabilité : Il comble une lacune critique dans la littérature existante où les prédictions au niveau des circuits ne se traduisent pas par des garanties valides au niveau des postes sources, une nécessité pour une gestion de réseau averse au risque.
2. Efficacité : En exploitant la topologie du réseau, il évite l'excès de conservatisme typique des méthodes d'agrégation naïves, fournissant des intervalles plus précis qui sont plus utiles pour la prise de décision.
3. Applicabilité : Le cadre est particulièrement précieux dans les contextes de données limitées et de forte stochasticité, tels que les marchés émergents de DER, où les prédictions ponctuelles traditionnelles sont sujettes à des erreurs élevées.

Les auteurs reconnaissent les limites, notant que l'algorithme actuel suppose une hiérarchie à deux niveaux fixe et qu'il est mieux adapté aux prévisions à court terme. Ils suggèrent que les travaux futurs pourraient étendre le cadre à des hiérarchies plus profondes et à des structures de réseau non statiques.