Bridging the climate to energy data gap: simulated annealing for representative climate year selection

Cette étude propose et valide une méthode d'optimisation par recuit simulé, utilisant la distance de Wasserstein saisonnière tranchée, pour sélectionner des sous-ensembles d'années climatiques hautement représentatives à partir de grands ensembles, surpassant nettement les pratiques actuelles et les algorithmes alternatifs afin de fournir des entrées robustes et non biaisées pour la modélisation des systèmes énergétiques.

L'essentiel

Imaginez que vous essayez de concevoir un réseau électrique capable de résister aux conditions météorologiques des 30 prochaines années. Le problème est que la météo est chaotique et imprévisible. Les climatologues ont exécuté des simulations sur superordinateur générant 180 années possibles différentes de données météorologiques pour illustrer chaque scénario imaginable (des années extrêmement venteuses aux sécheresses).

Cependant, les modèles informatiques utilisés pour concevoir le réseau électrique réel sont très lourds et lents. Ils ne peuvent pas traiter 180 années de données simultanément ; ils ne peuvent en gérer qu'une poignée, peut-être 5 ou 30 années.

La grande question est : Quelles années spécifiques devons-nous sélectionner ?

Si vous choisissez les mauvaises années, vous risquez de construire un réseau qui fonctionne parfaitement lors d'un été doux mais qui s'effondre durant un hiver froid et sans vent. Si vous choisissez les mauvaises années, vous pourriez gaspiller des milliards de dollars dans des infrastructures inadaptées.

Le problème des méthodes actuelles

Actuellement, de nombreux planificateurs énergétiques choisissent des années de manière quelque peu aléatoire ou en se basant simplement sur l'année « moyenne ». Les auteurs de cet article affirment que cela revient à essayer de comprendre une bibliothèque entière en lisant une seule page choisie au hasard. Cela manque souvent les événements extrêmes (comme une « Dunkelflaute » — une période sans vent ni soleil) qui sont cruciaux pour la planification.

La solution : une « recherche intelligente » (Recuit simulé)

Les auteurs proposent une nouvelle méthode appelée Recuit simulé.

L'analogie :
Imaginez que vous vous trouvez dans une vaste chaîne de montagnes brumeuse et que vous souhaitez trouver la vallée la plus basse absolue (le meilleur ensemble d'années).

• La Recherche aléatoire consiste à lancer un dart sur une carte et à s'y rendre. Vous pourriez avoir de la chance, mais vous manquerez probablement la vallée la plus profonde.
• Les K-médoïdes (l'ancienne norme) consistent à regrouper les montagnes en clusters et à choisir le centre de chaque groupe. C'est acceptable, mais cela pourrait manquer la forme spécifique du terrain.
• Le Recuit simulé est comme un randonneur intelligent qui est aussi prêt à prendre un risque.
  • Le randonneur commence à un endroit aléatoire.
  • Il regarde autour de lui. S'il trouve un endroit plus bas, il s'y déplace.
  • Crucialement : Parfois, il peut faire un pas vers le haut (un endroit pire) juste pour voir s'il y a une vallée encore plus profonde de l'autre côté de cette colline.
  • Au fur et à mesure que la « randonnée » progresse, il devient moins enclin à prendre ces pas risqués vers le haut et commence à se concentrer sur la recherche du point le plus bas absolu.
  • Cela l'empêche de rester coincé dans une petite dépression peu profonde (un minimum local) et de manquer le point le plus bas véritable (le minimum global).

Comment ils mesurent la « qualité »

Comment savent-ils si leurs 5 ou 30 années choisies sont réellement bonnes ? Ils utilisent un outil mathématique appelé la Distance de Wasserstein saisonnière tranchée.

L'analogie :
Considérez les 180 années de données météorologiques comme un immense et complexe smoothie composé de nombreux ingrédients (vent, soleil, température, demande électrique).

• Une simple moyenne pourrait simplement vérifier si la quantité totale de fraises est correcte.
• Cet nouvel outil vérifie :
  1. Les Ingrédients : Y a-t-il la bonne quantité de vent et de soleil ?
  2. Le Mélange : Les ingrédients se mélangent-ils correctement ? (Par exemple, le vent fort se produit-il généralement avec un ensoleillement faible ? Ou se produisent-ils ensemble ?)
  3. Le Timing : Le mélange est-il correct pour l'hiver et l'été séparément ? (Un été venteux est excellent, mais un hiver venteux est encore meilleur pour le chauffage. Si vous choisissez des années venteuses en été mais calmes en hiver, vous échouez au test).

L'outil calcule un « score » indiquant à quel point votre petit smoothie (les années sélectionnées) diffère du grand smoothie (les 180 années au total). Plus le score est bas, meilleure est la correspondance.

Ce qu'ils ont découvert

Les chercheurs ont testé leur méthode de « recherche intelligente » contre des devinettes aléatoires, des devinettes filtrées et l'ancienne méthode de clustering dans trois scénarios :

1. Les Pays-Bas uniquement (30 ans).
2. Toute l'Europe (30 ans).
3. Toute l'Europe (5 ans).

Les résultats :

• Le gagnant : La « recherche intelligente » (Recuit simulé) a constamment trouvé les meilleurs ensembles d'années.
• Le multiplicateur magique : Lorsqu'ils ont sélectionné seulement 30 années avec cette méthode, ces 30 années étaient si représentatives qu'elles agissaient comme 130 à 140 années de données. Ils ont obtenu 4 à 5 fois plus de « valeur » des données que ce qu'ils possédaient physiquement.
• Supérieur à la pratique actuelle : La méthode utilisée est 2,5 à 3,5 fois meilleure que la norme actuelle utilisée par les grandes organisations énergétiques européennes (ENTSO-E).
• Cohérence : Contrairement à d'autres méthodes qui dépendent fortement de la « chance » (obtenir un bon résultat par pur hasard), cette méthode fonctionne de manière fiable à chaque fois que vous l'exécutez.

La conclusion

Cet article ne se contente pas de dire « choisissez de meilleures années ». Il fournit une recette spécifique et mathématiquement prouvée (Recuit simulé + un outil de notation spécifique) pour garantir que, lorsque les entreprises énergétiques construisent le réseau pour l'avenir, elles ne parient pas sur une chance heureuse. Elles utilisent un échantillon minuscule et soigneusement sélectionné qui reflète parfaitement la réalité complexe et chaotique du climat complet.

Une dernière note sur l'« année » : L'article suggère également de définir une « année » du 1er avril au 31 mars (au lieu de janvier à décembre). Pourquoi ? Parce que cela maintient l'hiver ensemble dans un seul bloc. Puisque l'hiver est la période la plus stressante pour le réseau électrique (chauffage + moins de soleil), diviser l'hiver sur deux années civiles briserait les données et rendrait la planification de ces coups de froid critiques plus difficile.

Résumé technique

Résumé Technique : Combler le Fossé entre Données Climatiques et Énergétiques via le Recuit Simulé

Énoncé du Problème
Les modèles de systèmes énergétiques dépendent de plus en plus de données climatiques précises pour planifier les sources renouvelables dépendantes de la météo. Cependant, un décalage fondamental existe entre la science du climat et la modélisation des systèmes énergétiques. La science du climat utilise de grands ensembles (de centaines à milliers d'années simulées) pour capturer la distribution complète des résultats possibles, y compris les extrêmes. À l'inverse, les modèles de systèmes électriques, qui sont exigeants en calcul (gérant l'engagement des unités, les contraintes de réseau et la dynamique des marchés à une résolution horaire), ne peuvent généralement traiter qu'une poignée d'années (1 à 30).

Les pratiques actuelles pour sélectionner ces années représentatives, telles que celles utilisées par le RTE (ENTSO-E) dans l'Évaluation de l'Adéquation des Ressources Européenne (ERAA), reposent souvent sur des méthodes non validées comme la sélection aléatoire, la sélection pseudo-aléatoire autour d'une période cible, ou le clustering K-Médoides. Ces approches manquent de critères explicites de représentativité, risquant des décisions d'investissement biaisées et laissant les systèmes énergétiques mal préparés face à des conditions météorologiques plausibles exclues par une méthodologie défaillante. La sélection d'un petit sous-ensemble à partir d'un grand ensemble est un problème combinatoire avec une « explosion combinatoire » de possibilités (par exemple, sélectionner 30 années parmi 180 génère environ $1,3 \times 10^{34}$ combinaisons), rendant la recherche exhaustive impossible.

Méthodologie
Cette étude propose le Recuit Simulé (RS) comme méthode d'optimisation pour sélectionner des sous-ensembles représentatifs d'années climatiques complètes à partir de grands ensembles. L'approche est évaluée par rapport à trois méthodes alternatives : la Recherche Aléatoire (RA), la Recherche Aléatoire Filtrée (RAF) et le clustering K-Médoides.

• Source de Données : L'étude utilise la Base de Données Climatiques Pan-Européenne (PECD), spécifiquement 180 années climatiques (6 modèles CMIP6 × 30 années selon le scénario SSP2-4.5, 2016–2045).
• Variables : La sélection est effectuée sur des variables dérivées d'impact énergétique plutôt que sur des champs météorologiques bruts pour tenir compte des non-linéarités. Cela inclut la production éolienne offshore et onshore, la production solaire, divers types d'hydroélectricité, la demande électrique et la charge résiduelle, agrégées en moyennes journalières au niveau national (NUTS0).
• Fonction de Coût (Métrique de Représentativité) : L'étude emploie la Distance de Wasserstein Saisonnalisée Tranchée (SSWD).
  • Distance de Wasserstein : Une métrique de transport optimal quantifiant le « travail » nécessaire pour transformer une distribution de probabilité en une autre, capturant les structures de dépendance conjointe et les corrélations entre variables.
  • Approximation Tranchée : Pour traiter efficacement les données de haute dimension, les données multivariées sont projetées sur des lignes 1D aléatoires, et la distance de Wasserstein 1D est calculée et moyennée.
  • Extension Saisonnalisée : Pour prévenir les biais saisonniers (par exemple, un été venteux compensant un hiver peu venteux), l'ensemble de données est divisé en hiver étendu (octobre–mars) et été (avril–septembre). La SSWD est définie comme le maximum des deux distances saisonnières, garantissant que les deux saisons sont adéquatement représentées.
• Algorithmes :
  • Recuit Simulé : Un algorithme d'optimisation stochastique qui échange itérativement des années dans un sous-ensemble candidat, acceptant des solutions pires avec une probabilité décroissante pour échapper aux minima locaux.
  • K-Médoides : Regroupe les années et sélectionne le membre le plus central (médoid) de chaque cluster.
  • Recherche Aléatoire Filtrée : Applique des filtres préliminaires peu coûteux (différence de moyenne et distance énergétique) pour rejeter les mauvais candidats avant de calculer la SSWD coûteuse.
• Conception Expérimentale : Trois études de cas ont été menées : (1) 30 années pour les Pays-Bas, (2) 30 années pour l'Europe, et (3) 5 années pour l'Europe. Chaque méthode a été exécutée 25 fois pour évaluer la cohérence à l'aide de facteurs de « chance » et de « fragilité ».

Résultats Clés
Dans les trois études de cas, le Recuit Simulé a systématiquement produit les sous-ensembles les plus représentatifs :

• Performance : Le RS a obtenu les scores SSWD les plus bas dans tous les cas. Dans le cas européen de 30 années, le sous-ensemble RS était environ 2,5 à 3,5 fois plus représentatif que la pratique actuelle du RTE (ERAA25), bien que cette dernière utilise 36 années contre 30 pour le RS.
• Taille d'Échantillon Effective : Les sous-ensembles sélectionnés par le RS ont atteint une « taille d'échantillon effective » quatre à cinq fois supérieure à leur taille réelle. Par exemple, le meilleur sous-ensemble RS de 30 années pour les Pays-Bas était statistiquement équivalent à un tirage aléatoire médian de 140 années.
• Cohérence : Le RS a démontré de faibles facteurs de « chance » et de « fragilité », indiquant une performance stable indépendamment des conditions initiales. En revanche, la Recherche Aléatoire Filtrée a bien performé dans des scénarios de tirage unique mais s'est dégradée de manière significative dans les cas de haute dimension (européens), souvent en performant moins bien qu'une recherche aléatoire simple en raison d'un pré-filtrage trop restrictif.
• Comparaison : K-Médoides s'est classé systématiquement deuxième mais n'a pas optimisé directement la représentativité de la distribution conjointe de la même manière que le RS.

Signification et Revendications
L'article revendique que l'approche RS+SSWD proposée comble le fossé entre la science du climat (grands ensembles) et la modélisation des systèmes énergétiques (petits sous-ensembles) en fournissant une méthode validée, agnostique de l'application, pour la sélection d'années climatiques.

• Quantification Objective : L'étude soutient que la représentativité doit être quantifiée et optimisée objectivement plutôt que de reposer sur la convention ou des tirages aléatoires non validés.
• Robustesse : En optimisant l'ensemble de données d'entrée avant le traitement spécifique à l'énergie (une approche ascendante), la méthode garantit que les données sources entrant dans toute étude énergétique sont validées pour la variabilité climatique. Cela empêche les modèles en aval d'être biaisés par des points de départ non représentatifs.
• Applicabilité Générale : La méthodologie n'est pas limitée à la modélisation des systèmes énergétiques ; elle est applicable à tout domaine nécessitant la sélection de périodes complètes représentatives à partir de grands ensembles de données, y compris les évaluations de rendement éolien, les simulations énergétiques du bâtiment, les études hydrologiques et la modélisation des impacts agricoles.
• Recommandations Pratiques : Les auteurs recommandent d'utiliser le Recuit Simulé avec la métrique SSWD, d'exécuter plusieurs itérations pour garantir une quasi-optimalité, et de définir les années climatiques comme des années hydrologiques (1er avril – 31 mars) pour préserver les événements de stress liés à l'adéquation des ressources hivernales.

L'étude conclut que bien que le RS ne garantisse pas un optimum global (en raison de l'impossibilité d'une évaluation par force brute), sa performance cohérente sur plusieurs exécutions et sa capacité à surpasser significativement les pratiques industrielles actuelles en font une norme supérieure pour la sélection d'années climatiques représentatives.