Regime-Aware Conditional Neural Processes with Multi-Criteria Decision Support for Operational Electricity Price Forecasting

Cette étude propose un modèle de prévision des prix de l'électricité en Allemagne combinant la détection de régimes bayésienne et des processus neuronaux conditionnels, démontrant via une évaluation multicritère (TOPSIS) que cette approche offre une solution plus équilibrée et performante pour l'optimisation opérationnelle que les modèles d'apprentissage profond ou linéaires sur la période 2021-2023.

L'essentiel

🌩️ Le Problème : L'Électricité, c'est comme la Météo qui change du jour au lendemain

Imaginez que vous devez gérer une batterie (comme une énorme batterie de voiture électrique) pour gagner de l'argent en achetant de l'électricité quand elle est bon marché et en la revendant quand elle est chère.

Le problème, c'est que le prix de l'électricité en Allemagne est très imprévisible. Pourquoi ? Parce qu'il dépend du vent et du soleil.

• S'il y a beaucoup de vent, l'électricité est abondante et pas chère.
• S'il n'y a pas de vent, il faut utiliser des centrales à gaz ou à charbon, et le prix explose.

Les modèles de prévision classiques sont comme des météorologues qui utilisent une seule règle pour toute l'année. Ils disent : "En moyenne, il pleut 10 jours par mois". Mais ça ne vous aide pas si demain il y a une tempête soudaine ou un grand soleil. Ils ne comprennent pas que le "monde" change de comportement (ce qu'on appelle des régimes).

🧠 La Solution : Le "Chef d'Orchestre" et ses Musiciens

Les auteurs de ce papier ont créé un système intelligent qu'ils appellent R-NP. Pour le comprendre, imaginez un chef d'orchestre très spécial :

1. Le Détecteur de Régime (Le Chef d'Orchestre) :
   Au lieu d'essayer de prédire le prix avec une seule formule, le système regarde d'abord : "Quel genre de journée est-ce aujourd'hui ?".

   • Est-ce une journée calme et stable ? (Régime 1)
   • Est-ce une journée de tempête avec des prix qui explosent ? (Régime 2)
   • Est-ce une journée de prix négatifs (on vous paie pour consommer) ? (Régime 3)

   Ce détecteur utilise une méthode mathématique complexe (DS-HDP-HMM) pour deviner automatiquement ce "temps" sans qu'on lui dise à l'avance combien de types de temps il existe. C'est comme si le chef d'orchestre écoutait la musique et décidait instantanément : "Aujourd'hui, on joue du jazz, pas de la musique classique".

2. Les Prévisionnistes Spécialisés (Les Musiciens) :
   Une fois le "régime" identifié, le système active un prévisionniste spécialisé dans ce type de journée.

   • Si c'est une journée calme, il utilise un expert du calme.
   • Si c'est une journée de tempête, il utilise un expert des tempêtes.

   Ces experts sont des réseaux de neurones (des intelligences artificielles) qui apprennent spécifiquement comment se comportent les prix dans leur situation. Ils ne mélangent pas les choses.

3. Le Mélange Intelligent :
   Le système combine les prévisions de tous ces experts en fonction de la probabilité que le "temps" change. C'est comme si le chef d'orchestre disait : "À 80%, on reste dans le calme, mais à 20%, une tempête arrive, donc préparons-nous".

🎯 L'Objectif : Ce n'est pas juste de "deviner juste", c'est de "bien agir"

C'est ici que le papier devient vraiment intéressant. Souvent, on pense que le meilleur modèle de prévision est celui qui a l'erreur la plus faible (le prix prédit est le plus proche du prix réel).

Mais les auteurs disent : "Pas si vite !".

Imaginez deux prévisionnistes :

• Le Prévisionniste A dit : "Demain, le prix sera de 100€". Le prix réel est de 102€. (Erreur de 2€).
• Le Prévisionniste B dit : "Demain, le prix sera de 50€ ou de 150€". Le prix réel est de 150€. (Erreur moyenne plus grande).

Si vous êtes un gestionnaire de batterie, le Prévisionniste B est peut-être plus utile ! Pourquoi ? Parce qu'il vous a dit : "Attention, ça va monter haut !". Vous avez donc acheté votre batterie à 50€ et vendu à 150€. Vous avez gagné de l'argent. Le Prévisionniste A, trop lisse, ne vous a pas alerté sur le pic de prix.

L'analogie du jeu d'échecs :
Parfois, un coup qui semble "imparfait" sur le papier (une prévision moyenne) mène à une victoire parce qu'il vous a permis d'éviter un piège. L'important n'est pas la précision du chiffre, mais la qualité de la décision qu'il vous permet de prendre.

🏆 Le Grand Test : Qui gagne vraiment ?

Pour savoir qui est le meilleur, les auteurs ont joué à plusieurs jeux (stratégies) avec une batterie virtuelle :

1. Arbitrage : Acheter bas, vendre haut.
2. Gestion des risques : Éviter de perdre de l'argent si le prix est imprévisible.
3. Aide au réseau : Aider à stocker l'énergie solaire quand il y en a trop.
4. Réduction des coûts : Payer le moins possible pour alimenter une maison.

Ils ont comparé leur système (R-NP) avec deux autres méthodes classiques (DNN et LEAR).

Le verdict surprise :

• Parfois, la méthode classique (LEAR) gagnait plus d'argent brut.
• Parfois, l'autre méthode (DNN) était meilleure pour éviter les coûts.
• Mais, quand on regarde l'ensemble du tableau (précision + argent gagné + risque évité + stabilité), le système R-NP (le chef d'orchestre) s'est révélé être le plus équilibré et le plus fiable sur les années 2022 et 2023.

💡 En résumé

Ce papier nous apprend que pour gérer l'électricité de demain (avec beaucoup de vent et de soleil), on ne peut pas utiliser une seule "recette de cuisine". Il faut un système capable de :

1. Reconnaître instantanément le type de marché (calme, tempête, crise).
2. Utiliser l'expert adapté à ce moment précis.
3. Prendre des décisions qui ne visent pas seulement à être "juste" mathématiquement, mais à être rentables et sûres dans la vraie vie.

C'est comme passer d'un GPS qui vous dit "Tournez à droite" (prévision simple) à un copilote qui vous dit "Attention, il y a du brouillard, ralentissons et prenons l'itinéraire B pour arriver à l'heure sans accident" (prévision intelligente et opérationnelle).

Résumé technique

1. Problématique et Contexte

Le marché de l'électricité, en particulier en Allemagne, subit une transformation structurelle majeure due à l'intégration croissante des énergies renouvelables (éolien, solaire). Cette transition introduit une non-stationnarité et une non-linéarité accrues dans les prix de l'électricité, caractérisées par des changements de régimes (volatilité extrême, pics de prix, prix négatifs) difficiles à modéliser avec des approches traditionnelles.

Le défi central réside dans le fait que la précision brute de la prévision (erreur quadratique moyenne, etc.) ne se traduit pas toujours par une performance opérationnelle optimale pour les acteurs du marché, notamment pour les systèmes de stockage par batterie (BESS). Une prévision légèrement moins précise mais mieux calibrée sur les points de décision critiques (pics de prix) peut générer plus de profits qu'une prévision globalement plus précise mais lissée. Il est donc nécessaire d'évaluer les modèles non seulement sur leur exactitude statistique, mais aussi sur leur capacité à soutenir des stratégies d'optimisation complexes (arbitrage, gestion des risques, services réseau).

2. Méthodologie Proposée

Les auteurs proposent un cadre hybride appelé R-NP (Regime-Aware Neural Processes), combinant détection de régimes bayésienne et processus neuronaux conditionnels.

A. Détection de Régimes : DS-HDP-HMM

Pour gérer la non-stationnarité, le modèle utilise un Modèle de Markov Caché Hiérarchique à Processus de Dirichlet Désenchevêtré et "Sticky" (Disentangled Sticky Hierarchical Dirichlet Process Hidden Markov Model - DS-HDP-HMM).

• Fonctionnement : Contrairement aux modèles à nombre de régimes fixe, le DS-HDP-HMM apprend automatiquement le nombre de régimes à partir des données.
• Avantages clés :
  • Non-paramétrique : Le nombre d'états cachés (régimes) évolue dynamiquement.
  • Persistance ("Sticky") : Le modèle favorise le maintien d'un régime sur plusieurs périodes, évitant les changements d'état trop fréquents et non réalistes.
  • Désenchevêtrement (Disentangled) : Il sépare la probabilité de persistance d'un régime de la diversité des transitions, permettant une meilleure interprétabilité et un ajustement fin des dynamiques de marché.
• Application : Le modèle segmente les séries temporelles de prix historiques en régimes latents (ex: marché stable, marché de pointe, marché de crise).

B. Prévision par Régime : Conditional Neural Processes (CNP)

Une fois les régimes identifiés, un Processus Neuronale Conditionnel (CNP) distinct est entraîné pour chaque régime.

• Apprentissage : Chaque CNP apprend une distribution de probabilité conditionnelle $P(\text{Prix} | \text{Contexte}, \text{Régime})$.
• Avantages :
  • Spécialisation : Chaque modèle capture les dynamiques spécifiques à son régime, évitant le problème de "moyennage de modes" (mode averaging) des réseaux de neurones globaux.
  • Quantification de l'incertitude : Les CNP fournissent naturellement des intervalles de confiance et des variances prédictives, essentiels pour la gestion des risques.
• Agrégation : Les prévisions finales sont obtenues par un mélange pondéré des sorties de chaque CNP, où les poids sont déterminés par la probabilité postérieure d'appartenance au régime (estimée via un classifieur MLP).

C. Évaluation Opérationnelle et MCDM

Au lieu de se limiter aux métriques d'erreur (RMSE, MAE), les auteurs intègrent les prévisions dans des frameworks d'optimisation de batteries pour simuler quatre stratégies opérationnelles :

1. Arbitrage de prix (maximisation du profit).
2. Arbitrage avec aversion au risque (pénalisation de l'incertitude).
3. Stratégie intégrant la production solaire et la charge (services réseau).
4. Minimisation des coûts pour une charge fixe.

Pour comparer les modèles (R-NP vs DNN vs LEAR) sur ces multiples critères souvent contradictoires, ils utilisent la méthode TOPSIS (Technique for Order Preference by Similarity to Ideal Solution). Cette approche multi-critères (MCDM) agrège la précision de prévision, l'erreur de profit réel et la minimisation des coûts en un score composite unique.

3. Contributions Clés

1. Architecture Hybride Innovante : Combinaison du DS-HDP-HMM pour la détection non supervisée de régimes complexes et des CNP pour la prévision probabiliste spécifique à chaque régime.
2. Approche "Regime-Aware" : Le modèle ne traite pas les données comme une série stationnaire globale, mais s'adapte dynamiquement aux changements structurels du marché.
3. Évaluation par TOPSIS : Démonstration que la précision brute n'est pas le seul indicateur de performance. L'utilisation de TOPSIS permet d'identifier le modèle offrant le meilleur compromis entre précision statistique et utilité opérationnelle réelle.
4. Quantification de l'Incertitude : Intégration native de l'incertitude prédictive dans les stratégies d'optimisation, permettant des décisions plus robustes face à la volatilité.

4. Résultats Expérimentaux

L'étude a été menée sur les données du marché allemand de 2021 à 2023, comparant le R-NP à un réseau de neurones profond (DNN) et un modèle autorégressif estimé par Lasso (LEAR).

• Précision de Prévision :
  • En 2023 (année à haute variance), le R-NP a obtenu les erreurs les plus faibles (MAE et RMSE), surpassant significativement LEAR et dépassant légèrement DNN.
  • En 2021 (année stable), DNN a légèrement mieux performé sur les erreurs relatives (MAPE), suggérant que la régularisation du R-NP peut être excessive dans des régimes très stables.
  • Le R-NP a démontré une meilleure calibration des intervalles de confiance (PICP) et une quantification de l'incertitude supérieure, là où DNN et LEAR sont déterministes.
• Performance Opérationnelle (Batteries) :
  • LEAR a souvent généré les profits absolus les plus élevés ou les coûts les plus bas dans certaines configurations, probablement parce que ses erreurs se produisaient sur des périodes moins critiques ou qu'il était plus robuste aux pics.
  • DNN a montré une excellente performance dans des contextes spécifiques de minimisation des coûts (notamment en 2022).
  • R-NP a offert une performance équilibrée, évitant les échecs catastrophiques grâce à sa gestion de l'incertitude.
• Résultats TOPSIS :
  • Bien que LEAR ait été classé premier en 2021, le R-NP a émergé comme la solution la plus préférée et la plus équilibrée pour les années 2022 et 2023.
  • Le R-NP a obtenu les scores TOPSIS les plus élevés, indiquant qu'il est le modèle le plus robuste pour naviguer dans des conditions de marché changeantes et complexes.

5. Signification et Impact

Ce travail démontre que pour les marchés de l'électricité modernes, la modélisation explicite des régimes de marché est cruciale. L'approche proposée comble le fossé entre la prévision statistique et la prise de décision opérationnelle.

• Pour les opérateurs de réseau et les gestionnaires de batteries : Le modèle R-NP offre un outil fiable pour maximiser la rentabilité tout en gérant les risques liés à la volatilité des prix renouvelables.
• Pour la recherche : L'article valide l'efficacité des méthodes d'apprentissage automatique bayésiennes non paramétriques couplées à des processus neuronaux pour des séries temporelles non stationnaires.
• Méthodologique : L'utilisation de TOPSIS comme couche d'évaluation finale est présentée comme une norme nécessaire pour sélectionner des modèles de prévision dans des applications industrielles où les objectifs sont multiples et conflictuels.

En conclusion, le modèle R-NP ne se contente pas de prédire le prix ; il fournit une base décisionnelle robuste permettant d'optimiser les stratégies de stockage d'énergie dans un environnement énergétique en transition rapide.