Stealing Accuracy: Predicting Day-ahead Electricity Prices with Temporal Hierarchy Forecasting (THieF)

Each language version is independently generated for its own context, not a direct translation.

🌩️ Le Grand Jeu de la Prévision Électrique : Comment "Réconcilier" les Prédictions

Imaginez que vous devez prédire le prix de l'électricité pour le lendemain. C'est un peu comme essayer de deviner le prix du pain dans une boulangerie géante, mais où le prix change toutes les heures, et où il y a des tempêtes, des pannes et des fêtes qui bouleversent tout.

Dans cette étude, les chercheurs (Arkadiusz Lipiecki et son équipe) ont découvert une astuce géniale pour faire de meilleures prévisions. Ils l'appellent THieF (Temporal Hierarchy Forecasting), mais pour faire simple, appelons-le "La Méthode du Puzzle".

1. Le Problème : Des Prédictions qui ne vont pas ensemble

Jusqu'à présent, les experts faisaient deux choses séparées :

Ils prévoyaient le prix pour chaque heure de la journée (24 prédictions différentes).
Ils prévoyaient le prix pour des blocs de temps (par exemple, le prix moyen de la matinée, ou le prix moyen de toute la journée).

Le problème ? Souvent, ces prédictions ne s'additionnaient pas. Si vous preniez la moyenne de vos 24 prédictions d'heures, cela ne correspondait pas à votre prédiction pour la journée entière. C'est comme si vous disiez : "Il va faire 10°C à 8h, 12°C à 9h... mais la moyenne de la journée sera de 20°C". C'est mathématiquement impossible ! Cela crée de la confusion pour les traders et les gestionnaires d'énergie.

2. La Solution : La "Réconciliation" (Le Chef d'Orchestre)

Les chercheurs ont introduit une étape magique appelée réconciliation.

Imaginez un chef d'orchestre (le système THieF) qui écoute tous les musiciens (les prédictions d'heures et de blocs).

Les musiciens jouent chacun leur partition (leurs prédictions).
Parfois, un violon joue un peu trop fort, ou un tambour un peu trop bas.
Le chef d'orchestre ajuste légèrement chaque instrument pour que l'ensemble soit cohérent.

Grâce à cette étape, la prévision pour la journée entière devient la vraie moyenne des 24 heures, et les prévisions pour les blocs de 4 heures s'alignent parfaitement avec les heures individuelles.

3. L'Analogie de la Tempête et du Phare

Pourquoi ça marche si bien ?
Imaginez que vous essayez de voir à travers une tempête de neige.

Si vous regardez juste une seconde (une heure), la neige peut vous aveugler et vous faire voir des choses qui ne sont pas là (du bruit).
Si vous regardez sur une heure entière (un bloc), la neige se calme un peu, et vous voyez mieux la direction du vent.
Si vous regardez sur toute la journée, vous voyez le grand paysage, mais vous manquez les détails.

La méthode THieF combine ces trois vues. Elle utilise la vision large (la journée) pour corriger les erreurs de la vision étroite (l'heure), et vice-versa. C'est comme avoir un phare qui guide un bateau à travers la brume : le phare voit la côte lointaine (la tendance globale) et aide le capitaine à ajuster sa route minute par minute.

4. Les Résultats : Une Victoire à Tous les Niveaux

Les chercheurs ont testé cette méthode sur les marchés de l'électricité en Allemagne et en Espagne pendant 4 ans (une période très difficile avec la pandémie et la guerre en Ukraine).

Ils ont utilisé 4 types de "cerveaux" différents pour faire les prévisions :

Un cerveau simple (régression linéaire).
Un cerveau un peu plus complexe (réseau de neurones).
Un cerveau très puissant (arbres de décision).
Un cerveau ultra-moderne (une intelligence artificielle de type "Transformer", comme ceux qui font fonctionner les chatbots).

Le résultat est bluffant :
Peu importe le cerveau utilisé, la méthode THieF a toujours amélioré la précision.

Pour les heures individuelles, la précision a augmenté de 5,5 %.
Pour les blocs de toute la journée (ce qui est crucial pour les gros contrats), la précision a bondi de 13 %.

C'est énorme ! Dans le monde de l'électricité, 13 % de plus de précision, c'est des millions d'euros économisés ou gagnés.

5. Pourquoi est-ce important pour nous ?

L'électricité devient de plus en plus complexe. On ne vend plus seulement de l'électricité "par heure", mais par blocs de temps (matin, après-midi, nuit).

Avant : On jouait avec des pièces de puzzle qui ne s'assemblaient pas bien.
Maintenant : Avec THieF, le puzzle est parfait.

De plus, cette méthode n'est pas coûteuse à mettre en place. C'est comme ajouter un petit filtre à votre caméra : ça ne prend pas beaucoup de temps de calcul, mais ça rend l'image beaucoup plus nette.

En résumé

Cette étude nous dit : "Ne regardez pas seulement l'heure, regardez aussi la journée, et faites-les travailler ensemble !"

En utilisant cette méthode de "réconciliation", les prévisions deviennent plus fiables, plus cohérentes et beaucoup plus précises, peu importe la technologie utilisée pour les générer. C'est une victoire pour la stabilité du marché de l'électricité et pour notre portefeuille ! ⚡🧩📈

Each language version is independently generated for its own context, not a direct translation.

Voici un résumé technique détaillé de l'article scientifique « Stealing accuracy: Predicting day-ahead electricity prices with temporal hierarchy forecasting (THieF) » (Voler de la précision : Prédiction des prix de l'électricité à un jour avec l'approche de prévision hiérarchique temporelle), rédigé en français.

1. Problématique et Contexte

La prise de décision opérationnelle sur les marchés de l'électricité nécessite des prévisions à court terme à différents niveaux de granularité (par exemple, des prix horaires, des blocs de 2 à 24 heures, et des prix de base/jour).

Le défi : Les modèles prédictifs développés pour différents niveaux temporels (heures vs jours) utilisent souvent des ensembles d'informations différents et peuvent produire des prévisions incohérentes entre elles (par exemple, la somme des prévisions horaires ne correspond pas au prix moyen journalier). Cette incohérence peut mener à des décisions sous-optimales.
Le manque de recherche : Bien que la réconciliation de prévisions (forecast reconciliation) et la prévision hiérarchique temporelle (THieF) aient gagné en popularité dans d'autres domaines (charge électrique, énergie renouvelable), elles n'avaient jamais été appliquées systématiquement à la prévision des prix de l'électricité (EPF), un domaine caractérisé par une volatilité extrême et des dynamiques complexes.

2. Méthodologie : L'approche THieF

Les auteurs introduisent l'application de la Prévision Hiérarchique Temporelle (THieF) aux prix de l'électricité. La méthode se déroule en trois étapes :

Agrégation Temporelle : Construction de séries temporelles agrégées non chevauchantes à partir des données horaires ( $m=24$ ). Les niveaux de hiérarchie sont définis par les diviseurs de 24 (1h, 2h, 3h, 4h, 6h, 8h, 12h, 24h/baseload).
Prévision de Base : Génération de prévisions indépendantes pour chaque niveau de la hiérarchie (24 heures, 12 blocs de 2h, etc.) en utilisant quatre classes de modèles distincts.
Réconciliation : Combinaison des prévisions de base pour obtenir des prévisions cohérentes à tous les niveaux. Cela est réalisé via une matrice de sommation ( $S$ $S$ ) et une estimation des poids de combinaison basée sur la matrice de covariance des erreurs de prévision ( $W$ $W$ ).
- Note technique : L'article utilise des estimateurs de covariance régularisés (modèle de corrélation constante de Ledoit et Wolf) pour gérer le fait que le nombre de paramètres à estimer (1800) dépasse la taille de l'échantillon d'entraînement.

Modèles de Base Comparés

L'étude évalue la robustesse de THieF sur une gamme de modèles, allant des plus simples aux plus complexes :

ARX (AutoRegression with eXogenous inputs) : Régression linéaire classique avec variables exogènes (prix passés, charge, vent, prix du charbon/gaz).
NARX (Nonlinear ARX) : Réseaux de neurones feedforward peu profonds (5 neurones) avec architecture série-parallèle, utilisés en comité (moyenne de 10 réseaux).
XGB (Extreme Gradient Boosting) : Ensemble d'arbres de décision (Gradient Boosting) avec optimisation bayésienne des hyperparamètres.
Mitra (Transformer) : Un modèle fondation (foundation model) pré-entraîné par Amazon (AutoGluon), basé sur une architecture Transformer de 12 couches et 72 millions de paramètres. C'est la première application d'un tel modèle pour l'EPF et la hiérarchie temporelle, utilisé en mode "zero-shot" (sans ajustement des paramètres).

3. Données et Expérimentation

Marchés : Deux marchés européens majeurs : l'Allemagne (EPEX-DE) et l'Espagne (OMIE).
Période : Une période de test de 4 ans (2021-2024), couvrant des événements critiques tels que la pandémie de COVID-19, l'invasion de l'Ukraine, la crise énergétique et des pics de prix extrêmes (y compris des prix négatifs en Allemagne).
Données : Prix jour-ahead, prévisions de charge et d'éolien, ainsi que les prix futurs du charbon (API2) et du gaz (TTF).

4. Résultats Clés

Les résultats sont présentés dans le Tableau 1 et la Figure 4 de l'article.

Amélioration de la Précision : La réconciliation améliore significativement la précision (mesurée par l'Erreur Absolue Moyenne - MAE et la Racine de l'Erreur Quadratique Moyenne - RMSE) pour tous les modèles et tous les niveaux de hiérarchie.
- Gain maximal : Jusqu'à 13,4 % d'amélioration pour les prix de base (24h) et jusqu'à 5,5 % pour les prix horaires.
- Tendance : Les gains augmentent généralement avec la taille du bloc (les blocs plus longs bénéficient davantage de la réconciliation).
Robustesse des Modèles :
- Les gains sont observés aussi bien pour les modèles linéaires simples (ARX) que pour le modèle Transformer complexe (Mitra).
- Le modèle XGB obtient les meilleurs gains relatifs (moyenne de 6,7 % en MAE sur le marché allemand).
Significativité Statistique : Selon le test de Diebold-Mariano multivarié, les prévisions réconciliées sont statistiquement supérieures aux prévisions non réconciliées (significatif au niveau 1 % pour la plupart des cas, et 5 % pour quelques cas isolés).
Performance par Marché : Les gains sont généralement plus élevés sur le marché allemand (plus volatil) que sur le marché espagnol, bien que l'amélioration soit systématique dans les deux cas.
Coût Computationsnel : Le coût de la réconciliation est négligeable. L'augmentation globale du temps de calcul est d'environ 2,5 fois celle d'une prévision horaire standard, ce qui reste acceptable pour une application quotidienne.

5. Contributions et Signification

Première application à l'EPF : Cette étude comble un vide majeur en appliquant la THieF aux prix de l'électricité, démontrant son efficacité dans un contexte de forte volatilité et de non-stationnarité.
Validation des Modèles Fondations : C'est la première fois qu'un modèle fondation pré-entraîné (Mitra) est utilisé pour l'EPF et intégré dans un cadre hiérarchique, prouvant que même les modèles les plus avancés bénéficient de la réconciliation.
Pertinence Industrielle : Avec la transition des marchés européens vers le trading par intervalles de 15 minutes (96 produits par jour), la complexité du trading augmente. La réconciliation temporelle devient un outil crucial pour assurer la cohérence des décisions de trading sur les blocs de produits.
Conclusion Pratique : Les auteurs recommandent l'adoption de la réconciliation temporelle dans la pratique quotidienne de la prévision des prix de l'électricité, car elle offre un gain de précision substantiel pour un surcoût computationnel minime, indépendamment de l'architecture du modèle sous-jacent.

En résumé, l'article démontre que la réconciliation des prévisions n'est pas seulement une étape de post-traitement théorique, mais un levier pratique puissant pour « voler » de la précision aux modèles, améliorant la fiabilité des décisions sur les marchés de l'énergie.