Regression Models Meet Foundation Models: A Hybrid-AI Approach to Practical Electricity Price Forecasting

Ce papier propose FutureBoosting, une approche hybride innovante qui améliore la prévision des prix de l'électricité en intégrant les prédictions de modèles fondation temporels figés dans un modèle de régression, surpassant ainsi les méthodes actuelles avec une réduction de l'erreur moyenne absolue de plus de 30 %.

L'essentiel

🌩️ Le Problème : Prévoir le prix de l'électricité, c'est comme prédire le temps dans une tempête

Imaginez que vous devez prédire le prix de l'électricité pour demain. C'est un défi fou ! Les prix ne sont pas stables comme une rivière calme ; ils sont comme une mer en furie : ils montent et descendent brutalement, souvent de manière imprévisible (quand il y a une vague de froid ou un pic de demande).

Jusqu'à présent, il y avait deux écoles de pensée pour faire ces prédictions, et chacune avait ses défauts :

1. Les "Super-Prévisionneurs" (Les Modèles Fondation) : Imaginez un chef étoilé qui a goûté à des millions de plats différents. Il connaît par cœur les tendances générales de la cuisine (le temps qu'il fait, les saisons). Il est excellent pour deviner la suite d'une mélodie. Mais, dans le cas de l'électricité, il oublie parfois les détails spécifiques du marché local (comme une panne soudaine sur une ligne ou un changement de loi). Il est trop "généraliste".
2. Les "Analystes de Données" (Les Modèles de Régression) : Ce sont des experts du marché local. Ils connaissent parfaitement les règles du jeu, les contrats, et comment les variables (vent, soleil, consommation) interagissent entre elles. Mais, ils sont aveugles au futur : ils ne peuvent utiliser que les informations qu'ils ont maintenant. Ils ne peuvent pas deviner ce qui va arriver dans une heure s'ils n'ont pas de données pour le futur.

💡 La Solution : "FutureBoosting" (Le Duo Gagnant)

Les auteurs de ce papier (de l'Université Tsinghua et d'une entreprise chinoise) ont eu une idée géniale : pourquoi ne pas marier ces deux experts ?

Ils ont créé une méthode appelée FutureBoosting. Voici comment cela fonctionne, avec une analogie simple :

1. L'Étape 1 : Le Chef Étoilé fait une "Devine" (La Phase de Prévision)

D'abord, on utilise le "Super-Prévisionneur" (le modèle fondation, ou Foundation Model). Son rôle n'est pas de donner le prix final, mais de deviner les ingrédients manquants.

• Exemple : Il regarde l'histoire et dit : "Selon les tendances, il va y avoir beaucoup de vent demain à 14h, et la consommation va augmenter."
• Même si on n'a pas encore les données officielles de demain, le chef nous donne une estimation intelligente de ce qui va se passer.

2. L'Étape 2 : L'Analyste Local prend le relais (La Phase de Régression)

Ensuite, on prend ces "devinettes" du chef et on les donne à l'Analyste Local (un modèle de régression simple et rapide).

• L'Analyste dit : "Ah, super ! Le chef pense qu'il y aura du vent. Je sais que quand il y a du vent + un certain type de contrat + la météo actuelle, le prix va chuter de 20%."
• L'Analyste combine les prévisions du chef (le futur) avec les données réelles qu'il a déjà (le présent) pour calculer le prix exact.

🚀 Pourquoi c'est génial ?

• C'est léger et rapide : On n'a pas besoin de réentraîner le "Super-Prévisionneur" (ce qui coûte très cher en énergie et en temps). On l'utilise tel quel, comme un outil prêt à l'emploi.
• C'est précis : En ajoutant les "devinettes" du futur dans le calcul, l'Analyste Local ne devine plus à l'aveugle. Il voit plus loin.
• Résultats concrets : Sur les marchés réels (comme en Chine, en France et en Allemagne), cette méthode a réduit les erreurs de prévision de plus de 30 % par rapport aux meilleures méthodes actuelles. C'est énorme ! Imaginez économiser des millions d'euros en évitant de mauvais paris sur le marché.

🛠️ En résumé

Imaginez que vous devez naviguer en mer :

• Le Modèle Fondation est votre GPS qui vous dit où sont les courants marins globaux.
• Le Modèle de Régression est votre capitaine qui connaît votre bateau et les règles locales.
• FutureBoosting, c'est le capitaine qui écoute le GPS pour anticiper les vagues avant même de les voir, et qui ajuste sa voile en conséquence.

C'est une approche hybride qui rend l'intelligence artificielle non seulement plus intelligente, mais aussi plus utile pour les décisions quotidiennes dans le monde réel.

Résumé technique

1. Problématique et Contexte

La prévision des prix de l'électricité (EPF) est un défi majeur en raison de la volatilité extrême, de la non-linéarité et de la non-stationnarité des marchés énergétiques. Les auteurs identifient deux approches dominantes, chacune présentant des limites spécifiques dans ce contexte :

• Les modèles de base temporels (TSFMs - Time Series Foundation Models) : Comme Chronos, Timer-XL ou Moirai, ils excellent à capturer les dépendances temporelles grâce à un pré-entraînement à grande échelle. Cependant, ils sous-utilisent souvent les corrélations inter-variables et les motifs non périodiques essentiels à la prévision des prix. De plus, leurs performances sur les benchmarks publics ne se traduisent pas toujours par des résultats réels face aux distributions lourdes (heavy-tailed) et aux événements extrêmes des marchés de l'électricité.
• Les modèles de régression (ex: Gradient Boosting) : Ils excellent à capturer les interactions complexes entre les variables exogènes (météo, charge, offre/demande) mais sont limités par le fait qu'ils ne peuvent utiliser que des données disponibles au moment de la prévision. Ils ignorent souvent les drivers futurs incertains (comme la charge système future ou la production renouvelable) qui ne sont pas encore observés.

L'objectif est de combiner la force des TSFMs pour la modélisation temporelle avec la capacité des modèles de régression à gérer les interactions de variables spécifiques au domaine.

2. Méthodologie : Le Paradigme « FutureBoosting »

Les auteurs proposent FutureBoosting, un nouveau paradigme hybride en deux étapes qui décompose la prévision temporelle de la modélisation des corrélations inter-variables.

Étape 1 : Génération de caractéristiques futures (Forecasting)

• Un modèle de base temporel (TSFM) pré-entraîné et figé (frozen) est utilisé en mode « zero-shot » pour prédire des variables futures incertaines ou non disponibles au moment de la prévision (ex: charge système, production renouvelable).
• Ces prédictions, notées $\hat{X}_{forecast}$, servent de caractéristiques augmentées. Elles encapsulent les motifs temporels historiques et fournissent des attentes sur les drivers futurs de l'offre et de la demande.

Étape 2 : Régression sur espace enrichi (Regressing)

• Un ensemble de caractéristiques enrichi ($F$) est construit en concaténant :
  1. Les prédictions futures générées par le TSFM ($\hat{X}_{forecast}$).
  2. Les variables exogènes futures disponibles (météo, plans de production connus).
  3. Des facteurs construits guidés par la connaissance du domaine (ex: « espace d'enchère thermique », « ratio renouvelable »).
• Un modèle de régression léger et interprétable (dans l'article, LightGBM) est entraîné sur cet ensemble enrichi pour prédire le prix final (jour-ahead ou temps réel).
• Avantage clé : Cette approche permet au modèle de régression d'apprendre des relations complexes entre les attentes futures (fournies par le TSFM) et le prix, sans avoir besoin de fine-tuner le modèle de base coûteux.

3. Contributions Clés

1. Paradigme Innovant : Introduction de FutureBoosting, qui comble le fossé entre la modélisation auto-régressive (TSFM) et la régression multivariée, en utilisant les prédictions de TSFM comme entrées pour un modèle de régression.
2. Cadre Léger et Plug-and-Play : Développement d'un framework flexible compatible avec divers TSFMs (TimerXL, Chronos2, etc.) et modèles de régression, ne nécessitant pas de fine-tuning coûteux des grands modèles.
3. Validation Empirique Rigoureuse : Tests exhaustifs sur des données réelles du marché de l'électricité de la province du Shanxi (Chine) et sur le benchmark public RealE (France, Allemagne).
4. Interprétabilité : Utilisation de techniques d'IA explicable (XAI, valeurs de Shapley) pour valider la contribution des caractéristiques prédites et expliquer les décisions du modèle, crucial pour les acteurs du marché.

4. Résultats Expérimentaux

Les évaluations montrent que FutureBoosting surpasse systématiquement les modèles de base (TSFMs seuls) et les modèles de régression traditionnels.

• Performance sur le marché du Shanxi (Chine) :
  • Par rapport aux TSFMs en mode zero-shot, FutureBoosting réduit l'erreur quadratique moyenne (MSE) de 45,43 % pour les prix jour-ahead et de 39,27 % pour les prix temps réel.
  • Par rapport aux modèles de régression standards (LightGBM sans features TSFM), il améliore encore les résultats de 1,80 % à 6,17 % (MSE), prouvant que l'ajout de prédictions futures est bénéfique même pour les modèles de régression.
  • La combinaison TimerXL + FutureBoosting obtient les meilleurs résultats globaux.
• Performance sur RealE (Europe) :
  • Même si les TSFMs seuls performaient mieux que la régression simple sur ces données, FutureBoosting a apporté des gains supplémentaires significatifs (réduction MSE de 16,92 % à 36,52 % par rapport aux TSFMs seuls).
• Efficacité Computationnelle :
  • FutureBoosting est nettement plus efficace que le fine-tuning (LoRA) des TSFMs. Il nécessite moins de mémoire GPU et un temps d'inférence bien inférieur (environ 150 secondes par fenêtre mensuelle contre plusieurs heures pour le fine-tuning), tout en offrant une précision comparable ou supérieure.
• Gestion des Régimes Extrêmes :
  • Les analyses de cas montrent que le modèle corrige efficacement les biais des TSFMs lors de pics de prix (sur-estimation) ou de creux profonds (sous-estimation), grâce à l'ajustement par le régresseur basé sur les facteurs d'offre/demande.

5. Signification et Impact

Ce travail démontre que pour des applications industrielles critiques comme la prévision des prix de l'électricité, l'approche « tout fondation » n'est pas toujours optimale.

• Solution Pragmatique : FutureBoosting offre une solution robuste, interprétable et économiquement viable pour les participants au marché (traders, gestionnaires de réseau).
• Généralité : Le cadre suggère une voie générale pour améliorer les modèles de régression dans divers domaines en y injectant du contexte temporel via des modèles de base pré-entraînés.
• Déploiement Réel : Le système a déjà été déployé sur un serveur IoT privé (Xingzhixun) pour une évaluation en ligne, validant son utilité opérationnelle dans un environnement de trading réel.

En résumé, l'article propose une fusion élégante entre la puissance de généralisation des grands modèles de fondation et la précision contextuelle des modèles de régression classiques, résolvant le problème de l'insuffisance d'information au moment de la prévision dans les marchés énergétiques volatils.