A Temporal Deep Feature Transfer Hybrid of LSTM and Gradient Boosting Machine for Multi Granularity Smart Grid Electricity Demand Forecasting

Résumé Technique : Un transfert hybride de caractéristiques profondes temporelles d'un LSTM et d'une machine de boosting de gradient pour la prévision de la demande d'électricité des réseaux intelligents à multi-granularité

Énoncé du Problème
Une prévision précise de la demande d'électricité à travers diverses granularités temporelles (quotidiennes et mensuelles) est cruciale pour la gestion efficace des réseaux intelligents, influençant la répartition de la production, la gestion de la transmission et la réponse à la demande. Cependant, les méthodes existantes font face à des défis importants lors de la prédiction de groupes de consommateurs hétérogènes (par exemple, agricoles, commerciaux, industriels, résidentiels, éclairage public).

• Limitations Classiques : Les modèles statistiques traditionnels tels que l'ARIMA, l'Exponential Triple Smoothing (ETS) et la Moyenne Mobile Pondérée (WMA) reposent sur des hypothèses de linéarité et de stationnarité. Ces hypothèses sont fréquemment violées dans les données de réseaux intelligents en raison des comportements non linéaires des consommateurs, des cycles industriels et de l'hétérogénéité au niveau des catégories. L'étude note que ces méthodes produisent des taux d'erreur élevés, avec des valeurs MAPE dépassant 340 % à plus de 550 % dans certains scénarios.
• Limitations de l'Apprentissage Profond : Bien que les réseaux Long Short-Term Memory (LSTM) excellent dans la modélisation temporelle, les approches hybrides standards injectent souvent des caractéristiques brutes ou des sorties scalaires de la dernière couche du LSTM directement dans des régresseurs en aval (comme les machines de boosting de gradient). Cette approche ne parvient pas à exploiter pleinement la richesse des informations temporelles encodées dans les couches intermédiaires du LSTM, conduisant à une précision de régression sous-optimale.

Méthodologie : L'architecture TDF-LSTGBM
Le document propose le TDF-LSTGBM, un nouveau pipeline d'apprentissage supervisé à deux étapes conçu pour découpler l'apprentissage de la représentation temporelle de la régression finale. L'innovation centrale est un mécanisme de Transfert de Caractéristiques Profondes Temporelles (TDF).

1. Étape 1 : Encodeur Temporel LSTM Empilé (Extraction de Caractéristiques)

   • Architecture : Un encodeur LSTM empilé composé de deux couches, chacune dotée de 32 unités cachées et d'un taux de dropout de 0,3.
   • Entraînement : Le modèle est pré-entraîné en utilisant l'optimiseur Adam (taux d'apprentissage de 0,001) sur des données de demande normalisées avec une fonction de perte d'erreur quadratique moyenne (MSE) pendant 300 époques.
   • Extraction TDF : Au lieu d'utiliser la sortie scalaire finale, l'architecture extrait le vecteur d'activation de la couche dense pénultième (un vecteur de 32 dimensions, $\phi_i$). Ce vecteur encapsule les motifs temporels appris, les dépendances saisonnières et la dynamique de la demande.
   • Construction de Séquences : Les données sont traitées à l'aide de fenêtres glissantes ($W=12$ pour le mensuel, $W=7$ pour le quotidien) pour créer des paires entrée-sortie supervisées.

2. Étape 2 : Régresseur de Machine de Boosting de Gradient (GBM)

   • Augmentation de Caractéristiques : Le vecteur de caractéristiques temporelles de 32 dimensions ($\phi_i$) est concaténé avec des variables catégorielles et temporelles exogènes : Catégorie de Consommateur (encodée sous forme d'entiers 0–4), l'Année et l'Indice du Mois. Cela crée un vecteur d'entrée augmenté de 35 dimensions ($z_i$).
   • Régression : Une machine de boosting de gradient (GBM) avec 100 arbres de décision peu profonds (profondeur maximale de 3) et un taux d'apprentissage de 0,1 effectue la régression finale. Le GBM corrige les résidus et exploite l'espace de caractéristiques structuré pour gérer les non-linéarités que le LSTM seul pourrait manquer.

3. Génération de Données et Validation

   • L'étude utilise deux ensembles de données générés via une simulation MATLAB pour représenter la demande réaliste des réseaux intelligents pour cinq catégories de consommateurs.
   • Jeu de Données Quotidien : 2 040 enregistrements par jour.
   • Jeu de Données Mensuel : 1 066 enregistrements par mois.
   • Les données sont divisées de manière chronologique (80/20) pour préserver la causalité temporelle.

Principales Contributions

• Transfert de la Couche Pénultième : La principale nouveauté est l'extraction du vecteur d'activation de la couche pénultième du LSTM comme un vecteur de caractéristiques structuré pour un transfert vers un GBM. Cela diffère des hybrides précédents qui utilisent des entrées brutes ou des sorties scalaires.
• Pipeline à Multi-Granularité : Le cadre gère avec succès les prévisions quotidiennes et mensuelles au sein d'un paradigme architectural unique sans nécessiter de réglage de modèle distinct pour chaque granularité.
• Prévision Conditionnée par Catégorie : Le modèle incorpore explicitement les étiquettes de catégorie de consommateur et les indices temporels, répondant à l'hétérogénéité des modèles de demande à travers différents secteurs (par exemple, agricole vs industriel).
• Projection à Long Terme : L'architecture permet des projections stables sur 5 ans (2026–2031), conditionnées par catégorie, directement applicables à la planification des infrastructures.

Résultats
Le modèle TDF-LSTGBM a été évalué par rapport à cinq bases de référence : ARIMA, WMA, ETS, LSTM Vanille, et un hybride standard LSTM+XGBoost.

• Métriques de Performance :
  • MAPE : Le modèle proposé a atteint un MAPE de 3,64 % pour la prévision quotidienne et de 3,66 % pour la prévision mensuelle.
  • Comparaison : Cela représente une amélioration de 14,2× par rapport à la meilleure base classique (ARIMA, ~51,96 % de MAPE). Il a également surpassé le LSTM Vanille (7,68 % de MAPE) d'un facteur de 2,1× et le standard LSTM+XGBoost (6,12 % de MAPE) d'un facteur de 1,7×.
  • RMSE/MAE : Le modèle a obtenu un RMSE de 0,0873 et un MAE de 0,0283 à travers les deux granularités, démontant une stabilité de résolution croisée.
• Analyse Visuelle : Les graphiques de prévision indiquent que le modèle suit de près la demande réelle, y compris les événements de pointe, sans l'accumulation progressive d'erreurs observée dans les autres modèles. L'étape GBM corrige efficacement les sous-estimations de pics communes dans les modèles LSTM purs.
• Ablation : L'étude confirme que chaque composante (le transfert de la couche pénultième, les hyperparamètres spécifiques du GBM et l'augmentation des caractéristiques) contribue de manière unique à la précision finale.

Signification et Revendications
L'article affirme que le TDF-LSTGBM comble les lacunes critiques des prévisions actuelles des réseaux intelligents en gérant systématiquement les séries temporelles à multi-granularité et la désagrégation par catégorie de consommateur. En transférant des caractéristiques temporelles profondes plutôt que des sorties scalaires, le modèle atteint une précision supérieure dans les environnements hétérogènes où les modèles linéaires classiques échouent.

Les auteurs positionnent le modèle comme un outil robuste pour la planification des infrastructures et la programmation de la réponse à la demande, comme en témoigne sa capacité à générer des projections stables sur 5 ans sans dérive. L'étude reconnaît des limites, notamment l'utilisation de données simulées, l'absence de variables météorologiques dans l'ensemble de caractéristiques actuel, et le fait que la portée est limitée au contexte d'un seul pays. Des travaux futurs sont proposés pour intégrer des variables météorologiques, incorporer des mécanismes d'auto-attention et explorer des architectures d'apprentissage fédéré pour la prévision préservant la confidentialité.