Résumé Technique : PrismNet pour la Prévision Interprétable de la Charge Électrique

1. Énoncé du Problème

Une prévision précise de la charge électrique est cruciale pour le fonctionnement sûr et stable des réseaux électriques, pourtant les méthodes d'apprentissage profond existantes font face à des défis majeurs dans les applications industrielles. Les modèles d'apprentissage profond conventionnels (par exemple, Transformers, RNN) éprouvent souvent des difficultés avec les scénarios à peu d'exemples courants dans l'industrie en raison de la rareté des données et d'une mauvaise généralisation entre entités. De plus, bien que des approches multimodales aient émergé, elles souffrent généralement de deux limitations clés :

1. Désalignement Sémantique : Elles négligent souvent l'alignement sémantique intermodal spécifique au domaine, conduisant à un « fossé sémantique » entre les séries temporelles numériques et les modalités auxiliaires (texte, images).
2. Manque d'Interprétabilité : Les mécanismes par lesquels les entrées multimodales améliorent la prévision restent opaques, ce qui sape la confiance dans les scénarios de charge électrique critiques pour la sécurité.

2. Méthodologie : Cadre PrismNet

Les auteurs proposent PrismNet, un cadre multimodal interprétable inspiré de la fonction optique d'un prisme (séparant la lumière en longueurs d'onde constitutives). Le cadre intègre les modalités texte et image pour enrichir les représentations brutes des séries temporelles de charge et emploie un mécanisme d'apprentissage par contraste guidé par la Décomposition de l'Information Partielle (PID) pour aligner les sémantiques.

Le cadre se compose de trois composants principaux :

A. Augmentation Multimodale

La série temporelle de charge brute ($X$) est transformée en deux modalités auxiliaires :

• Modalité Texte ($T$) : Générée en sollicitant un Grand Modèle de Langage (LLM) ajusté par instruction. La sortie suit un modèle fixe comprenant :
  • $T_{task}$ : Métadonnées (sujet, résolution).
  • $T_{stat}$ : Résumés statistiques (tendance, saisonnalité, min/max, kurtose).
  • $T_{knowledge}$ : Motifs spécifiques au domaine dérivés des priors préentraînés du LLM.
• Modalité Image ($I$) : Construite en appliquant la Transformée de Fourier Rapide (FFT) pour extraire des caractéristiques fréquentielles, en les concaténant avec la série originale, puis en les faisant passer à travers des convolutions 1D et 2D. La carte de caractéristiques résultante est redimensionnée par interpolation bilinéaire pour correspondre aux dimensions standard des modèles de vision (224x224).

B. Encodage Tri-Modal

• Encodage de la Série Temporelle : La séquence de charge est découpée en patches et traitée via une couche d'attention multi-têtes avec des connexions résiduelles.
• Encodage du Texte : Un tokenizer GPT-2 figé traite le texte, suivi d'un encodeur Transformer entraînable pour adapter les caractéristiques à la tâche de prévision.
• Encodage de l'Image : Un encodeur CLIP préentraîné extrait des embeddings au niveau des images à partir de groupes d'images. Un module GRU entraînable modélise les dépendances temporelles au sein du groupe d'images.
• Prévisionneur : Un décodeur Transformer à attention croisée utilise l'embedding de la série temporelle comme requêtes et la représentation fusionnée texte-image comme clés/valeurs pour générer des prévisions multi-étapes.

C. Alignement Interprétable (Apprentissage par Contraste Guidé par PID)

Pour combler le fossé sémantique et améliorer l'interprétabilité, les auteurs conçoivent une stratégie d'apprentissage par contraste fondée sur la Décomposition de l'Information Partielle (PID). La PID décompose l'information concernant une cible $Y$ en :

1. Unicité ($U$) : Information unique à une seule modalité.
2. Redondance ($R$) : Information se chevauchant partagée entre les modalités.
3. Synergie ($S$) : Information nouvelle émergeant uniquement de la combinaison des modalités.

L'objectif d'entraînement ($L_{total}$) combine une perte de prédiction avec deux pertes de contraste :

• Perte de Redondance ($L_{rdn}$) : Aligne les représentations unimodales (par exemple, Texte vs Série Temporelle) pour apprendre des signaux partagés et cohérents.
• Perte de Synergie ($L_{syn}$) : Aligne la représentation fusionnée ($h_F$) avec les représentations unimodales individuelles pour encourager chaque modalité à contribuer des informations nouvelles et synergiques.
• Unicité ($U$) : Préservée indirectement par la perte de prédiction de la tâche, assurant que les indices spécifiques à la modalité sont conservés.

3. Contributions Clés

1. Cadre PrismNet : Une architecture multimodale interprétable qui intègre les modalités texte et image pour renforcer les représentations des séries temporelles de charge électrique, ciblant spécifiquement les capacités d'apprentissage à peu d'exemples.
2. Apprentissage par Contraste Guidé par PID : Un mécanisme d'entraînement novateur qui élucide les interactions intrinsèques entre les modalités (redondance, synergie, unicité), offrant une nouvelle perspective pour l'interprétabilité du modèle et l'alignement sémantique spécifique au domaine.
3. Validation Empirique : Des expériences extensives sur des jeux de données publics réels démontrant des performances supérieures par rapport à des modèles d'apprentissage profond et des bases de référence multimodales solides, en particulier dans des contextes de pénurie de données.

4. Résultats Expérimentaux

Le modèle a été évalué sur trois jeux de données : StoreNet (réseau de distribution), NEST (bâtiment) et Electricity (niveau utilisateur), sur des horizons de prévision de 24, 96, 192 et 336 étapes.

• Performance : PrismNet a obtenu les meilleures performances moyennes sur tous les jeux de données, réduisant l'Erreur Absolue Moyenne (MAE) et l'Erreur Quadratique Moyenne (MSE) de 4,7 % et 6,8 %, respectivement, par rapport au deuxième meilleur modèle.
• Apprentissage à Peu d'Exemples : Dans des scénarios n'utilisant que 10 % des données d'entraînement, PrismNet a démontré une robustesse supérieure. Alors que les modèles d'apprentissage profond traditionnels (par exemple, PatchTST) souffraient d'un surapprentissage sévère (faible perte d'entraînement mais erreur de test élevée), PrismNet a maintenu des taux d'erreur faibles en exploitant les connaissances du domaine issues des modalités texte et image.
• Efficacité : Malgré l'intégration de trois modalités, PrismNet a atteint le temps d'entraînement le plus bas (22,7 min) parmi les bases de référence multimodales sur le jeu de données NEST, attribué à l'utilisation d'encodeurs principaux figés (GPT-2, CLIP) et à l'entraînement d'un petit nombre de paramètres pour l'alignement.
• Interprétabilité : Les visualisations t-SNE et l'analyse de l'attention des tokens ont confirmé que la fusion tri-modale offre une couverture de connaissances complète. L'alignement guidé par PID a réussi à équilibrer la redondance et la synergie, la modalité texte fournissant une valeur synergique significative en exploitant des indices de connaissances du domaine (par exemple, motifs de saisonnalité) qui n'étaient pas entièrement capturés par les données de séries temporelles limitées.

5. Signification et Revendications

L'article revendique que PrismNet offre une solution digne de confiance et interprétable pour les scénarios de charge électrique critiques pour la sécurité. En allant au-delà d'une simple fusion pour modéliser explicitement les mécanismes de l'interaction multimodale via la PID, le cadre comble le fossé entre les paradigmes d'apprentissage profond implicites et le besoin d'explicabilité dans les applications industrielles. Les auteurs affirment que leur approche traite efficacement le goulot d'étranglement de la « pénurie de données » dans la prévision industrielle, permettant des prévisions précises même lorsque les données historiques sont limitées, sans sacrifier l'efficacité computationnelle.