Assessment of Spatio-Temporal Predictors in the Presence of Missing and Heterogeneous Data

Cet article propose un cadre d'analyse de corrélation des résidus pour évaluer l'optimalité des modèles de prédiction spatio-temporels basés sur l'apprentissage profond, en particulier dans des contextes de données hétérogènes et incomplètes, afin d'identifier et de localiser les zones où les performances prédictives peuvent être améliorées.

L'essentiel

🌍 Le Problème : Le Chef Cuisinier et son Livre de Recettes

Imaginez que vous êtes un chef cuisinier (c'est le modèle d'intelligence artificielle) qui doit prédire le temps qu'il fera demain dans chaque quartier d'une grande ville. Vous avez un livre de recettes très sophistiqué (un réseau de neurones) qui analyse des données passées : le vent, la pluie, la température, etc.

Habituellement, pour savoir si votre recette est bonne, vous goûtez le plat final et vous dites : "Mmm, c'est un peu salé, mais globalement c'est bon." En science des données, c'est ce qu'on appelle mesurer l'erreur (la différence entre la prédiction et la réalité).

Mais voici le problème :
Parfois, votre recette semble parfaite en moyenne, mais elle échoue de manière très spécifique :

• Elle rate systématiquement la météo le matin dans le quartier Nord.
• Elle oublie de prendre en compte les rafales de vent le soir dans le quartier Sud.
• Elle est confuse quand il pleut et qu'il y a du brouillard en même temps.

Si vous ne regardez que la "note globale", vous ne verrez pas ces défauts cachés. Vous continuerez à cuisiner avec une recette imparfaite sans savoir où l'améliorer. De plus, dans le monde réel, les données sont souvent incomplètes (des capteurs cassés) ou hétérogènes (des capteurs de marques différentes qui ne parlent pas le même langage).

🔍 La Solution : L'Analyse AZ (Le Détective des "Restes")

Les auteurs de ce papier, Daniele Zambon et Cesare Alippi, proposent une nouvelle méthode appelée AZ-analysis. Au lieu de simplement regarder la taille de l'erreur (le "goût"), ils regardent la structure des erreurs.

Imaginez que vous avez un tas de restes de nourriture sur la table après le repas.

• Si les restes sont mélangés au hasard, c'est normal.
• Mais si vous remarquez que tous les restes de poisson sont regroupés d'un côté et tous les restes de viande de l'autre, cela signifie quelque chose ! Cela veut dire que votre cuisine a un problème de tri ou de préparation spécifique.

Dans le langage de l'article, ces "restes" sont appelés résidus (la différence entre ce qui était prévu et ce qui s'est vraiment passé).

🕵️‍♂️ Comment ça marche ? (L'Analogie du Réseau de Routes)

La méthode AZ analyse ces résidus comme un détective qui regarde une carte de la ville :

1. Le Réseau (La Carte) : Ils dessinent une carte où chaque point est un capteur (une rue, un panneau solaire) et les lignes sont les liens entre eux (le vent qui souffle d'une rue à l'autre, ou le temps qui passe).
2. La Chasse aux Motifs : Ils cherchent des motifs bizarres dans les erreurs.
   • Exemple : "Tiens, quand il y a une erreur à l'heure H, il y a aussi une erreur à l'heure H+1 sur la même rue." -> C'est une erreur temporelle.
   • Exemple : "Tiens, quand il y a une erreur à la rue A, il y en a aussi à la rue B voisine." -> C'est une erreur spatiale.
3. Le Score de "Suspicion" : La méthode attribue un "score de suspicion" à chaque quartier et à chaque moment. Plus le score est élevé, plus le modèle a raté quelque chose d'important à cet endroit précis.

🛠️ Pourquoi c'est génial ? (Les Super-Pouvoirs)

Cette méthode a trois super-pouvoirs qui la rendent unique :

1. Elle est robuste aux données manquantes : Imaginez que certains capteurs de la ville soient en panne (des trous dans la carte). La plupart des méthodes anciennes s'effondrent. AZ, elle, continue de fonctionner comme un détective qui travaille même avec des preuves partielles. Elle ignore les trous et se concentre sur ce qu'elle voit.
2. Elle n'a pas besoin de règles strictes : Les anciennes méthodes exigeaient que les données soient "parfaitement distribuées" (comme des dés équilibrés). AZ, elle, est flexible. Elle accepte que les données soient "sales", hétérogènes ou bizarres. Elle se contente de vérifier si les erreurs sont "centrées" (autour de zéro), ce qui est souvent le cas.
3. Elle vous dit où et quand corriger : Au lieu de dire "Votre modèle est moyen", elle dit : "Votre modèle est excellent le matin, mais il rate complètement la prédiction de trafic entre 17h et 18h sur l'autoroute Nord. Concentrez-vous là-dessus !"

🚦 Les Exemples Réels (La Preuve par l'Expérience)

Les auteurs ont testé leur méthode sur deux cas concrets :

• Le Trafic Routier : Ils ont analysé les erreurs de prédiction du trafic à Los Angeles. Ils ont découvert que le modèle avait du mal à prédire le trafic juste après des périodes où les données avaient été "inventées" (imputées) parce que les capteurs étaient cassés. La méthode AZ a pointé du doigt ces moments précis, là où les autres méthodes ne voyaient rien.
• L'Énergie Solaire : Ils ont regardé la production d'électricité de panneaux solaires. La méthode a révélé que le modèle était moins performant au lever et au coucher du soleil (les moments de transition), même si l'erreur globale semblait faible. Cela a permis de comprendre que le modèle avait besoin d'être affiné pour ces moments précis.

🎯 En Résumé

Ce papier nous apprend qu'il ne suffit pas de regarder la note globale d'un modèle d'intelligence artificielle. Il faut regarder comment il se trompe.

L'AZ-analysis est comme un thermogramme pour les modèles prédictifs. Là où un thermogramme montre les zones froides et chaudes d'un bâtiment pour trouver les fuites d'air, AZ montre les zones "chaudes" (les erreurs corrélées) dans les données pour révéler où le modèle a besoin d'une amélioration, même si les données sont incomplètes ou désordonnées.

C'est un outil indispensable pour passer d'un modèle "qui marche à peu près" à un modèle optimal et fiable.

Résumé technique

1. Problématique

Les méthodes d'apprentissage profond (Deep Learning) excellent dans la modélisation de données complexes à grande échelle, mais l'évaluation de la qualité des modèles dérivés devient de plus en plus difficile, en particulier pour les données spatio-temporelles. Ces données présentent des défis majeurs :

• Dépendances complexes : Interactions non linéaires à la fois dans l'espace et le temps.
• Données incomplètes et hétérogènes : Présence fréquente de valeurs manquantes, d'échantillonnage irrégulier et de capteurs hétérogènes (ajoutés ou supprimés dynamiquement).
• Limites des métriques actuelles : Les métriques d'erreur classiques (MSE, MAE, MAPE) sont comparatives et globales. Elles indiquent si un modèle est meilleur qu'un autre, mais ne révèlent pas où ou pourquoi un modèle échoue, ni si les résidus (erreurs de prédiction) contiennent encore de l'information structurelle non capturée.

L'objectif est de développer une méthodologie robuste pour évaluer l'optimalité des prédicteurs neuronaux spatio-temporels, même dans des conditions de données réalistes et imparfaites, en détectant les corrélations résiduelles qui signalent un manque d'apprentissage.

2. Méthodologie : L'Analyse AZ (AZ-analysis)

L'article propose un cadre d'analyse des résidus basé sur la corrélation plutôt que sur la magnitude de l'erreur. La méthode s'appuie sur le test de blancheur AZ-whiteness et le développe en une analyse locale et interprétable.

A. Représentation des Données

Les données sont modélisées comme une séquence de graphes multiplex $g^* = (V^*, E^*, w, r)$ :

• Nœuds : Représentent les observations de séries temporelles à des instants et des capteurs spécifiques.
• Arêtes : Encodent les dépendances spatiales (liens entre capteurs) et temporelles (liens entre instants successifs).
• Signaux de nœuds : Les vecteurs de résidus $r_{t,v} = y_{t,v} - \hat{y}_{t,v}$.

B. Statistiques de Base et Scores de Corrélation

Le test AZ original calcule une statistique globale $C_\lambda(g^*)$ pour détecter la présence de corrélations. Cependant, pour localiser les problèmes, les auteurs introduisent des scores de corrélation $c_\lambda(s)$ normalisés pour des sous-graphes $s$ :
$$c_\lambda(s) = \frac{C_\lambda(s) \cdot \|w_{s,\lambda}\|_2}{\|w_{s,\lambda}\|_1}$$
Ces scores sont normalisés dans l'intervalle $[-1, 1]$, permettant de comparer des sous-graphes de tailles différentes (nombre d'arêtes variable).

• Paramètre $\lambda$ : Pèse l'importance des composantes spatiales ($\lambda=1$) vs temporelles ($\lambda=0$).
• Fonction de signe : L'utilisation de la fonction signe sur le produit scalaire des résidus ($\text{sgn}(r^\top r')$) rend la méthode asymptotiquement libre de distribution (distribution-free). Elle ne nécessite pas que les résidus soient gaussiens ou identiquement distribués, seulement centrés en zéro.

C. Niveaux d'Analyse

La méthode répond à trois questions clés en calculant des scores à différents niveaux de granularité :

1. Optimalité globale (Q1) : Utilisation du test AZ global pour vérifier l'absence de toute corrélation.
2. Analyse par nœud (Q2) : Calcul du score $c_\lambda(v)$ pour identifier les capteurs (séries temporelles) spécifiques où le modèle sous-performe.
3. Analyse temporelle (Q3) : Calcul du score $c_\lambda(t)$ pour détecter des intervalles de temps où le modèle échoue (ex: non-stationnarité).
4. Analyse spatio-temporelle locale : Calcul du score $c_\lambda(t, v)$ sur des voisinages (k-hop) pour localiser précisément les zones de défaillance.

3. Contributions Clés

1. Cadre d'analyse robuste : Une méthode capable de fonctionner avec des données manquantes (missing data) et hétérogènes (distributions différentes pour différents capteurs), là où les tests statistiques classiques échouent.
2. Localisation des défaillances : Capacité à identifier non seulement qu'il y a une corrélation résiduelle, mais aussi où elle se trouve (quels capteurs, quelles périodes temporelles, quelles régions spatio-temporelles).
3. Hypothèses minimales : La méthode ne requiert que l'hypothèse que les résidus sont centrés en zéro (médiane nulle). Elle ne suppose pas de distribution spécifique (Gaussienne, etc.) ni d'homogénéité des données.
4. Outil diagnostique complémentaire : L'analyse AZ complète les métriques d'erreur traditionnelles en révélant des défauts structurels invisibles aux métriques de magnitude (ex: erreurs faibles mais corrélées).

4. Résultats Expérimentaux

Les auteurs valident leur approche sur des données synthétiques et deux cas d'usage réels :

• Données Synthétiques :

  • Démonstration de la capacité à détecter des corrélations spatiales et temporelles induites artificiellement.
  • Validation de la robustesse face à 20 % de données manquantes et à des distributions hétérogènes (mélange de lois Uniforme, Laplace, Gaussienne).
  • Comparaison favorable avec des méthodes classiques (Autocorrélation, Moran's I) : l'analyse AZ offre une vue unifiée et plus précise, notamment pour la localisation fine.

• Prévision du Trafic (Dataset MetrLA) :

  • Détection d'imputation : Les scores révèlent des corrélations élevées aux moments où les données manquantes ont été imputées (méthode de dernière valeur observée), un artefact non détecté par le MAE.
  • Horizon de prédiction : Les corrélations sont plus fortes pour les prévisions multi-étapes que pour les prévisions 1-étape, indiquant un besoin d'amélioration des modèles pour le long terme.
  • Capteurs spécifiques : Identification de nœuds spécifiques (capteurs 28 et 29) présentant des comportements anormaux liés à l'imputation.

• Prévision de Production Énergétique (Dataset EngRAD - Photovoltaïque) :

  • Cycles journaliers : Détection de corrélations résiduelles élevées au lever et au coucher du soleil, périodes de transition difficiles à modéliser, même si le MAE reste faible.
  • Erreurs relatives : L'analyse montre que des périodes avec un faible MAE absolu peuvent avoir un fort MAPE (erreur relative) et une forte corrélation, suggérant des opportunités d'amélioration du modèle que l'erreur absolue seule masquerait.

5. Signification et Impact

L'analyse AZ représente une avancée significative pour l'évaluation des modèles d'apprentissage profond appliqués aux données spatio-temporelles :

• Indépendance aux hypothèses : Elle brise la dépendance aux hypothèses statistiques strictes (normalité, complétude des données) qui limitent les tests classiques.
• Interprétabilité : Elle transforme l'évaluation de modèle d'une simple mesure de performance en un outil de diagnostic capable de guider les ingénieurs vers des améliorations ciblées (ex: ajustement de l'architecture temporelle, traitement spécifique des données manquantes, adaptation des capteurs).
• Applicabilité large : La méthode est applicable à tout type de prédicteur neuronal (GNN, RNN, Transformers) et s'adapte naturellement aux graphes dynamiques et aux données réelles complexes.

En conclusion, l'article propose un outil essentiel pour passer d'une évaluation "boîte noire" basée sur l'erreur à une évaluation structurelle basée sur la corrélation, permettant d'exploiter pleinement le potentiel des modèles prédictifs dans des environnements réels imparfaits.