📊 statistics

Warped multifidelity Gaussian processes for data fusion of skewed environmental data

Cet article présente le processus gaussien multifidélité déformé (WMFGP), une nouvelle méthode de fusion de données conçue pour traiter des données environnementales asymétriques et des résolutions de données variables, démontrée par des simulations et une étude de cas sur le réseau de vitesse du vent de l'ARPA Lombardia afin de combler efficacement les lacunes de données et d'améliorer la gestion de la qualité de l'air.

Auteurs originaux : Pietro Colombo, Claire Miller, Xiaochen Yang, Ruth O'Donnell, Paolo Maranzano

Publié 2026-04-30

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Pietro Colombo, Claire Miller, Xiaochen Yang, Ruth O'Donnell, Paolo Maranzano

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de peindre une image parfaite du vent soufflant sur une région. Vous avez deux types d'assistants pour vous fournir des informations :

L'Expert (Haute Fidélité) : Cette personne se tient à quelques endroits spécifiques, vous fournit des mesures de vent très précises et de haute qualité, mais elle est coûteuse à engager et ne peut être présente que pendant de courtes périodes. Parfois, elle part même en vacances, laissant de grandes lacunes dans vos données.
Le Novice (Faible Fidélité) : Cette personne est partout, vous fournissant des mesures de vent en permanence. Cependant, ses mesures sont un peu « bruitées » ou peu fiables. Elles peuvent être légèrement inexactes, mais elle est toujours là pour combler les blancs.

Le Problème :
Habituellement, les données sur le vent ne forment pas une courbe lisse et prévisible comme une cloche. Elles sont « asymétriques ». Imaginez une foule de personnes : la plupart des jours, le vent est doux, mais occasionnellement, une tempête massive frappe. Si vous essayez d'utiliser des outils mathématiques standards (qui supposent que tout suit une courbe en cloche parfaite) pour combiner les données de l'Expert et du Novice, les mathématiques sont perturbées par ces tempêtes soudaines. Elles tentent de forcer les données dans une forme qui ne correspond pas, conduisant à de mauvaises prévisions.

La Solution : Le Processus Gaussien « Déformé »
Les auteurs de cet article ont inventé un nouvel outil appelé le Processus Gaussien Multifidélité Déformé (WMFGP). Voici comment il fonctionne, en utilisant une analogie simple :

La Déformation : Imaginez que les données sur le vent sont un morceau de caoutchouc étiré et tordu hors de forme à cause de ces tempêtes soudaines. La partie « déformation » de leur méthode est comme une paire de mains magiques qui étirent et remodelent doucement ce caoutchouc jusqu'à ce qu'il devienne lisse et rond (normal).
La Fusion : Une fois les données lissées, l'outil combine les données précises mais clairsemées de l'Expert avec les données abondantes mais bruitées du Novice. Parce que les données sont maintenant « lisses », les mathématiques peuvent facilement voir comment les deux sources sont liées entre elles.
La Dé-déformation : Après que les mathématiques aient fait leur travail et prédit les vitesses du vent manquantes, l'outil inverse la magie. Il étire la prédiction lisse pour la ramener à sa forme originale, « asymétrique », afin qu'elle corresponde à nouveau à la réalité.

Pourquoi est-ce spécial ?
La plupart des méthodes précédentes tentaient d'utiliser une seule « règle d'étirement » pour l'Expert et le Novice. Mais comme ce sont des personnes différentes, elles ont besoin de règles différentes. Si vous les étirez tous les deux de la même manière, la relation entre eux se brise.

Cette nouvelle méthode est assez intelligente pour apprendre une règle d'étirement unique pour chaque source de données tout en garantissant que l'ordre des données reste le même. (Si le vent était plus fort à la station A qu'à la station B avant l'étirement, il reste plus fort après l'étirement). Cela leur permet de fusionner les données parfaitement sans rompre le lien entre les deux sources.

Le Test Réel
Les auteurs ont testé cela sur des données réelles provenant d'ARPA Lombardia, une agence environnementale en Italie. Leur réseau de stations météorologiques présente de nombreuses lacunes dans les données (trous) en raison de pannes d'équipement ou de mauvais temps.

Le Défi : Ils devaient combler les données manquantes de vitesse du vent, en particulier pendant de longues périodes (jusqu'à une semaine), pour aider à prédire la pollution de l'air.
Le Résultat : Leur nouvelle méthode « Déformée » était meilleure pour combler ces lacunes que les anciennes méthodes. Elle était particulièrement efficace car les données de vitesse du vent sont naturellement « asymétriques » (beaucoup de jours calmes, peu de jours de tempête), et leur méthode gère parfaitement cette forme.

En Résumé
Cet article présente une manière ingénieuse de mélanger des données de haute qualité mais rares avec des données de faible qualité mais abondantes. En « déformant » d'abord les données en une forme lisse, en faisant les calculs, puis en les « dé-déformant » pour les ramener à l'état initial, ils peuvent combler avec précision les enregistrements météorologiques manquants, même lorsque les données sont désordonnées et pleines de valeurs aberrantes extrêmes. Cela aide les agences environnementales à obtenir une image plus claire du vent, ce qui est crucial pour la gestion de la qualité de l'air.

1. Énoncé du problème

Les réseaux de surveillance environnementale, tels que ceux gérés par des agences régionales (par exemple, ARPA Lombardia en Italie), souffrent fréquemment de lacunes dans les données (séquences manquantes) et de distributions de données asymétriques.

Le défi : Les méthodes standard de fusion de données et d'imputation, en particulier celles basées sur les processus gaussiens (GP), supposent que les données et les erreurs suivent une distribution normale (gaussienne). Cependant, les variables environnementales telles que la vitesse du vent, la température et les précipitations présentent souvent une asymétrie significative.
La limitation des méthodes existantes :
- Les processus gaussiens multifidélité (MFGP) standards supposent des relations linéaires et la normalité, ce qui entraîne de mauvaises performances prédictives lorsque les données sont asymétriques.
- Les transformations paramétriques (par exemple, Box-Cox) sont souvent utilisées pour normaliser les données, mais elles nécessitent des paramètres dépendants des données. Dans un contexte multifidélité impliquant plusieurs sources de données (Haute Fidélité et Basse Fidélité), l'application de transformations différentes à chaque source peut déformer la relation entre elles, violant ainsi le principe d'invariance des quantiles.
- Les méthodes existantes peinent à récupérer efficacement les longues séquences manquantes (manquants structurels), en particulier lorsque la longueur de la lacune dépasse l'échelle de longueur de corrélation des GP standards.

2. Méthodologie : Processus Gaussien Multifidélité Déformé (WMFGP)

Les auteurs proposent le Processus Gaussien Multifidélité Déformé (WMFGP), une extension du cadre MFGP autorégressif qui intègre une fonction de déformation non paramétrique pour gérer l'asymétrie.

Concept central

La méthode opère dans un espace latent où les données non normales sont transformées en une distribution normale, le modèle multifidélité est entraîné, et les résultats sont rétransformés dans l'espace d'origine.

Étapes clés :

Déformation non paramétrique (Transformation) :
- Au lieu de transformations paramétriques, la méthode utilise une fonction de déformation non paramétrique pilotée par les données ( $g(\cdot)$ ).
- Elle estime la fonction de répartition cumulative (CDF) des données observées (à la fois Haute Fidélité $y_H$ et Basse Fidélité $y_L$ ) en utilisant l'estimation de densité par noyau.
- Les données sont mappées vers un espace latent en utilisant l'inverse de la CDF normale standard ( $\Phi^{-1}$ ) :
  $N_y = \Phi^{-1}(F_y(y))$
- Cela garantit l'invariance des quantiles : l'ordre relatif des points de données est préservé, et la relation entre les données HF et LF reste cohérente dans l'espace latent.
Modélisation multifidélité dans l'espace latent :
- Le modèle MFGP autorégressif est appliqué aux données latentes normalisées ( $N_{y_H}, N_{y_L}$ ).
- Le modèle suppose une relation récursive : $u_H = \rho u_L + \delta + \epsilon$ , où $\rho$ est le paramètre d'échelle et $\delta$ est un processus de divergence.
- Parce que les données dans l'espace latent sont normalisées, les hypothèses standard des GP (normalité des erreurs) sont satisfaites.
Rétransformations :
- Les prédictions (moyenne et variance) effectuées dans l'espace latent sont rétransformées dans l'espace physique d'origine en utilisant une table de recherche inverse dérivée des CDF estimées.
- Cette étape reconstruit les caractéristiques de distribution asymétrique des données d'origine.
Stratégie d'application (Clustering) :
- Pour gérer l'hétérogénéité spatiale, les auteurs emploient un clustering k-moyennes contraint basé sur la latitude, la longitude et l'altitude.
- Les stations de surveillance sont regroupées en clusters. Au sein d'un cluster, une station avec des données manquantes (HF) est appariée à une station voisine fortement corrélée (LF) pour effectuer la fusion de données.

3. Contributions clés

Algorithme novateur : Introduction du WMFGP, qui intègre avec succès la déformation non paramétrique avec les processus gaussiens multifidélité autorégressifs.
Gestion de l'asymétrie : La méthode traite explicitement la non-normalité des données environnementales sans violer la structure de corrélation entre les différents niveaux de fidélité.
Invariance des quantiles : En utilisant une déformation basée sur la CDF, la méthode garantit que la relation statistique entre les données Haute Fidélité et Basse Fidélité est préservée lors de la transformation.
Automatisation : Contrairement aux approches paramétriques qui nécessitent un réglage ad hoc pour chaque série temporelle, le WMFGP peut être automatisé pour de grands réseaux de séries temporelles diverses.

4. Résultats expérimentaux

L'étude valide la méthode grâce à deux expériences de simulation et une étude de cas réelle.

Expérience 1 : Manquants aléatoires

Configuration : Données de vitesse du vent simulées avec divers degrés d'asymétrie (en utilisant des distributions Normale Asymétrique Fermée et Weibull) et des motifs de données manquantes aléatoires.
Comparaison : WMFGP vs GP standard, GP déformé (WGP), MFGP standard et MFGP Box-Cox (BCMF).
Constats :
- Le WMFGP a systématiquement surpassé tous les autres modèles en termes d'erreur absolue moyenne (MAE), indépendamment du niveau d'asymétrie.
- Le MFGP standard et le BCMF ont eu des difficultés avec une forte asymétrie. Le BCMF a échoué en particulier lorsque les erreurs étaient générées à partir de distributions de Weibull, soulignant la sensibilité des transformations paramétriques à la distribution des données.
- Le WMFGP a montré une stabilité même lorsque le ratio de données HF par rapport aux données LF était faible (jusqu'à 30-35 % de données HF).

Expérience 2 : Manquants structurels (Longues lacunes)

Configuration : Séquences manquantes longues simulées (24 à 192 heures) dans des données réelles de vitesse du vent d'ARPA Lombardia.
Comparaison : WMFGP vs GP, MFGP, Surrogate (LF uniquement) et Imputation simple (SI).
Constats :
- Le WMFGP a atteint le MAE le plus bas sur toutes les longueurs de lacune.
- Il a réduit l'écart entre la prédiction et les vraies données Haute Fidélité d'environ 50 % par rapport à la différence brute entre les données LF et HF.
- Contrairement à l'interpolation standard, la performance du WMFGP ne s'est pas dégradée de manière significative à mesure que la longueur de la lacune augmentait, suggérant une robustesse pour les données manquantes à long terme.
- Incertitude : Les intervalles de prédiction à 95 % avaient une probabilité de couverture d'environ 90-91 %, indiquant une quantification fiable de l'incertitude.

Étude de cas : ARPA Lombardia

Application : Combler les lacunes de vitesse du vent dans le réseau régional de Lombardie (plus de 120 stations).
Résultat : La méthode a récupéré avec succès les données de vitesse du vent manquantes, capturant des motifs saisonniers et cycliques que l'interpolation simple avait manqués. Ceci est crucial pour la gestion de la qualité de l'air, car la vitesse du vent détermine la dispersion des polluants.

5. Importance et impact

Gestion environnementale : Fournit un outil robuste aux agences environnementales pour combler les lacunes dans les réseaux de surveillance, conduisant à des évaluations plus précises de la qualité de l'air et à des décisions politiques mieux informées.
Évolutivité : La méthode est efficace sur le plan computationnel et automatisable, ce qui la rend adaptée aux grands ensembles de données environnementales comportant des milliers de séries temporelles.
Avancement théorique : Comble le fossé entre la modélisation multifidélité et la gestion des données non normales, offrant une solution là où les hypothèses GP traditionnelles échouent.
Perspectives futures : Les auteurs notent que si le cadre actuel se concentre sur la corrélation temporelle, les travaux futurs pourraient intégrer des dimensions spatiales (par exemple, l'intégration du Lidar pour les parcs éoliens), bien que cela augmenterait la complexité computationnelle.

En résumé, l'article présente une avancée significative dans la fusion de données environnementales en démontrant que la déformation non paramétrique permet aux processus gaussiens multifidélité de gérer efficacement les données asymétriques, surpassant les méthodes existantes tant en précision qu'en robustesse pour combler les lacunes critiques de données.