Warped multifidelity Gaussian processes for data fusion of skewed environmental data

1. Enunciato del Problema

Le reti di monitoraggio ambientale, come quelle gestite da agenzie regionali (ad esempio ARPA Lombardia in Italia), soffrono frequentemente di lacune nei dati (sequenze mancanti) e distribuzioni dei dati asimmetriche.

• La Sfida: I metodi standard di fusione dei dati e di imputazione, in particolare quelli basati su Processi Gaussiani (GP), assumono che i dati e gli errori seguano una distribuzione normale (Gaussiana). Tuttavia, variabili ambientali come la velocità del vento, la temperatura e le precipitazioni spesso presentano una significativa asimmetria.
• Il Limite dei Metodi Esistenti:
  • I Processi Gaussiani Multifidelity (MFGP) standard assumono relazioni lineari e normalità, portando a prestazioni predittive scadenti quando i dati sono asimmetrici.
  • Le trasformazioni parametriche (ad esempio Box-Cox) sono spesso utilizzate per normalizzare i dati, ma richiedono parametri dipendenti dai dati. In un contesto multifidelity che coinvolge più fonti di dati (Alta Fedeltà e Bassa Fedeltà), applicare trasformazioni diverse a ciascuna fonte può distorcere la relazione tra di esse, violando il principio di invarianza delle quantili.
  • I metodi esistenti faticano a recuperare efficacemente lunghe sequenze mancanti (mancanza strutturale), specialmente quando la lunghezza del gap supera la scala di lunghezza di correlazione dei GP standard.

2. Metodologia: Processo Gaussiano Multifidelity Warped (WMFGP)

Gli autori propongono il Processo Gaussiano Multifidelity Warped (WMFGP), un'estensione del framework autoregressivo MFGP che incorpora una funzione di warping non parametrica per gestire l'asimmetria.

Concetto Chiave

Il metodo opera in uno spazio latente dove i dati non normali vengono trasformati in una distribuzione normale, il modello multifidelity viene addestrato e i risultati vengono retro-trasformati nello spazio originale.

Passaggi Chiave:

1. Warping Non Parametrico (Trasformazione):

   • Invece di trasformazioni parametriche, il metodo utilizza una funzione di warping non parametrica guidata dai dati ($g(\cdot)$).
   • Stima la Funzione di Distribuzione Cumulativa (CDF) dei dati osservati (sia Alta Fedeltà $y_H$ che Bassa Fedeltà $y_L$) utilizzando la stima della densità di kernel.
   • I dati vengono mappati in uno spazio latente utilizzando l'inverso della CDF normale standard ($\Phi^{-1}$):
     $$N_y = \Phi^{-1}(F_y(y))$$
   • Questo garantisce l'invarianza delle quantili: l'ordinamento relativo dei punti dati è preservato e la relazione tra dati HF e LF rimane coerente nello spazio latente.

2. Modellazione Multifidelity nello Spazio Latente:

   • Il modello autoregressivo MFGP viene applicato ai dati latenti normalizzati ($N_{y_H}, N_{y_L}$).
   • Il modello assume una relazione ricorsiva: $u_H = \rho u_L + \delta + \epsilon$, dove $\rho$ è il parametro di scala e $\delta$ è un processo di discrepanza.
   • Poiché i dati nello spazio latente sono normalizzati, le assunzioni standard dei GP (normalità degli errori) sono soddisfatte.

3. Retro-Trasformazione:

   • Le previsioni (media e varianza) effettuate nello spazio latente vengono trasformate nuovamente nello spazio fisico originale utilizzando una tabella di ricerca inversa derivata dalle CDF stimate.
   • Questo passaggio ricostruisce le caratteristiche della distribuzione asimmetrica dei dati originali.

4. Strategia di Applicazione (Clustering):

   • Per gestire l'eterogeneità spaziale, gli autori impiegano un clustering k-means vincolato basato su latitudine, longitudine e altitudine.
   • Le stazioni di monitoraggio sono raggruppate in cluster. All'interno di un cluster, una stazione con dati mancanti (HF) viene accoppiata con una stazione vicina e altamente correlata (LF) per eseguire la fusione dei dati.

3. Contributi Chiave

• Algoritmo Innovativo: Introduzione del WMFGP, che integra con successo il warping non parametrico con i processi gaussiani multifidelity autoregressivi.
• Gestione dell'Asimmetria: Il metodo affronta esplicitamente la non-normalità dei dati ambientali senza violare la struttura di correlazione tra i diversi livelli di fedeltà.
• Invarianza delle Quantili: Utilizzando il warping basato sulla CDF, il metodo garantisce che la relazione statistica tra i dati ad Alta Fedeltà e Bassa Fedeltà sia preservata durante la trasformazione.
• Automazione: A differenza degli approcci parametrici che richiedono sintonizzazione ad hoc per ogni serie temporale, il WMFGP può essere automatizzato per grandi reti di serie temporali diverse.

4. Risultati Sperimentali

Lo studio convalida il metodo attraverso due esperimenti di simulazione e un caso di studio reale.

Esperimento 1: Mancanza Randomizzata

• Configurazione: Dati simulati di velocità del vento con diversi gradi di asimmetria (utilizzando distribuzioni Skew-Normal Chiusa e Weibull) e pattern casuali di dati mancanti.
• Confronto: WMFGP vs GP Standard, GP Warped (WGP), MFGP Standard e MFGP Box-Cox (BCMF).
• Risultati:
  • Il WMFGP ha superato costantemente tutti gli altri modelli in termini di Errore Assoluto Medio (MAE), indipendentemente dal livello di asimmetria.
  • MFGP Standard e BCMF hanno faticato con alta asimmetria. BCMF ha fallito in particolare quando gli errori erano generati da distribuzioni Weibull, evidenziando la sensibilità delle trasformazioni parametriche alla distribuzione dei dati.
  • Il WMFGP ha mostrato stabilità anche quando il rapporto tra dati HF e LF era basso (fino al 30-35% di dati HF).

Esperimento 2: Mancanza Strutturale (Lunghi Gap)

• Configurazione: Simulazione di lunghe sequenze mancanti (da 24 a 192 ore) nei dati reali di velocità del vento di ARPA Lombardia.
• Confronto: WMFGP vs GP, MFGP, Surrogato (solo LF) e Imputazione Semplice (SI).
• Risultati:
  • Il WMFGP ha ottenuto il MAE più basso su tutte le lunghezze dei gap.
  • Ha ridotto la discrepanza tra la previsione e i veri dati ad Alta Fedeltà di circa il 50% rispetto alla differenza grezza tra dati LF e HF.
  • A differenza dell'interpolazione standard, le prestazioni del WMFGP non si sono degradate significativamente all'aumentare della lunghezza del gap, suggerendo robustezza per dati mancanti a lungo termine.
  • Incertezza: Gli intervalli di previsione al 95% hanno avuto una probabilità di copertura di ~90-91%, indicando una quantificazione dell'incertezza affidabile.

Caso di Studio: ARPA Lombardia

• Applicazione: Colmatura delle lacune di velocità del vento nella rete regionale lombarda (120+ stazioni).
• Risultato: Il metodo ha recuperato con successo i dati di velocità del vento mancanti, catturando pattern stagionali e ciclici che l'interpolazione semplice aveva mancato. Questo è fondamentale per la gestione della qualità dell'aria, poiché la velocità del vento guida la dispersione degli inquinanti.

5. Significato e Impatto

• Gestione Ambientale: Fornisce uno strumento robusto per le agenzie ambientali per colmare le lacune nei dati delle reti di monitoraggio, portando a valutazioni più accurate della qualità dell'aria e decisioni politiche meglio informate.
• Scalabilità: Il metodo è computazionalmente efficiente e automatizzabile, rendendolo adatto a grandi dataset ambientali con migliaia di serie temporali.
• Avanzamento Teorico: Colma il divario tra la modellazione multifidelity e la gestione di dati non normali, offrendo una soluzione dove le assunzioni tradizionali dei GP falliscono.
• Direzioni Future: Gli autori notano che, sebbene l'attuale framework si concentri sulla correlazione temporale, il lavoro futuro potrebbe incorporare dimensioni spaziali (ad esempio, integrazione Lidar per parchi eolici), sebbene ciò aumenterebbe la complessità computazionale.

In sintesi, il documento presenta un avanzamento significativo nella fusione di dati ambientali dimostrando che il warping non parametrico permette ai processi gaussiani multifidelity di gestire efficacemente dati asimmetrici, superando i metodi esistenti sia in accuratezza che in robustezza per colmare lacune critiche nei dati.