Huracan: A skillful end-to-end data-driven system for ensemble data assimilation and weather prediction

Sintesi Tecnica: Huracan – Un sistema esperto end-to-end basato sui dati per l'assimilazione di dati d'insieme e la previsione meteorologica

Problematica
La previsione meteorologica operativa si è tradizionalmente basata sulla Previsione Numerica del Tempo (NWP), un processo computazionalmente intensivo che coinvolge l'assimilazione dei dati (DA) e modelli di previsione basati sulla fisica. Sebbene recenti modelli di machine learning (ML) abbiano dimostrato capacità di previsione deterministica superiori rispetto alla NWP, essi rimangono dipendenti dalle condizioni iniziali derivate dalla NWP (ad esempio, da ECMWF HRES o ENS). Questa dipendenza crea un limite superiore alla loro abilità di previsione. Sebbene siano stati proposti alcuni sistemi di DA end-to-end basati sui dati (ad esempio, Aardvark, FuXi Weather, GraphDOP), nessuno ha ancora eguagliato l'abilità di previsione dei competitor NWP all'avanguardia quando accoppiato con un modello di previsione. La sfida risiede nel gestire efficacemente la natura "indeterminata" dei dati di osservazione grezzi (sparsità, disallineamento, problemi di qualità) e la complessità dei processi di DA (controllo di qualità, stima dell'errore, correzione del bias) all'interno di un framework puramente basato sui dati.

Metodologia
Gli autori propongono Huracan, un sistema end-to-end guidato dalle osservazioni, che integra l'assimilazione di dati d'insieme con la previsione meteorologica d'insieme, facendo affidamento esclusivamente sulle osservazioni come input.

• Fonti di Dati: Il sistema ingerisce diverse osservazioni di Livello-1 e Livello-2, tra cui sounder a microonde e infrarossi iperspettrali (Metop, NOAA, JPSS), radio occultazione GNSS, radianza satellitare geostazionaria e osservazioni in situ (radiosonde, stazioni terrestri). Il dataset di addestramento copre il periodo 2010–2022, con il 2023 e il 2024 riservati alla validazione e al test.
• Elaborazione dei Dati: Le osservazioni grezze subiscono il controllo di qualità (rimozione di valori implausibili), la compressione tramite autoencoder (per i dati iperspettrali e di radio occultazione) e l'interpolazione a una griglia unificata a 1 grado. I metadati come gli angoli di visione e le differenze temporali sono inclusi come canali di input.
• Architettura: Il sistema impiega due modelli (assimilazione e previsione) che condividono un'architettura Spherical Fourier Neural Operator (SFNO) modificata. Le modifiche chiave includono:
  • Sostituzione dei Multi-Layer Perceptrons (MLP) nei blocchi SFNO con blocchi Swin Transformer per migliorare la capacità di modellazione.
  • Compressione aggressiva dei pesi dei filtri per ridurre i parametri di 12 volte e mitigare l'overfitting.
  • Integrazione di noise embeddings generati da rumore gaussiano casuale per gestire la stocasticità, sostituendo le normalizzazioni standard con normalizzazioni di livello condizionali.
• Strategia di Addestramento:
  1. Un modello base deterministico viene addestrato su 36 anni di dati ERA5 utilizzando la perdita L1.
  2. Il modello base viene perfezionato con iniezione di rumore e un obiettivo di Continuous Ranked Probability Score (CRPS) per creare una base stocastica.
  3. Modello di Assimilazione: Partendo dalla base stocastica, subisce un fine-tuning autoregressivo a 8 step utilizzando la verità al suolo ERA5 e i canali di osservazione da un dataset di 15 anni.
  4. Modello di Previsione: Subisce un fine-tuning autoregressivo a 6 step.
  5. Fine-tuning Congiunto: Entrambi i modelli vengono perfezionati insieme (8 step di assimilazione + 8 step di previsione) per produrre il sistema d'insieme finale.
• Baseline: Un baseline "Huracan-Hybrid" è creato perfezionando il modello di previsione su analisi ECMWF e utilizzando condizioni iniziali ECMWF ENS, servendo come forte punto di confronto.

Contributi Chiave

1. Primo Sistema d'Insieme End-to-End: Huracan è il primo sistema che fornisce sia le condizioni iniziali d'insieme che le previsioni meteorologiche d'insieme end-to-end utilizzando solo osservazioni, completando il ciclo operativo con stime di incertezza.
2. Abilità Competitiva: Il sistema raggiunge un'accuratezza comparabile a ECMWF ENS (il competitor NWP all'avanguardia) nonostante utilizzi un volume minore di dati di osservazione e una risoluzione di 1 grado.
3. Efficienza: Il processo di assimilazione richiede un singolo step del modello, ordini di grandezza più veloce dei sistemi di DA della NWP tradizionale.
4. Metriche di Performance: Huracan eguaglia o supera il CRPS di ECMWF ENS nell'80,2% delle combinazioni di variabili e tempi di anticipo (559 su 697) quando valutato rispetto alla propria analisi. Anche contro il baseline più forte Huracan-Hybrid, performa ugualmente o meglio nel 65,1% delle combinazioni.

Risultati

• Performance delle Variabili: Huracan dimostra una robusta abilità nella previsione di temperatura e umidità, spesso superando ECMWF ENS. Mostra un leggero degrado in geopotenziale e pressione rispetto alla NWP, in particolare nella media troposfera.
• Comportamento d'Insieme: Il sistema esibisce una maggiore dispersione dell'ensemble inizialmente (a causa dell'inizializzazione di membri indipendenti piuttosto che della perturbazione di un membro di controllo), ma mostra una minore dispersione a 3–5 giorni di anticipo, indicando potenzialmente overfitting.
• Visualizzazione: I valori medi dell'ensemble si allineano bene con i pattern su larga scala di ECMWF ENS, sebbene i valori medi di Huracan siano leggermente più fluidi. Le deviazioni standard dell'ensemble sono generalmente più diffuse in Huracan rispetto alle perturbazioni localizzate e concentrate di ECM^2 ENS.

Significatività e Rivendicazioni
L'articolo afferma che Huracan rappresenta un passo avanti fondamentale verso la previsione meteorologica end-to-end basata sui dati. Accoppiando con successo l'assimilazione dei dati d'insieme con la previsione, dimostra che i sistemi basati su ML possono competere con interi sistemi NWP sia nella generazione delle condizioni iniziali che nell'accuratezza della previsione. Gli autori asseriscono che questo lavoro apre opportunità per migliorare ulteriormente la previsione operativa, rivoluzionando potenzialmente il campo eliminando la dipendenza dalle condizioni iniziali derivate dalla NWP. Tuttavia, gli autori riconoscono modestamente le attuali limitazioni, tra cui i gap di performance sulle variabili di pressione/geopotenziale e un calo di prestazioni evidente tra gli anni di addestramento e di test (suggerendo overfitting), che richiedono ulteriori ricerche. Notano inoltre che, sebbene il sistema apprenda i bias intrinseci di ERA5 durante l'addestramento, il lungo fine-tuning autoregressivo e l'iniezione di rumore aiutano a mitigare questo aspetto, permettendo al sistema addestrato di operare indipendentemente dalla NWP indefinitamente.