Sintesi Tecnica: Quantificazione dell'Incertezza Scalabile per le Previsioni di Eventi Meteorologici Estremi tramite Neural Tangent Kernels Empirici

1. Definizione del Problema

I modelli meteorologici basati sul deep learning (es. FourCastNetV2, Pangu-Weather, Aurora, AIFS) hanno raggiunto un'accuratezza paragonabile ai sistemi tradizionali di previsione numerica del tempo (NWP), operando con ordini di grandezza di velocità in più. Tuttavia, questi modelli producono prevalentemente previsioni deterministiche puntuali prive di stime calibrate dell'incertezza. Questo divario è critico per il processo decisionale ad alto rischio durante eventi meteorologici estremi (es. cicloni tropicali, inondazioni), dove la comprensione dell'affidabilità di una previsione è importante quanto la previsione stessa.

Le metodologie esistenti di quantificazione dell'incertezza (UQ) affrontano barriere significative quando applicate a modelli foundation con miliardi di parametri:

• Deep Ensembles: Computazionalmente proibitivi a causa della necessità di addestrare molteplici copie di modelli massicci.
• Metodi Bayesiani: Richiedono modifiche architettoniche e comportano un carico considerevole di memoria e calcolo.
• Conformal Prediction: Fornisce garanzie di copertura indipendenti dalla distribuzione, ma produce ampiezze degli intervalli uniformi che non correlano con l'errore effettivo della previsione o con la severità dell'evento, fallendo nel distinguere gli eventi estremi dalle condizioni di routine.

Il presente lavoro affronta la necessità di un metodo di UQ post-hoc scalabile, che non richieda il riaddestramento, funzioni con checkpoint pre-addestrati e produca intervalli di incertezza adattivi che scalino con la severità dell'evento.

2. Metodologia: Framework NTK-UQ

Il framework proposto, Neural Tangent Kernel-based Uncertainty Quantification (NTK-UQ), tratta le caratteristiche dell'ultimo strato di un modello meteorologico pre-addestrato e congelato come un Neural Tangent Kernel (NTK) empirico. Sotto la corrispondenza tra l'ultimo strato NTK e il Processo Gaussiano (GP), il modello viene visto come un GP in cui il kernel è definito dalle rappresentazioni delle caratteristiche apprese.

La metodologia consiste in tre fasi:

2.1 Estrazione delle Caratteristiche dell'Ultimo Strato

Per un modello pre-addestrato $f_\theta = g_\psi \circ \phi_\omega$, il metodo estrae le caratteristiche dell'ultimo strato $\phi(x)$ apprese da decenni di dati di rianalisi ERA5. Queste caratteristiche codificano la struttura fisica dell'atmosfera. Per le mappe di caratteristiche spaziali, viene utilizzata l'aggregazione di statistiche multiple (media, deviazione standard, minimo, massimo, percentili) per creare vettori di caratteristiche a dimensione fissa indipendentemente dalla risoluzione spaziale.

2.2 Decomposizione del Kernel e Costruzione del Posteriore GP

Il kernel empirico $K(x, x') = \phi(x)^\top \phi(x')$ viene costruito. Per rendere computazionalmente trattabile la varianza del posteriore GP per grandi set di calibrazione, la matrice delle caratteristiche centrata viene decomposta. Il documento confronta due strategie di decomposizione:

• Singular Value Decomposition (SVD): Cattura le direzioni ortogonali di massima varianza (statistiche di secondo ordine).
• Independent Component Analysis (ICA): Sfrutta le statistiche di ordine superiore (curtosi, negentropia) per isolare sorgenti statisticamente indipendenti.

La varianza predittiva $\sigma^2(x^*)$ è calcolata utilizzando la formula del posteriore GP:
$$\sigma^2(x^*) = K(x^*, x^*) + \sigma_n^2 - k_*^\top (K + \sigma_n^2 I)^{-1} k_*$$
dove il termine di correzione dipende dalla somiglianza dell'input di test con la distribuzione di calibrazione nello spazio delle caratteristiche.

2.3 Regola di Selezione della Decomposizione

Il documento propone una regola guidata dai dati (Algoritmo 1) per selezionare tra SVD e ICA basandosi sul rapporto di concentrazione dello spettro degli autovalori ($\rho = \lambda_1 / \sum \lambda_j$):

• Spettro Concentrato ($\rho > 0.8$): Tipico degli operatori spettrali (es. SFNO). SVD è preferito con una drastica riduzione del rango ($k \le 10$) per evitare il collasso della varianza.
• Spettro Distribuito ($\rho < 0.5$): Tipico di modelli basati su attenzione o grafi. ICA è preferito per sfruttare le strutture non gaussiane e a code pesanti inerenti al meteo estremo.
• Intermedio: Entrambi i metodi vengono valutati su un set di validazione.

2.4 Calibrazione Post-Hoc

Le incertezze NTK grezze vengono scalate tramite un fattore $\alpha$ per variabile e per lead-time (appreso tramite ricerca binaria) per raggiungere un livello di copertura target (es. 90%). Ciò garantisce che gli intervalli di previsione siano calibrati rispetto alla realtà osservata.

3. Approfondimenti Teorici

Il documento fornisce un'analisi teorica che spiega perché la qualità della UQ dipenda dall'architettura:

• Collasso della Varianza (Proposizione 1): Se il rango di troncamento $k$ si avvicina al rango effettivo dello spazio delle caratteristiche, il termine di correzione GP consuma quasi tutta la varianza a priori. Ciò distrugge la capacità di discriminazione tra eventi estremi e condizioni di routine. Il documento stabilisce un criterio diagnostico $R_k = C_k/P < 0.9$ per prevenire questo collasso, notando che le architetture con spettri concentrati richiedono un troncamento aggressivo.
• Discriminazione Non-Gaussiana (Proposizione 2): Gli eventi meteorologici estremi presentano distribuzioni a code pesanti e non gaussiane. Mentre la SVD cattura solo la varianza di secondo ordine, la ICA sfrutta le statistiche di ordine superiore (curtosi) per isolare firme di eventi estremi rari. Ciò consente alla ICA di produrre stime di incertezza adattive che scalano con la severità dell'evento, una capacità che la SVD non possiede per le caratteristiche a code pesanti.

4. Risultati Sperimentali

Il framework è stato valutato su quattro diversi modelli meteorologici IA (FourCastNetV2, Pangu-Weather, Aurora, AIFS) utilizzando 100 eventi meteorologici estremi dal database EM-DAT (2021), inclusi cicloni tropicali, inondazioni e ondate di calore.

• Copertura: Tutti i modelli hanno raggiunto la copertura target del 90% (89–91%) dopo la scalatura post-hoc.
• Performance della Decomposizione:
  • ICA ha ottenuto una copertura adeguata e un CRPS (Continuous Ranked Probability Score) inferiore per tre modelli (AIFS, Aurora, FourCastNetV2). Ha prodotto intervalli adattivi con un alto coefficiente di variazione (CV = 0.07–1.81), distinguendo con successo i cicloni tropicali dal meteo di routine.
  • SVD non è riuscito a raggiungere la copertura per Aurora (58.1%) e ha prodotto intervalli più uniformi (CV = 0.01–0.49) che non riuscivano a discriminare la severità dell'evento.
  • Pangu-Weather è stata un'eccezione in cui la SVD ha soddisfatto la copertura mentre la ICA è fallita, sebbene entrambi abbiano mostrato instabilità numeriche.
• Confronto con la Conformal Prediction: NTK-UQ (utilizzando la decomposizione ottimale per modello) ha ottenuto intervalli di previsione del 31–37% più stretti con una copertura del 90% rispetto alla split conformal prediction. Fondamentalmente, a differenza della conformal prediction che produce intervalli uniformi per costruzione, NTK-UQ produce intervali adattivi che scalano con la severità dell'evento meteorologico.
• Incertezza Spaziale: Per i modelli con caratteristiche spazialmente risolte (es. AIFS), la ICA ha permesso di generare mappe di incertezza spazialmente variabili che correlavano con le concentrazioni di errore di previsione, consentendo avvisi mirati.

5. Significato e Rivendicazioni

Il documento rivendica la seguente importanza:

1. Scalabilità: NTK-UQ non richiede il riaddestramento del modello né modifiche architettoniche, rendendolo applicabile a qualsiasi checkpoint deterministico pre-addestrato. L'inferenza aggiunge un overhead minimo (un singolo prodotto matrice-vettore).
2. Discriminazione Adattiva: A differenza della conformal prediction, NTK-UQ produce intervalli di incertezza che si adattano alla severità dell'evento meteorologico, fornendo una discriminazione azionabile tra condizioni di routine ed estreme.
3. Design Consapevole dell'Architettura: Il lavoro stabilisce che la qualità della UQ non è universale ma dipende dall'interazione tra l'architettura neurale (proprietà dello spettro degli autovalori) e il metodo di decomposizione. Fornisce una diagnostica predittiva (concentrazione dello spettro degli autovalori) per selezionare la strategia di UQ appropriata senza sperimentazioni esaustive.
4. Utilità Operativa: Il framework consente alle agenzie meteorologiche con risorse limitate di aggiungere stime di incertezza calibrate ai modelli ad alte prestazioni esistenti, abbassando la barriera per previsioni affidabili per la preparazione ai disastri.

Gli autori segnalano limitazioni, tra cui la dipendenza da approssimazioni (la corrispondenza tra l'ultimo strato NTK e il GP è rigorosa solo a larghezza infinata) e il fatto che la valutazione è limitata a un singolo anno fuori distribuzione (2021). Tuttavia, i risultati empirici validano costantemente le previsioni teoriche attraverso diverse architetture.