Does Feature Engineering Improve Meteorological Predictions Across Asia?

L'aria sopra di noi non è mai immobile. Si sposta, si avvita e reagisce in una danza caotica di calore, umidità e pressione che determina se il raccolto di un agricoltore sopravviverà o se una città debba prepararsi a una tempesta. Per decenni, gli scienziati hanno cercato di prevedere questi movimenti utilizzando massicci modelli informatici che simulano la fisica dell'atmosfera. Sebbene potenti, queste simulazioni sono incredibilmente costose da eseguire e a volte faticano con l'estrema complessità del meteo locale. Negli ultimi anni, un approccio diverso ha guadagnato terreno: l'uso del machine learning. Questi sono programmi informatici che apprendono schemi da vasti quantitativi di dati meteorologici storici per fare previsioni future. Tuttavia, c'è un problema. Se si forniscono a un programma di machine learning dei numeri grezzi — come la temperatura o la velocità del vento registrate in un momento specifico — esso spesso perde di vista il quadro generale. Non riesce a vedere che il tempo di oggi è profondamente connesso a quello di ieri, o che le stagioni seguono un ciclo prevedibile. Per risolvere questo problema, gli scienziati utilizzano una tecnica chiamata feature engineering. Questo è il processo di creazione manuale di nuovi indizi affinché il computer possa studiarli. Invece di dare solo la temperatura, potrebbero fornire anche la temperatura di tre giorni fa, o un calcolo di come la temperatura e l'umidità interagiscono tra loro. La speranza è che questi indizi extra aiutino il computer a comprendere meglio il tempo. Ma un dubbio rimane: aggiungere più indizi aiuta sempre, o può talvolta confondere la macchina?

Un team di ricercatori provenienti da università dell'Iran e di altre parti dell'Asia si è posto l'obiettivo di rispondere a questa domanda su scala massiccia. Non hanno esaminato una singola città o un singolo tipo di tempo; hanno invece esaminato l'intero continente asiatico, una regione tanto diversificata nel clima quanto nella geografia, che si estende dal nord ghiacciato ai tropici umidi. Hanno raccolto registrazioni meteorologiche giornaliere da 1.634 diverse stazioni meteorologiche, coprendo un periodo di ventiquattro anni. Il loro obiettivo era testare quindici diversi modi per preparare i dati per un modello di machine learning. Alcuni metodi erano semplici, limitandosi ad aggiungere la data o il giorno della settimana. Altri erano complessi, creando nuove variabili moltiplicando diversi fattori meteorologici tra loro o calcolando come il tempo fosse cambiato nell'ultima settimana. Hanno testato questi metodi contro otto diverse variabili meteorologiche: temperatura, umidità, pressione dell'aria, velocità del vento, copertura nuvolosa, precipitazioni e le temperature massime e minime giornaliere. Hanno utilizzato un modello di machine learning standard, noto come random forest, per vedere quale metodo di preparazione dei dati producesse le previsioni più accurate.

I risultati sono stati sorprendenti e hanno rivelato che non esiste un unico modo "migliore" per preparare i dati meteorologici. I ricercatori hanno scoperto che l'aggiunta di feature ingegnerizzate ha migliorato l'accuratezza delle previsioni in meno della metà dei casi testati. Infatti, per circa il 42 percento delle combinazioni stazione-variabile, gli indizi extra hanno fatto una differenza statisticamente significativa. Ma per il resto, il lavoro extra era inutile o, in alcuni casi, attivamente dannoso. Lo studio ha dimostrato che l'approccio corretto dipende interamente da ciò che si sta cercando di prevedere e da dove lo si sta prevedendo. Ad esempio, quando si prevede la pressione dell'aria, il metodo più complesso è stato quello migliore. Includendo ogni possibile indizio, dal periodo dell'anno alle letture della pressione dei giorni precedenti, il modello ha ridotto gli errori di previsione del 41–42% in tutto il continente. Questo ha senso perché la pressione dell'aria cambia lentamente e in modo prevedibile, quindi il computer trae beneficio dall'avere una lunga cronologia di dati da studiare.

Tuttavia, la storia era molto diversa per le temperature estreme. Quando i ricercatori hanno cercato di prevedere la temperatura massima o minima giornaliera, l'aggiunta di feature complesse ha spesso peggiorato le prestazioni del modello. In quasi la metà dei casi relativi alle temperature minime, l'approccio più semplice — utilizzare solo i dati grezzi senza alcuna ingegneria aggiuntiva — è stato il più accurato. I ricercatori suggeriscono che, per questi estremi specifici, i dati di base contengono già tutte le informazioni necessarie e che l'aggiunta di ulteriori livelli di complessità introduce solo rumore che confonde il computer. Allo stesso modo, per l'umidità e la velocità del vento, gli indizi temporali semplici, come conoscere il mese o il giorno della settimana, erano solitamente sufficienti. I metodi più complessi offrivano pochi o nessun beneficio per queste variabili.

Anche la posizione della stazione meteorologica contava profondamente. I ricercatori hanno scoperto un modello chiaro muovendosi dai tropici verso nord. Nelle calde regioni tropicali del sud-est asiatico e dell'India, il metodo più efficace per prevedere la temperatura e la copertura nuvolosa consisteva nel creare feature di interazione. Queste sono combinazioni matematiche che permettono al computer di vedere come la temperatura e l'umidità lavorano insieme, il che è fondamentale nei climi in cui la terra e l'aria interagiscono in modi complessi. Ma spostandosi verso nord, in regioni più fredde come la Siberia e il Kazakistan, queste interazioni complesse diventavano meno utili. In queste latitudini più elevate, i semplici indizi temporali erano sufficienti. Lo studio ha anche rilevato che le precipitazioni erano la variabile più difficile da migliorare. Nessun metodo singolo funzionava bene ovunque e i miglioramenti erano spesso piccoli e sparsi, riflettendo la natura imprevedibile della pioggia stessa.

In definitiva, questa ricerca fornisce una chiara tabella di marcia per chiunque utilizzi il machine learning per prevedere il tempo. Dimostra che l'idea di una soluzione universale è un mito. Non si possono semplicemente applicare lo stesso set di trucchi ai dati a ogni problema meteorologico e aspettarsi che funzioni. La strategia migliore è essere specifici: usare set di dati complessi e completi per la pressione; affidarsi a semplici marcatori temporali per l'umidità e il vento; ed evitare di complicare eccessivamente le cose quando si prevedono le temperature estreme. Inoltre, la posizione della previsione conta tanto quanto la variabile stessa. Ciò che funziona in una foresta tropicale può fallire in una pianura temperata. Comprendendo queste sfumature, gli scienziati possono costruire modelli che non siano solo più intelligenti, ma anche più onesti su ciò che i dati possono e non possono dire loro. Lo studio conclude che il futuro della previsione meteorologica non risiede nell'aggiungere più complessità fine a se stessa, ma nello scegliere con cura gli strumenti giusti per il posto giusto e per il compito giusto.