Data Leakage Inflates Generalizability of Power Outage Prediction Models

Quando una tempesta si avvicina, la luce si spegne. Per le aziende elettriche e i soccorritori, sapere esattamente dove e quando la luce si spegnerà è una questione di pubblica sicurezza. Le interruzioni di corrente interrompono le forniture idriche, le reti di comunicazione e gli ospedali, trasformando una giornata di maltempo in una crisi che può durare giorni o addirittura settimane. Per prevenire questo, gli scienziati hanno trascorso gli ultimi quindici anni costruendo modelli informatici progettati per prevedere questi blackout. Questi modelli agiscono come previsori del tempo per la rete elettrica, utilizzando dati su vento, pioggia, copertura arborea e densità di popolazione per indovinare quali quartieri perderanno l'elettricità. La speranza è stata che questi modelli potessero imparare dalle tempeste passate per prepararsi a quelle future, specialmente mentre il cambiamento climatico rende gli eventi meteorologici estremi più frequenti e severi.

Tuttamente, un nuovo studio suggerisce che la fiducia che nutriamo in queste previsioni potrebbe essere infondata. Ricercatori dell'Università di Toronto e della North Carolina State University hanno indagato se questi modelli possano davvero gestire l'ignoto. Hanno scoperto che molti degli impressionanti successi riportati nella letteratura scientifica sono probabilmente illusioni create da un difetto nel modo in cui i modelli vengono testati. Il problema centrale è che i test spesso permettono al modello di "usare informazioni che non dovrebbe avere", facendo apparire le previsioni molto migliori di quanto siano in realtà. Quando i ricercatori hanno costretto i modelli ad affrontare situazioni veramente nuove — come una tempesta in uno stato che non avevano mai visto prima, o un tipo di tempesta che non avevano mai incontrato — la loro capacità di prevedere le interruzioni è crollata, fallendo spesso nel fare meglio di un semplice tentativo a caso.

I ricercatori si sono concentrati sulla costa orientale degli Stati Uniti, una regione colpita da uragani, tempeste invernali e temporali. Hanno raccolto dati sulle interruzioni di corrente dal 2018 al 2023, abbinando ogni blackout segnalato alle condizioni meteorologiche e alle caratteristiche del territorio. Per testare i modelli, hanno provato tre modi diversi di suddividere i dati in gruppi di addestramento e di test. Il primo metodo, che è lo standard nella maggior parte degli studi precedenti, è un rimescolamento casuale. Immaginate di prendere un mazzo di carte, mescolarlo accuratamente e distribuirne metà al modello affinché impari e metà per testarlo. Poiché i modelli meteorologici sono connessi nello spazio e nel tempo, un rimescolamento casuale spesso inserisce giorni molto simili o contee vicine sia nei gruppi di apprendimento che in quelli di test. Il modello essenzialmente memorizza il quartiere invece di imparare le regole della tempesta.

Il secondo e il terzo metodo erano molto più severi. Nel primo test rigoroso, i ricercatori hanno rimosso un intero stato dai dati di addestramento e hanno chiesto al modello di prevedere le interruzioni solo per quello stato. Questo simula uno scenario in cui un modello addestrato in una regione viene implementato in una regione completamente nuova. Nel secondo test rigoroso, hanno rimosso un intero evento temporalesco dai dati di addestramento, chiedendo al modello di prevedere l'impatto di un uragano o di una tempesta invernale specifica che non aveva mai visto prima. Questi test imitano il mondo reale, dove un'azienda elettrica potrebbe trovarsi di fronte a un nuovo tipo di disastro in un nuovo luogo senza alcuna storia precedente di quell'evento specifico.

Quando i modelli sono stati testati utilizzando il metodo del rimescolamento casuale, hanno performato bene, spiegando circa il 45 percento della variazione nelle percentuali di interruzione. Questo risultato si allinea con quanto affermato da altri studi. Ma quando i ricercatori hanno applicato i test più severi, le prestazioni sono crollate drasticamente. Nei test stato per stato, i modelli hanno spesso performato non meglio di un "modello nullo", ovvero un baseline che semplicemente indovina il numero medio di interruzioni per quell'area ogni volta. Per prevedere il numero assoluto di clienti senza corrente, i modelli non sono riusciti a superare questo semplice tentativo in quasi tutti i casi. Anche per la previsione della percentuale di clienti colpiti, i modelli hanno faticato significativamente, con una precisione che variava enormemente a seconda dello stato o della tempesta.

Lo studio ha anche esaminato se l'uso di un'intelligenza artificiale avanzata potesse risolvere il problema. I ricercatori hanno provato a fornire ai modelli degli "embeddings" provenienti da un potente modello di base chiamato Prithvi WxC. Questo modello è addestrato su dati meteorologici globali ed è progettato per comprendere schemi complessi nell'atmosfera. La speranza era che questo approccio ad alta tecnologia aiutasse i modelli a generalizzare meglio. Sebbene il modello di base abbia offerto un leggero miglioramento in alcuni test spaziali, non ha risolto il problema fondamentale. Quando affrontato con un nuovo evento temporalesco, il modello avanzato è performato altrettanto male dei modelli più semplici e, in alcuni casi, è performato peggio. I ricercatori hanno scoperto che l'alta complessità dei dati del modello di base rendeva in realtà più difficile per il modello apprendere i pattern specifici necessari per i nuovi eventi, portando all'overfitting, dove il modello memorizzava i dati di addestramento invece di comprendere la fisica sottostante.

Le conclusioni suggeriscono che l'attuale generazione di modelli di previsione delle interruzioni di corrente, quando addestrata su dati pubblicamente disponibili, offre un valore limitato per la pianificazione dei disastri nel mondo reale. I modelli non stanno fallendo perché mancano di algoritmi sofisticati; stanno fallendo perché i dati su cui sono addestrati non contengono abbastanza esempi diversificati di eventi estremi per insegnare loro come gestire l'ignoto. La relazione tra una tempesta e un'interruzione di corrente non è una regola semplice che si applica ovunque. Un uragano che interrompe l'elettricità in Florida si comporta diversamente da una tempesta invernale nel New Jersey, e un modello addestrato su uno non può facilmente prevedere l'altro. Lo studio indica che senza una migliore copertura dei dati, metodi di test più realistici e un passaggio dal tentativo di estrarre miglioramenti marginali dai dataset esistenti, questi modelli rimarranno inaffidabili per il compito critico di proteggere le comunità dalla prossima grande tempesta.