EarthVerse: Benchmarking Scientific Agents Across Dynamic Earth Systems and Natural Hazards

Quando gli scienziati cercano di capire come funziona la Terra, raramente hanno un'unica, perfetta immagine di ciò che sta accadendo. Invece, devono comporre un racconto partendo da molte fonti diverse: un rapporto meteorologico di una stazione locale, un'immagine satellitare scattata dallo spazio, il riepilogo di un'agenzia governativa su un'alluvione e una rianalisi dei dati climatici storici. Ognuna di queste fonti racconta una parte della verità, ma spesso parlano lingue diverse, coprono aree diverse e registrano eventi in tempi diversi. La vera sfida delle scienze della Terra non è solo leggere questi rapporti, ma capire quali stiano insieme, come confrontarli equamente e se raccontino una storia coerente su un disastro o un cambiamento climatico. Se uno scienziato sceglie i dati sbagliati o confonde la tempistica, l'intera conclusione su un pericolo può essere errata, con gravi conseguenze per il modo in cui le comunità si preparano o rispondono al pericolo.

Uno studio recente chiamato EarthVerse pone una domanda difficile: i sistemi di intelligenza artificiale possono svolgere questo tipo di lavoro investigativo scientifico in autonomia? I ricercatori hanno costruito un test massiccio per vedere se gli agenti informatici potessero agire come veri scienziati. Hanno creato 405 indagini specifiche basate su 199 eventi reali di disastri e fenomeni meteorologici estremi, che spaziavano dalle ondate di calore ai terremoti. Ogni indagine era un pacchetto di circa 34 file diversi, inclusi dati grezzi, mappe e rapporti. Agenti informatici ricevevano una domanda scientifica, come determinare la gravità di un'ondata di calore, ma non venivano istruiti su quali file consultare. Dovevano cercare nell'intero pacchetto, trovare i record corretti, verificare se i dati corrispondessero nel tempo e nello spazio, eseguire i calcoli necessari e poi scrivere una risposta finale che fosse pienamente supportata dalle prove trovate.

I risultati hanno rivelato un divario significativo tra ciò che questi sistemi possono fare in test semplici e come si comportano in scenari complessi del mondo reale. Quando i ricercatori hanno testato 25 diversi sistemi di IA, i migliori sono stati in grado di ottenere correttamente circa l'85 percento dei piccoli fatti individuali. Potevano spesso trovare i numeri giusti ed eseguire i calcoli correttamente. Tuttavia, quando i ricercatori hanno esaminato se l'intera indagine fosse completa e affidabile, il tasso di successo è sceso drasticamente. Solo circa il 35 percento delle indagini è stato eseguito abbastanza bene da essere considerato pienamente attendibile. Ciò significa che anche i sistemi più avanzati commettevano spesso un errore critico in qualche punto della catena di ragionamento. Potevano trovare il record della temperatura corretto ma utilizzare la finestra temporale sbagliata, oppure potevano calcolare una statistica correttamente ma non verificare se i dati provenissero da una fonte compatibile.

Lo studio ha dimosto che il problema non è la mancanza di conoscenza o l'incapacità di fare matematica. I sistemi conoscevano i fatti e potevano calcolare i numeri. Il fallimento avveniva quando dovevano decidere a quale prova prestare fiducia e come mantenere tutti i pezzi del puzzle allineati. Quando i ricercatori fornivano ai sistemi di IA un aiuto extra, indicando loro direttamente i file corretti, le loro prestazioni aumentavano significativamente, provando che il collo di bottiglia principale era trovare l'informazione corretta, non comprenderla. Lo studio ha anche scoperto che far pensare l'IA più a lungo o più intensamente non aiutava se il sistema era bloccato a guardare i dati sbagliati. I sistemi avevano bisogno di essere in grado di cambiare idea, tornare indietro a cercare una fonte migliore e aggiornare la propria conclusione sulla base di nuove prove.

Questa ricerca suggerisce che, mentre l'intelligenza artificiale sta diventando molto brava a rispondere a domande quando la risposta è già fornita, sta ancora faticando con il compito più difficile di costruire essa stessa la base delle prove. Nel mondo delle scienze della Terra, dove un singolo pezzo mancante di dati può cambiare la comprensione di un disastro, questo divario è critico. Lo studio conclude che, affinché l'IA sia davvero affidabile nei campi scientifici, deve essere in grado di mantenere un legame coerente tra ogni affermazione che fa e la specifica prova che la supporta, assicurando che l'intera storia tenga insieme, dal primo dato alla conclusione finale.