Gli scienziati affrontano da tempo un enigma fondamentale: come apprendere le regole nascoste dell'universo quando possono vedere solo i risultati. Immaginate di guardare un'ombra su un muro e di cercare di capire la forma esatta dell'oggetto che la proietta. In campi che vanno dall'astronomia alla fisica delle particelle, i ricercatori osservano dati — luce da stelle lontane, collisioni di particelle subatomiche o schemi nell'atmosfera — e devono lavorare a ritroso per dedurre le proprietà che li hanno generati. Questo è noto come problema inverso. Per decenni, gli scienziati si sono affidati a complesse formule matematiche per compiere queste deduzioni, ma man mano che i nostri strumenti sono diventati più potenti, generando enormi quantità di dati ad alta risoluzione, quelle vecchie formule sono spesso diventate troppo lente o difficili da utilizzare. In risposta, molti si sono rivolti all'intelligenza artificiale generativa. Questi sono sistemi informatici addestrati su esempi che possono imparare a prevedere le cause nascoste dei dati osservati con una velocità incredibile. Sono diventati strumenti essenziali per analizzare tutto, dalle immagini del Telescopio Spaziale James Webb dell'universo primordiale, fino allo spruzzo caotico di particelle nei rivelatori sotterranei.

Tuttavia, è emerso un difetto critico in questo nuovo approccio. Sebbene questi modelli di intelligenza artificiale siano eccellenti nel indovinare la risposta più probabile, spesso non riescono a dire agli scienziati quanto debbano esserne sicuri. Quando un modello viene addestrato su un set specifico di esempi, può diventare eccessivamente sicuro di sé, offrendo risposte strette e dall'aspetto preciso che sono in realtà errate, specialmente quando i dati del mondo reale che incontra appaiono leggermente diversi da quelli di addestramento. Questo è pericoloso per la scoperta. Se uno scienziato crede che una misurazione sia precisa quando non lo è, potrebbe trarre conclusioni false sull'esistenza di nuove particelle o sulla storia di una galassia. La sfida centrale non è solo fare una previsione, ma garantire che l'intervallo di risposte possibili fornito dal computer contenga effettivamente il valore reale con una probabilità nota e affidabile, indipendentemente da quale sia il valore reale.

Un team di ricercatori ha ora sviluppato una soluzione a questo problema, introducendo un nuovo protocollo chiamato Frequentist-Bayes, o FreB. Questo metodo agisce come un rigoroso controllo di qualità per gli output dell'IA generativa. Invece di accettare semplicemente l'ipotesi iniziale dell'IA, FreB rimodella la mappa di probabilità del computer in una regione di confidenza statisticamente affidabile. Il processo inizia addestrando l'IA su un grande set di esempi etichettati, dove sia le proprietà nascoste che i dati risultanti sono noti. L'IA impara a creare una distribuzione "posterior", che è essenzialmente una mappa che mostra dove si trova probabilmente la risposta vera. I ricercatori utilizzano poi un set separato di dati di calibrazione per insegnare al sistema come regolare questa mappa. Trasformano le probabilità grezze dell'IA in quelle che sono note come funzioni del p-value. Queste funzioni agiscono come un righello calibrato, garantendo che quando il sistema traccia un confine attorno a un insieme di possibili risposte, quel confine contenga il valore reale esattamente con la frequenza che gli scienziati dichiarano.

La forza di questo approccio risiede nella sua capacità di gestire le imperfezioni del mondo reale. In molti studi scientifici, i dati utilizzati per addestrare l'IA non corrispondono perfettamente ai dati oggetto di studio. Questa discrepanza, nota come spostamento del dataset (dataset shift), può accadere a causa di come sono costruiti i telescopi, di quali stelle possano vedere, o perché i modelli teorici utilizzati per l'addestramento sono leggermente inaccurati. I metodi tradizionali di IA spesso producono risultati distorti in queste situazioni, pendendo troppo pesantemente verso i dati di addestramento. FreB, tuttavia, è progettato per correggere queste differenze. Utilizzando i dati di calibrazione per apprendere i necessari aggiustamenti, il metodo assicura che le regioni di confidenza finali rimangano valide anche quando i dati di addestramento e i dati target provengono da distribuzioni diverse. I ricercatori hanno dimostrato che questo funziona anche quando il modello di IA stesso è leggermente mal specificato, ovvero quando il modello fisico sottostante utilizzato per generare gli esempi di addestramento non è una rappresentazione perfetta della realtà.

Per dimostrare che il loro metodo funziona, il team lo ha testato su tre sfide distinte nelle scienze fisiche. Nel primo caso, hanno affrontato la ricostruzione dei raggi gamma, che sono particelle ad alta energia provenienti dallo spazio che non possono essere viste direttamente, ma vengono inferite dalle piogge di particelle secondarie che creano nell'atmosfera terrestre. L'IA è stata addestrata su dati della Nebulosa del Granchio, una fonte ben nota, ma le è stato poi chiesto di identificare segnali da una sorgente di materia oscura, che produce schemi molto diversi e più rari. I metodi standard di IA sono falliti in questo caso, producendo stime che erano distorte verso i livelli energetici dei dati di addimento e mancando i veri eventi ad alta energia. Il metodo FreB, invece, ha rimodellato con successo l'output dell'IA per fornire intervalli di confidenza validi che catturavano correttamente l'energia dei rari eventi, permettendo agli scienziati di distinguere tra diverse fonti astrofisiche con affidabilità.

Il secondo test riguardava la comprensione della storia della nostra galassia, la Via Lattea. Gli astronomi utilizzano diversi modelli teorici per descrivere come le stelle siano distribuite e come si muovano. Questi modelli possono talvolta portare a conclusioni contrastanti sull'età o sulla composizione chimica di una stella. Quando i ricercatori hanno applicato l'inferenza standard dell'IA, i diversi modelli hanno prodotto risultati che discordavano nettamente tra loro e con i valori reali, non offrendo alcun modo chiaro per risolvere la tensione. Applicando FreB, il team è stato in grado di regolare gli output di entrambi i modelli. Il risultato è stato un insieme di regioni di confidenza che, nonostante provenissero da presupposti iniziali differenti, contenevano entrambi le proprietà reali della stella. Ciò ha dimostrato che FreB poteva riconciliare teorie contrastanti, garantendo che le stime di incertezza fossero oneste e coerenti indipendentemente dal modello sottostante utilizzato.

L'ultima sfida ha affrontato il problema del bias di selezione, un problema comune nei grandi rilievi astronomici. I telescopi spesso non possono vedere tutte le stelle allo stesso modo; sono più capaci di rilevare stelle grandi e luminose rispetto a quelle piccole e deboli. Ciò significa che i dati usati per addestrare i modelli di IA sono spesso sbilanciati, mancando proprio degli oggetti che gli scienziati più desiderano studiare. In questo esperimento, i ricercatori hanno simulato uno scenario in cui l'IA veniva addestrata su dati dominati da stelle grandi e luminose, ma le veniva poi chiesto di stimare le proprietà di stelle più piccole e deboli come il nostro Sole. L'IA non regolata ha prodotto stime sistematicamente errate, non riuscendo a coprire i valori reali per queste stelle più piccole. FreB ha corretto questo bias utilizzando un piccolo set di dati di follow-up per ricalibrare il sistema. Il metodo regolato ha prodotto regioni di confidenza che erano sia strette che accurate, coprendo con successo i parametri reali delle stelle deboli, anche se i dati di addestramento erano stati pesantemente sbilanciati contro di esse.

La significatività di questo lavoro va oltre questi specifici esempi. Esso fornisce una garanzia matematica che gli intervalli di confidenza generati da questi potenti strumenti di IA siano affidabili. In passato, gli scienziati dovevano sperare che i loro modelli fossero abbastanza accurati da fornire stime di incertezza valide. Ora, hanno un protocollo che può prendere un modello di IA veloce e flessibile e rimodellarne l'output per soddisfare i rigorosi standard della prova scientifica. Questo significa che in campi in cui il calcolo diretto è impossibile o troppo costoso, i ricercatori possono usare l'IA generativa per esplorare sistemi complessi con lo stesso livello di rigore statistico che si aspetterebbe dai metodi tradizionali. Il metodo è efficiente, non richiede il riaddestramento quando applicato a nuovi dati, e funziona anche quando i dati di addestramento sono imperfetti. Unendo il divario tra la velocità della moderna intelligenza artificiale e l'affidabilità della statistica classica, FreB offre una via verso una scoperta scientifica più affidabile, assicurando che, quando gli scienziati guardano alle ombre sul muro, possano essere sicuri della forma dell'oggetto che le proietta.